2018年06月_huicooling

原创 HDFS下写文件流程、NameNode的作用？

这里的符号说明： NN→NameNode SN→Secondary NameNode一、写文件写文件流程图如下所示：第一步：客户端上传文件时，NN首先往edits log文件中记录元数据操作日志；第二步：客户端开始上传文件，完成后返回成功信息给NN，NN就在内存中写入这次上传操作的新产生的元数据信息；第三步：每当edits lo...

2018-06-20 23:05:14 574

原创 Hadoop下HDFS架构，NameNode、DataNode、Secondary NameNode

一、HDFS架构三部分：NameNode、DataNode、Secondary NameNode 图一：HDFS架构图二、NameNode 是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应...

2018-06-20 22:50:04 635

原创 Hadoop中核心命令

一、HDFS fs命令 -help [cmd] //显示命令的帮助信息 -ls(r) <path> //显示当前目录下所有文件 -du(s) <path> //显示目录中所有文件大小 -count[-q] <path> //显示目录中文件数量 -mv <src> <dst> //移动多个文件到目标目录 ...

2018-06-20 22:32:26 150

原创 Hadoop核心知识

一、hadoop核心 HDFS: （Hadoop Distributed File System）分布式文件系统，用于海量数据的存储 YARN: （Yet Another Resource Negotiator）资源管理调度系统，用于资源管理调度 Map/Reduce：分布式运算框架，用于海量数据的分析二、Hadoop特点 · 扩容能力（Scalable）：能可靠地（reli...

2018-06-20 22:25:58 248

原创 the host '192.168.2.100'is unreachable,The host may be down,or there may be a problem with......解决办法

我这里遇到这样的问题，是因为网关和网络IP没有配置对造成的，解决办法如下：第一步：打开VM，点中要操作的虚拟机，鼠标点击左上角编辑/虚拟网络编辑器，如下图所示：第二步：若是选择自定义网关，即选择如上图的VMnet8模式，选中VMnet8，查看子网IP是否与本地Windows网关是否一致，我这里是192.168.72.0 第三步：NAT设置，...

2018-06-07 13:24:16 16874 1

原创如何让Linux服务器在启动时不要启动图形界面

第一步：让普通用户具有修改的权限，切换到root用户下[hadoop@localhost /]$ suPassword: [root@localhost /]# vi /etc/sudoers第二步：在root用户下输入命令： vi /etc/sudoers，添加一行命令：root ALL=(ALL) ALLhadoop ALL=(ALL) ...

2018-06-06 22:02:51 4074

原创 Linux下如何让普通用户具备sudo执行权限

我这里的普通用户是hadoop第一步：切换到root下：su，并输入密码第二步：输入 vi /etc/sudoers，加入一行即可找到 root ALL=(ALL) ALL加入一行即可：将该普通用户加入权限：hadoop ALL=(ALL) ALL...

2018-06-06 22:00:25 2285

原创遇到init: Need to be root解决

在运行虚拟机中，总会出现这种问题，这个问题出现是因为权限不够，我们需要修改权限输入：su表示在管理员权限下运行再输入 init 3就可以直接进入登录状态，输入用户名，密码...

2018-06-06 21:14:59 4377

huicooling的博客