hadoop集群搭建，在参考的同时，排除其中的错误的地方

安装jdk，首先检查jdk是否已安装，安装则需卸载（master，slave均需要）：

rpm -qa | grep java | xargs rpm -e --nodeps

安装JDK，首先创建一个java文件夹，然后：

解压jdk时，注意cd到java文件夹下！

Jdk安装完成后将java文件夹复制到子节点：

scp –r /home/java root@192.168.220.133:/home

吃的

vi /etc/profile打开文件并加入以下内容

export JAVA_HOME=/home/java/jdk1.8.0_144(注意java安装路径已经jdk版本号)

exportCLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

 

安装hadoop：(下面的所有代码必须要对齐)(这一部分跟着CSDN做)

需要检查hadoop/dfs下有没有name以及data的文件夹

dfs.replication 的参数可以设置为3

在yarn.nodemanager.resource.memory-mb的参数需要设置为1024及以上（建议设置为4096暂时，可以保证hive在插入数据时可以顺利进行），这样nodemanager才会顺利启动(需要同步到从节点上)

在配置slaves时不仅仅要加入从节点，主节点也是要加入（如果不加入，主节点的datanode不会启动）（可以同步到从节点上）

 

 

遇到的问题：

1.

2.

先修改主机名： vim /etc/hostname

需重启生效

 

3.

配置core-site.xml

 

4.当datanode无法启动时，可尝试单点启动尝试，代码如下

sbin/hadoop-daemon.sh start datanode

 

5.web不能访问

       （1）首先关闭所有节点的防火墙以及自启动

       （2）在hdfs-site.xml文件中启用50070端口，代码如下：

           <property>
                    <name>dfs.namenode.http.address</name>
                   <value>master:50070</value>
           </property>

 

 

 

学习笔记：

1. crontab -e ，在出现的页面中输入一下代码，在指定时间执行任务。举个例子：

*/1 * * * * /bin/echo 'this is a test' >> 桌面/crontab_test.txt # 每分钟向文件中添加一个字符串

 

任务设置完成后，需要通过 service crond restart 启动任务。

1. 浏览器输入http://master:50070/explorer.html/，可以查看集群的状态

 

1. 增加节点

1. 从slave02克隆一台slave03
2. vim /etc/hostname, vim /etc/sysconfig/network修改为slave03（修改主机名）
3. 在master和slave03上修改vim /etc/hosts (此时尝试master ssh slave)
4. 在master和slave03上修改vim /home/Hadoop/Hadoop-2.7.2/etc/Hadoop/slaves

最后删除slave03上的以下内容：