安装jdk,首先检查jdk是否已安装,安装则需卸载(master,slave均需要):
rpm -qa | grep java | xargs rpm -e --nodeps
安装JDK,首先创建一个java文件夹,然后:
解压jdk时,注意cd到java文件夹下!
Jdk安装完成后将java文件夹复制到子节点:
scp –r /home/java root@192.168.220.133:/home
吃的
vi /etc/profile打开文件并加入以下内容
export JAVA_HOME=/home/java/jdk1.8.0_144(注意java安装路径已经jdk版本号)
exportCLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
安装hadoop:(下面的所有代码必须要对齐)(这一部分跟着CSDN做)
需要检查hadoop/dfs下有没有name以及data的文件夹
dfs.replication 的参数可以设置为3
在yarn.nodemanager.resource.memory-mb的参数需要设置为1024及以上(建议设置为4096暂时,可以保证hive在插入数据时可以顺利进行),这样nodemanager才会顺利启动(需要同步到从节点上)
在配置slaves时不仅仅要加入从节点,主节点也是要加入(如果不加入,主节点的datanode不会启动)(可以同步到从节点上)
遇到的问题:
1.
2.
先修改主机名: vim /etc/hostname
需重启生效
3.
配置core-site.xml
4.当datanode无法启动时,可尝试单点启动尝试,代码如下
sbin/hadoop-daemon.sh start datanode
5.web不能访问
(1)首先关闭所有节点的防火墙以及自启动
(2)在hdfs-site.xml文件中启用50070端口,代码如下:
<property>
<name>dfs.namenode.http.address</name>
<value>master:50070</value>
</property>
学习笔记:
- crontab -e ,在出现的页面中输入一下代码,在指定时间执行任务。举个例子:
*/1 * * * * /bin/echo 'this is a test' >> 桌面/crontab_test.txt # 每分钟向文件中添加一个字符串
任务设置完成后,需要通过 service crond restart 启动任务。
- 浏览器输入http://master:50070/explorer.html/,可以查看集群的状态
- 增加节点
- 从slave02克隆一台slave03
- vim /etc/hostname, vim /etc/sysconfig/network修改为slave03(修改主机名)
- 在master和slave03上修改vim /etc/hosts (此时尝试master ssh slave)
- 在master和slave03上修改vim /home/Hadoop/Hadoop-2.7.2/etc/Hadoop/slaves
最后删除slave03上的以下内容: