安装hadoop的步骤比较繁琐,但是并不难。
在CentOS上安装Hadoop2.7
1. 安装 CentOS,注:图形界面并无必要
2. 在CentOS里设置静态IP,手工编辑如下4个文件
- /etc/hosts
- /etc/sysconfig/netwok
- /etc/hostname
- /etc/sysconfig/network-scripts/ifcfg-eno1677773
3. 关闭防火墙
- Close firewalld
- systemctl stop firewalld.service #停止firewall
- systemctl disable firewalld.service #禁止firewall开机启动
4. 设置ssh无密登录
l 去掉/etc/ssh/sshd_config其中2行的注释
#RSAAuthentication yes
#PubkeyAuthentication yes
l 输入命令,ssh-keygen -t rsa,生成key,都不输入密码,一直回车,/root就会生成.ssh文件夹,每台服务器都要设置
l 合并公钥到authorized_keys文件,在Master服务器,进入/root/.ssh目录,通过SSH命令合并,
cat id_rsa.pub>> authorized_keys
l 把Master服务器的authorized_keys、known_hosts复制到Slave服务器的/root/.ssh目录
5. 为提高软件下载速度,可以把软件安装库转向阿里云
6. Install net-tools, yum, wget, vim
7. Install Java
- Yum list java*
- [root@beta-new1 www]# yum -y install java-1.8.0-openjdk.x86_64
8. Configure Java
- [root@localhost ~]# which java
/usr/bin/java
[root@localhost ~]# ls -lrt /usr/bin/java
lrwxrwxrwx. 1 root root 22 Aug 17 15:12 /usr/bin/java -> /etc/alternatives/java
[root@localhost ~]# ls -lrt /etc/alternatives/java
lrwxrwxrwx. 1 root root 46 Aug 17 15:12 /etc/alternatives/java -> /usr/lib/jvm/jre-1.7.0-openjdk.x86_64/bin/java
9. 从官网下载Hadoop “hadoop-2.7.0.tar.gz”放到/home/hadoop目录下
10. 输入命令解压
- tar -xzvf hadoop-2.7.0.tar.gz
11. 在/home/hadoop目录下创建数据存放的文件夹,tmp、hdfs、hdfs/data、hdfs/name
12. 修改Hadoop设置
- /Hadoop2.7.3/etc/Hadoop/hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.131-3.b12.e17_3.x86_64
- /Hadoop2.7.3/etc/Hadoop/slaves
- /Hadoop2.7.3/etc/Hadoop/mapred-site.xml
- /Hadoop2.7.3/etc/Hadoop/hdfs-site.xml
- /Hadoop2.7.3/etc/Hadoop/core-site.xml
13. 在Master服务器启动hadoop
- 初始化
bin/hdfs namenode –format
l 全部启动sbin/start-all.sh,也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh
l 停止Hadoop服务
l sbin/stop-all.sh
l 输入命令jps,可以看到节点相关信息
14. 访问Hadoop
- 浏览器打开http://192.168.0.182:8088/
- 浏览器打开http://192.168.0.182:50070/
添加新数据节点步骤
- 安装CentOS,设置静态IP(4个配置文件)
- 加入SSH免密码登录
- SCP把Hadoop文件复制到新机器
- 修改/Hadoop2.7.3/etc/Hadoop/slaves
- 重新初始化
- 重新启动hadoop服务
运行WordCount程序
1、在HDFS中创建目录input
hadoop fs -mkdir /input
2、将本地的 PESXXX.txt上传到input中
hadoop fs -put PESXXX.txt /input
查看input目录下的文件
hadoop fs -ls /input
查看PESXXX.txt文件内容
hadoop fs -cat /input/ PESXXX.txt
3、运行程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input /output/
4、查看结果
查看输出目录hadoop fs -ls /output
查看输出结果hadoop fs -cat /output/part-r-0000
5、可在浏览器查看任务