Hadoop配置
所有配置均在root下
关掉防火墙
1. 安装所需软件
Centos6.5(64位)
hadoop-2.6.0.x64.tar.gz
JDK:jdk1.7.0_80
三台虚拟机地址:192.168.1.71 192.168.1.72 192.168.1.73
2. 3台虚拟机实现ssh免密码登录
三台ip地址:192.168.1.71(master) 192.168.1.72(slaves1) 192.168.1.73(slaves2)
SSH协议分为客户端和服务端
(1) 在192.168.1.71中:
修改hosts文件
查询自己的hostname
将自己的hostname 写入 /etc/hosts
上述配置在192.168.1.72和192.168.1.73上面重复一遍操作。
(2) 客户端(192.168.1.71):
cd .ssh/ (进入 /root/.ssh/目录下)
ssh-keygen –t rsa (生成密钥)
ls (查看.ssh目录是否生成文件)
如下图,生成id_rsa , id_rsa.pub
以下分为两个部分:本机登陆和登录到别的虚拟机
本机登陆:
cat id_rsa.pub >> authorized_keys (将自己的公钥传至自己的服务器)
这样就可以免密码登录本机,如下图。
服务器登陆:
scp id_rsa.pub root@192.168.1.72:/root (将公钥传至服务器的root目录)
服务器端(192.168.1.72):
① cat id_rsa.pub >> .ssh/authorized_keys(该文件名一定要写正确)
chmod 600 authorized_keys
②修改服务器配置
Vim /etc/ssh/sshd_config
修改完成后如下图
③关闭SELinux服务
Vim /etc/selinux/config
修改完成后如下图
④重启reboot
⑤service sshd restart (重启sshd服务)
⑥ssh root@192.168.1.72
显示如下图说明成功
依次为192.168.1.72 和 192.168.1.73 进行与上述相同的配置,直到3台虚拟机的authorized_keys全部相同,如下图
root@slaves1.server 为 192.168.1.72
root@slaves2.server 为192.168.1.73
root@master.server 为 192.168.1.71
至此SSH安装完成。
3. jdk 安装
3台虚拟机都需要安装jdk
在安装之前先卸载掉本机的jdk
新建目录:/opt/hadoop/packages/ (建立在/opt下)
⑴mv jdk-7u80-linux-x64.tar.gz /opt/hadoop/packages/ (将压缩包放在该目录)进入该/opt/hadoop/packages/下
⑵tar -zvxf jdk-7u80-linux-x64.tar.gz (解压)
⑶vim /etc/profile
修改java_home等,完成后如下图
图片中的HADOOP_HOME后面会用到
⑷source /etc/profile
⑸要想让所有用户都可以使用java,操作如下:
Vim /etc/profile.d/java.sh
⑹chmod 755 /etc/profile.d/java.sh
⑺重启虚拟机
⑻ java -version
重复上述操作在其他两台虚拟机
Jdk 安装完成
4. Hadoop 配置
⑴将文件放在/opt/hadoop/packages/下
⑵解压hadoop压缩文件 tar -zvxf hadoop-2.6.0.tar.gz
解压完成后出现hadoop-2.6.0/目录
⑶进入hadoop-2.6.0/中,在该目录底下建立目录tmp, dfs/name, dfs/data
⑷进入etc/hadoop目录中,如下图:
在该目录下,进行以下操作:
① 配置 hadoop-env.sh文件-->修改JAVA_HOME
② 配置yarn-emv.sh文件--->修改JAVA_HOME
编写masters文件:
echo “192.168.1.71” >> masters
③ 编写slaves文件
echo “192.168.1.72” >> slaves
echo “192.168.1.73” >> slaves
④ Vim core-site.xml
⑤ Vim hdfs-site.xml
⑥vim mapred-site.xml
⑸将192.168.1.71上面的文件复制到192.168.1.72 和192.168.1.73两台虚拟机上
⑹对于192.168.1.71,进入bin 目录,格式化namenode
hadoop namenode -format
⑺对于192.168.1.72和192.168.1.73,进入bin目录,格式化datanode
hadoop datanode -format
⑻进入192.168.1.71,在bin里面,
hadoop dfsadmin -safemode leave
hadoop dfsadmin -report
至此hadoop安装成功
⑼测试wordcount
① 本地创建目录:
在该目录下建立文件file1,file2
② 在hdfs创建目录:
③ 上传本地文件
④ 查看文件是否上传
⑤ 在集群上运行wordcount程序
/tmp/input 为输入目录,/output为输出目录
⑥ 查看结果
⑦查看输出内容
5. Eclipse 连接 Hadoop
本环节在windows下进行
⑴将插件hadoop-eclipse-plugin-2.6.0.jar,下载后放到eclipse/plugins目录。
重启一下Eclipse,然后可以看到DFS Locations。
⑵打开Window-->Preferens,可以看到Hadoop Map/Reduce选项,然后点击,然后添加hadoop-2.6.0的主目录进来。
注意:这个hadoop-2.6.0的目录就是hadoop-2.6.0.x64.tar.gz解压的目录。
⑶配置Map/ReduceLocations
点击Window-->ShowView -->MapReduce Tools 点击Map/ReduceLocation
点击Map/ReduceLocation选项卡,点击右边小象图标,打开Hadoop Location配置窗口:输入Location Name,任意名称即可.配置Map/ReduceMaster和DFSMastrer,Host和Port配置成hdfs-site.xml与core-site.xml的设置一致。
⑷查看是否连接成功,当连接成功时就可以看到hdfs上面的文件