1安装版本及环境
vmware11
Centos6.5 64位版本
JDK1.8linux32位版
Hadoop2.7.3版本
2 安装步骤
(1)字符界面安装centos6.5,网络设置为主机模式或者桥连接
(2)配置静态ip 并测试能不能从本地主机ping的通虚拟机.参考:https://blog.csdn.net/yu0_zhang0/article/details/78756160
注释掉uuid,配置完之后重启,ping一下百度或者用火狐访问百度
(3)使用secureCRT进行远程ssh登陆
首先修改配置文件 vi /etc/ssh/sshd_config
找到#Port 22一段,这里是标识默认使用22端口
(4)配置etc/hosts 添加ip对应的主机名,比如192.168.17.2 master
(5)安装ssh 客户端,通过修改本地yum源来进行,成功后重启服务
关闭防火墙 chkconfig
(6)创建普通用户 hadoop(名字可自定义)
adduser hadoop加用户
passwd hadoop设密码
Vi /etc/sudoers 文件末尾加上 hadoop ALL=(ALL) ALL 授权
(7)设置免密钥ssh登录(伪分布式其实可以省略)
(8)上传jdk和hadoop2.7.3
(9)使用普通用户登陆,在home目录下创建bd文件夹(非必需)
(10)分别解压jdk和hadoop2.7.3,并测试tar –zxvf
(11)配置普通用户的环境变量,.bashrc(也可以直接在etc/profile进行配置)
(12)测试echo $JAVA_HOME
(13)修改配置5个配置文件
hadoop-env.sh
core-site.xml
hdfs-site.xml
mapred-sit.xml(将mapred-sit.xml.template重命令)
yarn-site.xml
格式化namenode,使用jdk下面的bin目录中的jps来查看下进程或者查看日志,在hadoop解压目录中logs里面
(14)在主机windows里面的system32/drivers/etc/hosts里面添加linux主机名对应的linux里面的ip
(15)通过浏览器进行访问8088端口和50070端口进行测试
修改配置5个配置文件
a)hadoop-env.sh
#The java implementation to use.
export JAVA_HOME=/home/hadoop/bd/jdk1.8.0_144
b) core-site.xml
fs.defaultFS
hdfs://192.168.153.111:9000
hadoop.tmp.dir
/home/hadoop/bd/hadoop-2.7.3/tmp
c) hdfs-site.xml
dfs.replication
1
d) mapred-sit.xml(将mapred-sit.xml.template重命令)
mapreduce.framework.name yarne) yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.153.111</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>