一、Linux环境搭建
1、修改IP地址
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.10.158
NETMASK=255.255.255.0
GATEWAY=192.168.10.1
DNS1=114.114.114.114
DNS2=8.8.8.8 |
2、重启网络服务
service network restart
3、关闭防火墙
service iptables stop
4、设置防火墙不开机启动
chkconfig iptables off
二、安装jdk
1、修改环境配置文件
vi /etc/profile
export JAVA_HOME=/java/jdk
export PATH=$PATH:$JAVA_HOME/bin
2、应用配置文件
source /etc/profile
三、修改hadoop配置文件
hadoop安装目录下 ./etc/hadoop/下的文件
1、修改hadoop-env.sh
配置JAVA_HOME路径
2、修改core-site.xml
<configuration>
<!--配置hdfs的namenode的地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop.edu360.cn:9000</value>
</property>
<!--配置hadoop运行时产生数据的存放目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop</value>
</property>
</configuration>
|
3、修改hdfs-site.xml
<configuration>
<!--指定副本数量-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration> |
4、修改mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration> |
5、修改yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- 指定yarn的老大 resourcemanager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop.edu360.cn</value>
</property>
<!-- mapreduce执行shuffle时获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration> |
四、hdfs格式化
./hdfs namenode -format
五、配置免密码登录
ssh-keygen -t rsa
将公钥复制给其他用户
ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.10.158
或者
scp -p ~/.ssh/id_rsa.pub root@192.168.91.135:/root/.ssh/authorized_keys