配置Hadoop环境集群搭建-1

以下1-5的操作均以root用户身份针对虚拟机中的Linux系统
1.root下分别配置静态IP、子网掩码、网关、域名解析
IPADDR=192.168.220.128 （linux系统的IP）
NETMASK=255.255.255.0
GATEWAY=192.168.220.2 （linux系统的网关）
DNS1=202.106.0.20       （可以是这个）


2.root下vi /etc/sysconfig/network-scripts/ifcfg-ens33后追加如下内容：
IPADDR=192.168.220.128
NETMASK=255.255.255.0
GATEWAY=192.168.220.2
DNS1=202.106.0.20
并修改BOOTPROTO=static


3.systemctl restart network 重启网络


4.root下修改主机名称
默认情况下的主机名:localhost，修改为python333
vi /etc/hostname后只留存内容：python333
修改主机映射
vi /etc/hosts后追加内容：192.168.220.128 python333


5.重启linux系统，命令：reboot


6.修改Windows主机对虚拟机中linux系统的认知，在C:\Windows\System32\drivers\etc下的hosts中追加192.168.220.128 python333，
即可以ssh python333远程登录linux
-----------------------------------------------------------------------------------
以下步骤均以hadoop用户身份操作
1.hadoop用户解压文件于/home/hadoop/opt/下,命令：tar -zvxf hadoop-xxx.gx -C opt


2.配置hadoop环境变量,hadoop用户在工作目录下vi .bashrc后追加如下内容：
export HADOOP_HOME=/home/hadoop/opt/hadoop-2.9.0
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin


3.之后source .bashrc刷新，输入hadoop验证


4.配置hadoop配置文件，进入/home/hadoop/opt/hadoop-2.9.0/etc/hadoop下，添加如下信息
4.1.core-site.xml:默认文件系统hdfs，HDFS浏览器请求地址
<property>
<name>fs.defaultFS</name>
<value>hdfs://python333:9000</value> 
</property>


4.2.hdfs-site,xml：修改 Hadoop 文件块的默认备份数3为1
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/hadoop/opt/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/hadoop/opt/tmp/dfs/data</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>python333:50070</value>
</property>


4.3.mapred-site.xml：启用yarn的资源调度框架，
注：需要备份cp mapred-site.xml.template mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>


4.4.yarn-site.xml：配置yarn主机  
<property>
<name>yarn.resourcemanager.hostname</name>
<value>python333</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>


4.5.slaves：配置dataname主机名称
python333


5.root用户关闭防火墙
5.1.选择永久关闭（临时关闭：setenforce 0）
vi /etc/selinux/config后修改：
SELINUX=disabled
5.2关闭防火墙（查看防火墙状态systemctl status firewalld）
临时关闭 systemctl stop firewalld
永久关闭 systemctl disable firewalld
5.3重启电脑reboot


6.退出管理员用户，以hadoop进入/home/hadoop/opt/下，
6.1新建tmp目录：mkdir tmp
6.2执行hdfs文件系统格式化,输入：hdfs namenode -format


7.配置密匙（公匙，私匙；可以在工作目录下）
7.1执行ssh-keygen -t rsa，一路回车生成密匙
7.2想无密码登陆到哪台电脑：ssh-copy-id python333，之后输入yes确认


8.验证（hadoop在工作目录下）
（start-dfs.sh
 start-yarn.sh）
8.1输入start-all.sh
8.2输入jps


------------------------------------------------------------
1.浏览器输入：python3:50070


2.hadoop fs -mkdir -p /user/hadoop
注：如果创建过程出现错误，如‘Name node is in safe mode’,需要进入hadoop-2.9.0目录下，执行命令：bin/hadoop dfsadmin -safemode leave


3.hadoop fs -put data1.txt


http://rpmfind.net/linux/rpm2html/search.php?query=libmpfr.so.4%28%29%2864bit%29+&submit=Search+...&system=&arch=  #下载linux软件地址