Hadoop基本配置

1.三台主机

192.168.137.11     master     MAC地址不同

192.168.137.12     master     MAC地址不同

192.168.137.13     master     MAC地址不同

1.1主机配置：

1.1.1  IP地址

查看IP地址：

# ip addr

#vi /etc/sysconfig/network-scripts/ifcfg-ens33(后面这个数字看自己的电脑上显示的)

重启网卡：

#service  network restart

#systemctl  restart network.service

1.1.2 主机名称

# vi /etc/hostname

修改主机名为：master

1.1.3hosts映射

# vi /etc/hosts

 主机名映射验证：

#ping  master

1.1.4创建用户

#useradd 用户名

#passwd 用户名    输入两次密码

1.1.5给用户免密码root权限

#修改   /etc/sudoers 文件权限

#chmod 640 sudoers

修改文件 /etc/sudoers

#vi /etc/sudoers

在首行添加：

用户名ALL=(root)NOPASSWD:ALL

1.1.6关闭防火墙：

关闭防火墙服务

#systemctl status firewalld.service 查看防火墙状态

#systemctl stop firewalld.service  关闭防火墙服务

#systemctl disable firewalldservice  防止防火墙自启动

开启SSHD服务

#systemctl start sshd

1.1.7使用xshell 进行远程终端登录

使用xshell进行登录

必须使用普通用户

1.1.8安装JDK

将jdk安装拷贝到/home/用户名/app目录下。

修改jdk....压缩包的可执行权限

#chmod 764 jdk......

解压安装包到当前目录

#tar -zxvf jdk-7u67-linux-x64.tar gz -C ../

配置环境变量

#sudo  vi/etc/peofile

在末尾添加

export JAVA_HOME=/home/yonghuming/app/jdk1.7.0_67

export PATH=$PATH:$JAVA_HOME/bin:

刷新配置文件

#source /etc/profile

1.2克隆其他主机

1.2.1克隆主要MAC地址修改

 

1.2.2修改IP地址，主机名，

根据上面的配置进行修改即可、

1.2.3设置SSH面密码登录

#ssh-keygen -t rsa    用以生成公钥私钥的秘钥对--》 4次回车。

可在当前用户下的ssh中查看两个密钥：

复制密钥的名字

切记：给自己也发一份公钥

#ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.1.100

发送密钥到其他两台主机的普通用户的.ssh目录下。

也可以将ssh,目录发过去

ssh-copy-id 主机名1

ssh-copy-id 主机名2

ssh-copy-id 主机名3

（此处主机名已经配置过  也就是 ip地址   主机名.com  主机名）

1.3安装hadoop

修改权限

#chmod 764 hadoop...

解压hadoop

#tar -zxvf /hadoop.... -C ../

配置环境变量

#SET JAVA_HOME

export JAVA_HOME=/home/huaqiang/app/jdk1.7.0_67

export HADOOP_HOME=/home/huaqiang/app/hadoop-2.7.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

1.3.1修改hadoop配置文件

修改hadoop-env.sh

修改jdk路径：export JAVA_HOME=/opt/modules/jdk...

修改  core-site.xml

<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>

修改hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.block.size</name>
<value>134217728</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoopdata/dfs/name</value>  <!--home下可能是自己的目录，如果有的话进行修改-->
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoopdata/dfs/data</value>
</property>
<property>
	<name>fs.checkpoint.dir</name>
	<value>/home/hadoopdata/checkpoint/dfs/cname</value>
</property>
<property>
	<name>fs.checkpoint.edits.dir</name>
	<value>/home/hadoopdata/checkpoint/dfs/cname</value>
</property>
<property>
   <name>dfs.http.address</name>
   <value>master:50070</value>
</property>
<property>
   <name>dfs.secondary.http.address</name>
   <value>server1:50090</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

修改mapred-site.xml文件

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<final>true</final>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value> 
</property>

<!-- master ： 是自己的主机名-->

修改yarn-site.xml

<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>

修改slaves文件

注意:每个机器名占一行。

master

slave1

slave2

创建namenode 元 数据保存目录

mkdir /home/yonghuming/hadoopdata 目录。

注意：将其他节点也创建相应的目录。

重点：将本地的Hadoop.整个目录。复制到其他节点

scp -r ./hadoop-2.7.1 hadoop-datanode-02:/home/yonghuming/app

1.3.8格式化 hadoop

hadoop namenode-format

1.3.9启动hadoop

start-all.sh

#hdfs dfs-put a.txt /

web访问端口：

heep://192.168.138.100:50070