大数据集群准备步骤
1 准备三台服务器出来 配置主机名,主机和ip对应关系 node01 node02 node03
2 关闭三台服务器防火墙 设置开机不自启动
3 关闭三台服务器selinux 设置disabled
4 给三台服务器安装jdk1.8 安装目录为/export/servers
5 设置三台服务器免密码登录
6 上传编译好的hadoop压缩包到主节点的/export/soft目录下面
执行压缩到/export/servers目录下
先更改一下包名
mv hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz hadoop-2.6.0- cdh5.14.0.tar.gz
压缩命令
tar -zxvf hadoop-2.6.0-cdh5.14.0.tar.gz -C …/servers/
7 查看 hadoop支持的压缩方式以及本地库
主节点在/export/servers/hadoop-2.6.0-cdh5.14.0目录下执行以下命令
bin/hadoop checknative
执行下面命令进行安装openssl
yum -y install openssl-devel
8 修改hadoop核心配置 文件
执行 cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop 切换目录
执行命令修改配置文件 vim core-site.xml
fs.defaultFS
hdfs://node01:8020
hadoop.tmp.dir
/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
io.file.buffer.size
4096
<!-- 开启hdfs的垃圾桶机制,删除掉的数据可以从垃圾桶中回收,单位分钟 -->
<property>
<name>fs.trash.interval</name>
<value>10080</value>
</property>
修改hdfs-site.xml
vim hdfs-site.xml
<!-- 集群动态上下线
dfs.hosts
/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host
<property>
<name>dfs.hosts.exclude</name>
<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value>
</property>
-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node01:50090</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>node01:50070</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
</property>
<!-- 定义dataNode数据存储的节点位置,实际工作中,一般先确定磁盘的挂载目录,然后多个目录用,进行分割 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
</property>
<property>
<name>dfs.namenode.edits.dir</name>
<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
</property>
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
</property>
<property>
<name>dfs.namenode.checkpoint.edits.dir</name>
<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
dfs.blocksize 134217728
修改Hadoop-env.sh
vim hadoop-env.sh
export JAVA_HOME=/export/servers/jdk1.8.0_141
修改mapred-site.xml
此时目录下面没有mapred-site.xml 这个文件 只有mapred-site.xml.template
需要执行 cp mapred-site.xml.template mapred-site.xml 命令
vim mapred-site.xml
mapreduce.framework.name
yarn
<property>
<name>mapreduce.job.ubertask.enable</name>
<value>true</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>node01:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>node01:19888</value>
</property>
修改yarn-site.xml
vim yarn-site.xml
yarn.resourcemanager.hostname
node01
yarn.nodemanager.aux-services
mapreduce_shuffle
修改slaves文件
vim slaves
添加节点进去
9 创建一些文件目录
主节点执行
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits
10 安装包分发
主节点执行负责
cd /export/servers/
scp -r hadoop-2.6.0-cdh5.14.0/ node02:
P
W
D
s
c
p
−
r
h
a
d
o
o
p
−
2.6.0
−
c
d
h
5.14.0
/
n
o
d
e
03
:
PWD scp -r hadoop-2.6.0-cdh5.14.0/ node03:
PWDscp−rhadoop−2.6.0−cdh5.14.0/node03:PWD
11 配置hadoop环境变量
简便方法 把/etc/profile,.d/下面的java.sh 拷贝一份更改为hadoop.sh
更改一下里面配置路径即可
配置完毕执行 source/etc/profile
12 集群启动
第一次启动需要在主节点格式化 集群
bin/hdfs namenode -format
一键启动所有集群
sbin/start-all.sh
在主节点输入jps
出现此图代表启动成功
去从节点jps
此图代表成功
hdfs集群访问地址: http://192.168.52.100:50070/dfshealth.html#tab-overview
yarn集群访问地址: http://192.168.52.100:8088/cluster