大数据集群的部署安装

如果基础知识不足不知道具体怎么调的 可以私信我 一定尽我所能 同时希望您能指出文章的不足之处
您的意见对我非常宝贵
同时欢迎各位大神来对本文留下评论 我会努力写出更好的文章

---

准备工作

1. 首先准备一台虚拟机在根目录下创建层级文件夹
   
   
2. 将jdk1.8和hadoop安装包放到softwares文件夹
   
3. 将软件包解压到servers
   
   
4. 关闭防火墙
   
5. 关闭selinux
   
   
6. 配置环境变量

修改java.sh

在java.sh里添加

修改地址


修改hadoop.sh

添加地址

让修改立即生效

6. 配置各个主机名的对应关系

7. 各个节点的无密码访问
用来在root文件夹下生成一个.ssh文件

依次保存各个节点的密码

测试是否可以无密码访问

8. 克隆虚拟机

需要将被复制的虚拟机关机

克隆完毕后启动虚拟机

给每个节点设置ip地址
参照第六步 给自己定义的节点对应上
关闭selinux
关闭各个节点的防火墙
测试各个节点的无密码访问

配置环境

1. 执行以下命令
   
   如果openssl出现false name所有机器在线安装openssl即可
   
   

2.第一台机器执行以下命令
进入到hadoop文件夹

修改配置文件

确保自己接下来的操作都是在hadoop目录下完成 因为需要配置的文件都在这里

注意 ! 不要随便修改 添加自己复制的即可 接下来的配置里value 参数里的node01和第一台主机名对应 主机名在 /etc/sysconfig/network 可以设置

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://node01:8020</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value>
	</property>
	<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>

修改完后保存退出然后修改下一个

vim hdfs-site.xml

<configuration>
	<!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
	<!--   集群动态上下线 
	<property>
		<name>dfs.hosts</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value>
	</property>
	
	<property>
		<name>dfs.hosts.exclude</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value>
	</property>
	 -->
	 
	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
	</property>

	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
	</property>
	
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>

vim hadoop-env.sh

:如果路径不对就修改为自己jdk解压包的路径 一般来说是下面这个

vim mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>
</configuration>

vim yarn-site.xml

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>

vim slaves

这个需要四个节点的主机名写入到里面 只保留主机名 其他的删除掉
主机名可以在 /etc/sysconfig/network 里查看

node01
node02
node03
node04

创建文件存放目录
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits

安装包的分发 如果从节点已有就不需要再发

cd /export/servers/

scp -r hadoop-2.6.0-cdh5.14.0/ node02:$PWDscp-rhadoop-2.6.0-cdh5.14.0/node03:$PWD
scp -r hadoop-2.6.0-cdh5.14.0/ node04:$PWD

集群启动

进入hadoop安装包

cd /export/servers/hadoop-2.6.0-cdh5.14.0/

启动所有

sbin/start-all.sh

关闭所有``

sbin/stop-all.sh