hadoop完全分布式集群的搭建
首先准备工具(xshell、三台linux虚拟机、hadoop安装包(我这里是2.8.5版本)、jdk安安装包(我这里是1.8的),这些安装包都是linux版的)
-
工具链接:
xshell:
链接:https://pan.baidu.com/s/1j7ETach_a4xHAjwuDr6AVA 提取码:vmsv
准备工作
=================
免密登录,域名映射
hadoop安装前的准备工作
=================
安装特别简单,一直下一步即可。
Hadoop安装包(2.8.5):
链接:https://pan.baidu.com/s/14WevvRPbI-E5HNma-FSJ8g 提取码:600u
jdk安装包(1.8):
链接:https://pan.baidu.com/s/1_lbXY5uLBad_yGbTcU5NbA 提取码:e0gn
一 、开始安装hadoop
-
首先安装好jdk
这里不再演示:================
查看上篇文章
================ -
安装hadoop
-
结果显示这样就可以了
-
进入hadoop.2.8.5
主要配置都在etc里面,别的我就不细讲了 -
继续走,接上,在hadoop-2.8.5下,cd etc/hadoop/
-
vi core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://ubuntu1(`自己电脑的master`):9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/qin/tmp(`自己电脑的路径`)</value>
</property>
</configuration>
- vi hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!-- namenode存储位置 -->
<property> `提前建立好俩个文件目录`
<name>dfs.namenode.name.dir</name>
<value>/home/qin/bigdata/tmp/name</value>
</property>
<!-- dataode存储位置 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/qin/bigdata/tmp/data</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
<dedication> Datanode 有一个同时处理文件的上限,至少要有4096</dedication>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>ubuntu1:9001</value>
</property>
<property> <!--设置为true,可以在浏览器中IP+port查看-->
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
- vi hadoop-env.sh 修改
export JAVA_HOME=/home/qin/qps/install/jdk1.8.0_231
export HADOOP_CONF_DIR=/home/qin/`qps/install(注意这里不一样)`/hadoop-2.8.5/etc/hadoop
- vi yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master-30585-30586-30587-4d13l`自己的master`</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
</configuration>
- vi mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
-
vi slaves
把其他几台主机的名字拷贝,写在里面
-
把hadoop.2.8.5远程传送到其他俩台虚拟机
scp hadoop2.8.5/ xxx :xx/xx/xx
注意路径 -
格式化
hdfs namenode -format
(前提设置环境变量) -
启动hdfs
start-dfs.sh
启动yarn
start-yarn.sh
关闭yarn
stop-yarn.sh
关闭hdfs
stop-dfs.sh -
检查
jps
打开浏览器输入master(根据自己的名称顶):50070 和 master:8088