Ubantu20下Hadoop伪分布安装
注意:防火墙一定要关闭!,也可以不关闭 ,需要放行你需要的端口!
1、准备安装包上传到/opt目录下
- 配置jdk,将jdk上传到/opt目录下
上传失败执行
sudo chmod 777 /opt
hadoop获取连接,在/opt目录下输入
sudo wget --no-check-certificate https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz
- 将两者解压到/usr/local下
sudo tar -zxvf /opt/hadoop-2.10.1.tar.gz -C /usr/local/
sudo tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/local/
- 编辑sudo vim /etc/profile,vim没有该命令自行百度(JDK和hadoop环境变量一起)
export JAVA_HOME=/usr/local/jdk1.8.0_131
export HADOOP_HOME=/usr/local/hadoop-2.10.1
exportPATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH:$HOME/bin
-
保存退出执行 source /etc/profile
-
检测是否成功,分别输入
java -version
hadoop
2、hadoop配置
- hadoop-env.sh文件的配置
配置文件所在目录,在解压的hadoop目录下:hadoop/hadoop-2.10.1/etc/hadoop
。
sudo vim hadoop-env.sh
这个目录改Jdk的安装目录,不用到bin目录下,到安装目录即可
/usr/local/jdk1.8.0_131
- core-site.xml文件配置
sudo vim core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/icloudy/hadoop/hadoop-2.10.1/tmp</value>
</property>
</configuration>
可根据自己情况更改。
- 配置hdfs-site.xml
sudo vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
- mapred-site.xml文件配置
目录下是没有该文件的只有一个模板,将mapred-site.xml.template
复制一份改名即可。
cp mapred-site.xml.template mapred-site.xml
sudo vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
- yarn-site.xml文件配置
sudo vim yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>192.168.66.123:9001</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>192.168.66.123:8032</value>
</property>
- 配置ssh免密登录
进入 /etc下
sudo chmod 777 hosts
sudo vim /etc/hosts
完成主机ip映射之后使用密码实现主机间的切换:ssh root@[主机映射名称]
。
cd ~/.ssh/
#完成主机ip映射之后使用密码实现主机间的切换:ssh root@[主机映射名称]
ssh root@icloudy
输入yes
后会让你输入密码:
如上图已经成功切过去了。
此时是需要密码的,每次输入密码是很不方便的,也不能实现集群的自动化,接下来需要配置ssh免密登录。
在root用户下输入ssh-keygen -t rsa
三次回车
@符前面是当前用户名,@后面是要登录的用户名
- 格式化分布式文件系统HDFS
该文件系统是hadoop自动下载的的,格式化命令:hdfs namenode -format
。只能格式化一次,若第一未成功需要删除上面配置的tmp目录重新格式化。
- **启动集群
start-dfs.sh
**中途要输入一个yes:
- 使用jps检查
这一步你比我少一个正常,你还没启动完。
namenode节点后台管理地址ip+端口号[50070/50090]
http://192.168.66.123:50070/
- http://192.168.66.123:50090
yarn
作为集群的管理者,启动yarn的命令为:start-yarn.sh
:
也可以输入ip+[yarn端口号]
进入yarn管理中心,这是在之前yarn-site.xml
配置的
如图,就是成功了,伪分布安装!
- http://192.168.66.123:8088