目录
Hadoop伪分布式
Hadoop伪分布式,单节点,Hadoop的守护进程(NameNode,DataNode,SecondaryNameNode,JobTracker,TaskTracker)全部运行在一个节点上,相互独立,模拟一个集群。
所需文件
jdk-8u231-linux-x64.tar.gzhadoop-3.2.1.tar.gz
jdk配置
软件包都在opt目录里ln -s jdk1.8.0_231 jdk #感觉文件名字太长可以创建一个软链接容易记忆
vim /etc/profile #编辑系统配置文件
export JAVA_HOME=/opt/jdk #在文件最后添加配置
export PATH=$PATH:$JAVA_HOME/bin
网上好多都配置了classpath其实早在jdk1.5官方就已经说明不必配置classpath
source /etc/profile #配置后需要执行一下才能生效,使用jps命令验证成功
ssh免密登陆
ssh-keygen -t rsa #使用此命令一直回车,密钥及公钥就存在/root/.ssh里
cd /root/.ssh
cat id_rsa.pub >> authorized_keys #授权密钥
ssh root@ip地址 #无需密码就可以登陆进去表示成功,exit退出
Hadoop环境变量
tar -zxvf hadoop-3.2.1.tar.gz #同jdk配置一样,解压压缩包
ln -s hadoop-3.2.1 hadoop #创建软链接
vim /etc/profile #配置环境变量
export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME=/sbin
source /etc/profile #执行文件,命令行输入hadoop验证配置成功
配置Hadoop相关文件
说明:此处配置可以参考官网的默认配置来配置
Hadoop配置文件全部在 /opt/hadoop/etc/hadoop
本文所出现的weekeight可换成自己的hostname
hadoop-env.sh
vim hadoop-env.sh #在此文件再次配置Java的路径
core-site.xml
core-site.xml的全部默认配置项,可进行参考来配置
在文件的最后的configuration标签里添加一下配置
1.指定HDFS的的路径地址
2.hadoop的工作目录,存放hadoop进程的临时文件
<property>
<name>fs.defaultFS</name>
<value>hdfs://weekeight:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/var/hadoop</value>
</property>
hdfssite.xml
hdfssite.xml的全部默认配置项,可进行参考来配置
1.指定副本数(默认为3,伪分布式指定1就行)
2.指定namenode当前数据的目录(路径需为hadoop.tmp.dir配置的目录下)
3.指定datanode当前数据的目录(同上)
4.namenode将监听的地址和基本端口(3.0以后的端口都是9870,之前版本大多50070)
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/var/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/var/hadoop/dfs/data</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>weekeight:9870</value>
</property>
mapred-site.xml
mapred-site.xml的全部默认配置项,可进行参考来配置
1.执行MapReduce时官方默认的为local(本地)
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
yarn-site.xml
yarn-site.xml的全部默认配置项,可进行参考来配置
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
启动Hadoop
所有的配置都已经配置完了,我们剩下的步骤只剩格式化,启动,验证。
格式化,出现图中字样格式化成功。
hdfs namenode -format #格式化
start-dfs.sh #启动,启动后使用jps验证
启动时出现错误,参考Hadoop单点安装FAQ
也可以在网站上打开weekeight:9870(此处为自己设置的)
可以打开表示部署成功。