首先准备两个安装包jdk和Hadoop,注意不要用Hadoop-src的tar包,需要的话可以联系我。
注意:本文的所有环境变量以及文件夹命名都是我自主命名,请一定要注意自己配置时的设置
一、安装JDK
先将jdk包移动到/usr/local(上传时可直接上传到此处),然后解压。
此处出现了二进制文件无法读取的问题,百度说是32位机器和64位安装包不匹配,所以使用了openjdk代替。
安装命令 :
apt?-y?install?openjdk-8-jre?openjdk-8-jdk
配置环境变量
vim ~/.bashrc
在结尾添加以下代码
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=.:$JAVA_HOME/bin:$PATH
然后使环境变量生效 ?source ~/.bashrc
查看是否安装成功 使用
Java version
Javac version
二、安装Hadoop
设置SSH
安装ssh sudo apt-get install ssh
免密登录 ssh-keygen -t rsa
验证 cd ~/.ssh
cat id_rsa.pub >> authorized_keys
ssh localhost
exit
安装Hadoop
cd 压缩包位置
解压缩 sudo tar –zxvf had* –C /usr/local/
设置权限
cd /usr/local
sudo chown –R root Hadoop-2.10.1
然后添加到变量
vim /etc/profile
# set hadoop environment
export HADOOP_HOME=/usr/local/hadoop-2.10.1
export PATH=$PATH:$HADOOP_HOME/bin
修改环境变量 .bashrc
export HADOOP_HOME=/usr/local/Hadoop-2.10.1
export CLASSPATH=.:{JAVA_HOME}/lib:${HADOOP_HOME}/sbin:$PATH
export PATH=.:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH
输入Hadoop version
三、配置伪分布式
修改Hadoop中JAVA—Home的变量 解压文件夹/etc/hadoop/Hadoop-env.sh中。变量改为Java-home的变量。前面已经提到过了。
修改/etc/hadoop下的core-site.xml文件
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop-2.10.1/tmp</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
修改hdfs-site.xml文件
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop-2.10.1/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop-2.10.1/tmp/dfs/data</value>
</property>
</configuration>
配置YARN-1
cd /usr/local/Hadoop-2.10.1/etc/hadoop
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
配置YARN-2
Vim yarn-site.xml
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
执行NameNode格式化
cd /usr/local/hadoop-2.10.1/bin
./hdfs namenode –format
出现以下代码表示格式化成功
启动Hadoop组件
cd /usr/local/hadoop-2.10.1/sbin
./start-all.sh
最后输入jps查询