jdk配置与hadoop2.6.0单节点搭建

jdk配置与hadoop2.6.0单节点搭建

更改主机名

vi  /etc/hostname

改成

lsn-linux

更改网络设置

vi /etc/sysconfig/network

加入
NETWORKING=yes
HOSTNAME=lsn-linux

设置主机名和ip映射

/etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.160.3 lsn-linux #前两行不用改，最后一行，加一个本机ip和用户名映射

1. 配置JDk
   本博客用的jdk版本是jdk1.8.0_171版本，centos 7.8 ,hadoop 2.6.0
   首先在根目录的文件夹 usr 创建一个文件夹java

cd /usr
mkdir java

然后在创建一个文件夹 （该文件夹在/usr文件夹下） 存放我们的 jdk 压缩版和 hadoop 压缩包

cd /usr
mkdir soft

如上图，usr文件夹下，已创建好两个文件夹

2. 将事先下好的 jdk 放在/usr解压（ 对于非1.8.0——171版本的jdk,很多也可用 ）,并移动到jdk

tar -zxvf jdk-8u171-linux-x64.tar.gz
mv  jdk1.8.0_171  /usr/java/

3. 配置jdk环境

在 /etc/profile 文件下加以下代码

vim  /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_171
export HADOOP_PREFIX=/hadoop/hadoop-2.6.0
export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
export PATH="$JAVA_HOME/bin:$PATH:$HADOOP_PREFIX/bin:$PATH"
export HADOOP_PREFIX PATH CLASSPATH

然后另环境生效

source  /etc/profile

测试：

java-version

若是以下结果则，成功配置，之后才可进行下一步

4.ssh免密码登陆设置（在root目录完成） 启动hadoop时不需要反复输入密码

cd /root
ssh-keygen -t rsa -P ""   #然后一直回车即可
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

5. 之后解压我们的hadoop安装包，在根目录下闯将一个文件夹，将解压包移动到该文件夹

cd /usr/soft
tar -zxvf hadoop-2.6.0.tar.gz
mv hadoop-2.6.0 /hadoop/

6. 配置hadoop文件
   先进入/hadoop/hadoop-2.6.0/etc/hadoop 文件夹下

cd  /hadoop/hadoop-2.6.0/etc/hadoop

之后配置几个文件

hadoop-env.sh

vi hadoop-env.sh

增加

export JAVA_HOME=/usr/java/jdk1.7.0_21

core-site.xml

vi core-site.xml

增加

<configuration>

<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/tmp</value>
</property>

<property>
<name>fs.default.name</name>
<value>hdfs://lsn-linux:9000</value>
</property>
</configuration>

mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

增加

<configuration>

<property>
<name>mapred.job.tracker</name>
<value>lsn-linux:9001</value>
</property>

</configuration>

yarn-site.xml

vi yarn-site.xml

增加

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

hdfs-site.xml
vi hdfs-site.xml

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.namenode.name.dir</name>
<value>/hadoop/hadoop-2.6.0/dfs/name</value>
</property>

<property>
<name>dfs.datannode.data.dir</name>
<value>/hadoop/hadoop-2.6.0/dfs/data</value>
</property>

7. 之后即可启动hadoop了

bin/hadoop namenode -format
sbin/start-all.sh

8.查看进程

jps

如果显示以下结果，则配置成功

最后可在浏览查看以下网址
http://localhost:50070/
若显示如下结果，则成功