hadoop单节点安装及测试

目录

（1）修改主机名

（2）配置hosts映射

（3）创建用户 并赋予密码

 （4）进入用户并切换至用户根目录

（6）将hadoop压缩包  解压至  app文件夹中

（7）给用户配置  ssh免密

 （8）配置  java 环境变量，  hadoop  环境变量 

（9） 修改hadoop  配置文件 ，与hadoop配置中java路径的配置

(10) 配置  workers 文件

（11）启动前   格式化  namenode

（12）启动  hadoop

（13）通过WEB端访问  hdfs

（14）测试  hadoop  自带  案例

（15）测试

（16）查看一下测试出现的文件内容

（17） 关闭hadoop

---

--  使用云服务器进行单节点服务器搭建

（1）修改主机名

在root用户下修改主机名

[root]# vim  /etc/hostname

按 i 进入编辑 设置主机名为 hadoop

：wq 进行保存

（2）配置hosts映射

root 用户下

[root]# vim  /etc/hosts

 ip 为内网ip

（3）创建用户 并赋予密码

[root]# passwd  peizk

[root]# useradd  peizk

如下： 

 

 （4）进入用户并切换至用户根目录

[root]#   su peizk
[peizk]#  cd ~

  创建  相应的后续所用目录

[peizk]# mkdir sourcecode  software app  log    lib  data  tmp  shell

 将hadoop安装包，java安装包 放入  software文件夹

（6）将hadoop压缩包  解压至  app文件夹中

[peizk@hadoop software]$ tar -zxvf jdk-8u212-linux-x64.tar.gz  -C  ../app

[peizk@hadoop software]$ tar -zxvf hadoop-3.1.3.tar.gz -C  ../app

（7）给用户配置  ssh免密

[peizk@hadoop ~]$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

[peizk@hadoop ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

[peizk@hadoop ~]$ chmod 0600 ~/.ssh/authorized_keys

 （8）配置  java 环境变量，  hadoop  环境变量 

登录root用户

进入

[root@hadoop hadoop-3.1.3]# vim /etc/profile

在最后出加入如下语句

#JAVA_HOME
export JAVA_HOME=/home/peizk/app/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin


#HADOOP_HOME
export HADOOP_HOME=/home/peizk/app/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

wq  进行保存

对配置文件进行  source  

[root@hadoop hadoop-3.1.3]# source /etc/profile

接着 输入  java   hadoop   就可以看到  有显示   证明配置成功

（9） 修改hadoop  配置文件 ，与hadoop配置中java路径的配置

  登录  peizk 用户 并进入 hadoop配置文件目录

[peizk@hadoop ~]$ cd app/hadoop-3.1.3/etc/hadoop/

修改文件   core-site.xml

[peizk@hadoop hadoop]$ vim  core-site.xml 

 在 <configuration> </configuration>  中加入如下内容

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop:9000</value>
</property>

<property>
        <name>hadoop.tmp.dir</name>
        <value>/home/peizk/tmp</value>
</property>

修改文件  hdfs-site.xml

[peizk@hadoop hadoop]$ vim hdfs-site.xml 

在 <configuration> </configuration>  中加入如下内容

<property>
      <name>dfs.replication</name>
      <value>1</value>
 </property>

修改文件   hadoop-env.sh

[peizk@hadoop hadoop]$ vim  hadoop-env.sh

 添加  如下语句

 export JAVA_HOME=/home/peizk/app/jdk1.8.0_212

(10) 配置  workers 文件

[peizk@hadoop hadoop]$ vim workers 

修改为  hadoop

（11）启动前   格式化  namenode

进入目录 

[peizk@hadoop ~]$ cd app/hadoop-3.1.3/

 执行命令  

[peizk@hadoop hadoop-3.1.3]$ hdfs  namenode -format

可以在家目录下的tmp中相应的文件，证明格式化成功

注意：每次格式化前都要先将原本的tmp下数据及logs删除，避免版本号不对应出现错误

（12）启动  hadoop

[peizk@hadoop hadoop-3.1.3]$ sbin/start-dfs.sh 

显示如下：

使用  jps  查看

（13）通过WEB端访问  hdfs

  首先  打开服务器  9870端口

接着使用         外网ip:端口    访问成功

（14）测试  hadoop  自带  案例

首先 在hdfs 中创建 几个文件夹

[peizk@hadoop hadoop-3.1.3]$ hadoop fs -mkdir -p /user/peizk

[peizk@hadoop hadoop-3.1.3]$ hadoop fs -mkdir /input

往  input  下 放一些文件

[peizk@hadoop hadoop]$ hadoop fs -put *.xml /input

 如下

 

（15）测试

[peizk@hadoop hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep /input /output 'dfs[a-z.]+'

 执行成功   页面出现output

（16）查看一下测试出现的文件内容

在家目录下新建一个output文件夹

然后

[peizk@hadoop ~]$ hadoop fs -get /output output/

 如下：

 使用  cat 命令查看

[peizk@hadoop ~]$ cat output/output/part-r-00000 

如下： 

（17） 关闭hadoop

[peizk@hadoop hadoop-3.1.3]$ sbin/stop-dfs.sh 

使用jps查看  关闭成功