Hadoop的单节点集群设置(独立模式)_hadoop部署独立模式

[root@master ~]# cd /opt/apps
[root@master apps]# mv jdk1.8.0_221/ jdk

**步骤5）**配置Jdk的环境变量：/etc/profile

[root@master apps]# vi /etc/profile
…省略…
#jdk environment
export JAVA_HOME=/opt/apps/jdk
export PATH=$JAV{A}_{H}OME/bin:$JAVA_HOME/jre/bin:$PATH

**步骤6）**使当前窗口生效

[root@master apps]# source /etc/profile

**步骤7）**验证jdk环境

[root@master apps]# java -version
[root@master apps]# javac

### **4 hadoop目录结构说明**


1 Hadoop目录结构如下：（可以提前在window系统上解压，看一下）


![](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9waWM0LnpoaW1nLmNvbS84MC92Mi1lOTdjYWJmZDA1MjAxMzY3ZmYzYmJkODEwNzUyZjljN183MjB3LmpwZw?x-oss-process=image/format,png)

–1. bin: hadoop的二进制执行命令文件存储目录
–2. sbin: hadoop的执行脚本存储目录
–3. etc: hadoop的配置文件存储目录
–4. lib/libexec: hadoop的资源库存储目录
–5. share: hadoop的共享资源、开发工具和案例存储目录
–6. include: hadoop的工具脚本存储目录

### **5 环境搭建：Hadoop的安装步骤**


**步骤1）** 上传并解压hadoop

将hadoop软件包上传到/opt/software目录下，然后解压到/opt/apps/目录下
[root@master ~]# cd /opt/software/
[root@master software]# tar -zxvf hadoop-2.7.6.tar.gz -C /opt/apps/

**步骤2）**更名hadoop

[root@master software]# cd /opt/apps
[root@master apps]# mv hadoop-2.7.6/ hadoop

**步骤3）**配置hadoop的环境变量

[root@master apps]# vi /etc/profile
…省略…
#hadoop environment
export HADOOP_HOME=/opt/apps/hadoop
export PATH=$HADOO{P}_{H}OME/bin:$HADOOP_HOME/sbin:$PATH

**步骤4）**使当前窗口生效

[root@master apps]# source /etc/profile

**步骤5）**验证hadoop

[root@master apps]# hadoop version

#### **3.6 程序案例演示：grep程序**


**步骤1）** 进入hadoop的根目录

[root@master apps]# cd $HADOOP_HOME

**步骤2）** 创建一个目录input

[root@master hadoop]# mkdir input

**步骤3）** 将$HADOOP\_HOME/etc/hadoop/目录下的所有xml文件复制到input目录下

[root@master hadoop]# cp ./etc/hadoop/*.xml ./input

**步骤4）** 使用hadoop自带的grep程序查找input目录下的文件是否有符合正则表达式'dfs[a-z.]'的字符串

[root@master hadoop]# hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar grep input ./output ‘dfs[a-z.]’
​
命令行内容解析：
–1. 使用hadoop命令运行jar文件
–2. 同时指定具体的jar文件的路径
–3. 使用jar文件里的grep主程序
–4. 统计当前目录下的input目录里的内容，
–5. 将统计结果输出到当前目录下的output目录
–6. 给grep指定一个正则表达式
​
注意：输出目录是一个不存在的目录，程序会自动生成

**步骤5）** 进入output目录查看part-r-00000文件

[root@master hadoop]# cd ./output
[root@master output]# cat part-r-00000

#### **3.7 案例测试\_wordcount.**

[root@master hadoop]# hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount input ./out1

  需要更多教程，微信扫码即可


 ![](https://img-blog.csdnimg.cn/6ade99f981cd4927b9ee5bd0aa40fd14.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5Y2D6ZSL5pWZ6IKy5a6Y5pa55Y2a5a6i,size_8,color_FFFFFF,t_70,g_se,x_16)



## 写在最后

**在结束之际，我想重申的是，学习并非如攀登险峻高峰，而是如滴水穿石般的持久累积。尤其当我们步入工作岗位之后，持之以恒的学习变得愈发不易，如同在茫茫大海中独自划舟，稍有松懈便可能被巨浪吞噬。然而，对于我们程序员而言，学习是生存之本，是我们在激烈市场竞争中立于不败之地的关键。一旦停止学习，我们便如同逆水行舟，不进则退，终将被时代的洪流所淘汰。因此，不断汲取新知识，不仅是对自己的提升，更是对自己的一份珍贵投资。让我们不断磨砺自己，与时代共同进步，书写属于我们的辉煌篇章。**


需要完整版PDF学习资源私我