搭建 Hadoop 环境

最新推荐文章于 2024-04-26 16:31:32 发布
最新推荐文章于 2024-04-26 16:31:32 发布
阅读量623 收藏 10
点赞数 3
文章标签： hadoop hdfs linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lilygg/article/details/89052452
版权
1.hadoop基础配置

1.下载hadoop与jdk

安装包：

hadoop-3.0.3.tar.gz  
jdk-8u181-linux-x64.tar.gz

[root@server1 ~]# ls
hadoop-3.0.3.tar.gz  jdk-8u181-linux-x64.tar.gz

2.创建用户并设定密码

[root@server1 ~]# useradd -u 1000 hadoop
[root@server1 ~]# id hadoop
uid=1000(hadoop) gid=1000(hadoop) groups=1000(hadoop)
[root@server1 ~]# passwd hadoop

在这里插入图片描述
3.解压jdk

#1.拷贝
[root@server1 ~]# mv hadoop-3.0.3.tar.gz jdk-8u181-linux-x64.tar.gz /home/hadoop/
#2.切换用户
[root@server1 ~]# su - hadoop
[hadoop@server1 ~]$ pwd
/home/hadoop
[hadoop@server1 ~]$ ls
hadoop-3.0.3.tar.gz  jdk-8u181-linux-x64.tar.gz
#3.解压
[hadoop@server1 ~]$ tar zxf jdk-8u181-linux-x64.tar.gz 
[hadoop@server1 ~]$ ls
hadoop-3.0.3.tar.gz  jdk1.8.0_181  jdk-8u181-linux-x64.tar.gz
#4.制作软链接
[hadoop@server1 ~]$ ln -s jdk1.8.0_181/ java
[hadoop@server1 ~]$ ls
hadoop-3.0.3.tar.gz  java  jdk1.8.0_181  jdk-8u181-linux-x64.tar.gz

4.解压hadoop

#1.解压
[hadoop@server1 ~]$ tar zxf hadoop-3.0.3.tar.gz 
[hadoop@server1 ~]$ ls
lhadoop-3.0.3         java          jdk-8u181-linux-x64.tar.gz
hadoop-3.0.3.tar.gz  jdk1.8.0_181
#2.制作软链接
[hadoop@server1 ~]$ ln -s  hadoop-3.0.3 hadoop
[hadoop@server1 ~]$ ls
hadoop        hadoop-3.0.3.tar.gz  jdk1.8.0_181
hadoop-3.0.3  java                 jdk-8u181-linux-x64.tar.gz

5.修改配置文件

[hadoop@server1 ~]$ cd hadoop
[hadoop@server1 hadoop]$ ls
bin  include  libexec      NOTICE.txt  sbin
etc  lib      LICENSE.txt  README.txt  share
[hadoop@server1 hadoop]$ cd etc/
[hadoop@server1 etc]$ ls
hadoop
[hadoop@server1 etc]$ cd hadoop/
[hadoop@server1 hadoop]$ pwd
/home/hadoop/hadoop/etc/hadoop
[hadoop@server1 hadoop]$ ls

在这里插入图片描述

[hadoop@server1 hadoop]$ vim hadoop-env.sh 
########################
export JAVA_HOME=/home/hadoop/java

在这里插入图片描述

[hadoop@server1 hadoop]$ cd ..
[hadoop@server1 etc]$ cd ..
[hadoop@server1 hadoop]$ pwd
/home/hadoop/hadoop
[hadoop@server1 hadoop]$ bin/hadoop jar
RunJar jarFile [mainClass] args...

[hadoop@server1 hadoop]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.3.jar

在这里插入图片描述

#创建目录
[hadoop@server1 hadoop]$ mkdir input
#拷贝文件
[hadoop@server1 hadoop]$ cp etc/hadoop/*.xml input/
[hadoop@server1 hadoop]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.3.jar grep input output 'dfs[a-z.]+'

在这里插入图片描述

#生成了output目录
[hadoop@server1 hadoop]$ ls
bin  include  lib      LICENSE.txt  output      sbin
etc  input    libexec  NOTICE.txt   README.txt  share
[hadoop@server1 hadoop]$ cd output/
[hadoop@server1 output]$ ls
part-r-00000  _SUCCESS
[hadoop@server1 output]$ cat *
1	dfsadmin

[hadoop@server1 output]$ cd /home/hadoop/hadoop/etc/hadoop
[hadoop@server1 hadoop]$ vim core-site.xml 
########################
<configuration>
    <property>
          <name>fs.defaultFS</name>
          <value>hdfs://localhost:9000</value>
    </property>
</configuration>

在这里插入图片描述

[hadoop@server1 hadoop]$ vim hdfs-site.xml 
########################
<configuration>
    <property>
         <name>dfs.replication</name>
         <value>1</value>
    </property>
</configuration>

在这里插入图片描述
免密：

[hadoop@server1 hadoop]$ ssh-keygen

在这里插入图片描述

[hadoop@server1 hadoop]$ ssh-copy-id localhost

在这里插入图片描述
测试免密：

[hadoop@server1 hadoop]$ ssh localhost
[hadoop@server1 ~]$ exit

[hadoop@server1 hadoop]$ cd /home/hadoop/hadoop
#格式化
[hadoop@server1 hadoop]$ bin/hdfs namenode -format

在这里插入图片描述

[hadoop@server1 hadoop]$ cd /home/hadoop/hadoop/sbin
#启动
[hadoop@server1 sbin]$ ./start-dfs.sh

在这里插入图片描述

[hadoop@server1 sbin]$ cd 
#设定环境变量
[hadoop@server1 ~]$ vim .bash_profile 
###################
PATH=$PATH:$HOME/.local/bin:$HOME/bin:$HOME/java/bin

在这里插入图片描述

#重新加载
[hadoop@server1 ~]$ source .bash_profile 

#查看java进程
[hadoop@server1 ~]$ jps

在这里插入图片描述
在网页上输入：172.25.66.1:9870
在这里插入图片描述
上传：

[hadoop@server1 ~]$ cd hadoop
[hadoop@server1 hadoop]$ bin/hdfs dfsadmin -report

在这里插入图片描述

#查看目录/文件
[hadoop@server1 hadoop]$ bin/hdfs dfs -ls
ls: `.': No such file or directory
[hadoop@server1 hadoop]$ bin/hdfs dfs -ls /
#递归创建目录
[hadoop@server1 hadoop]$ bin/hdfs dfs -mkdir -p /user/hadoop 
[hadoop@server1 hadoop]$ bin/hdfs dfs -ls /
Found 1 items
drwxr-xr-x   - hadoop supergroup          0 2019-04-06 10:42 /user

在这里插入图片描述
在这里插入图片描述

#数据默认存储在/tmp目录下
[hadoop@server1 hadoop]$ cd /tmp
[hadoop@server1 tmp]$ ls
hadoop
hadoop-hadoop
hadoop-hadoop-datanode.pid
hadoop-hadoop-namenode.pid
hadoop-hadoop-secondarynamenode.pid
hsperfdata_hadoop
jetty-0.0.0.0-9868-secondary-_-any-1195609709585929106.dir
jetty-0.0.0.0-9870-hdfs-_-any-5933567753048864482.dir
jetty-localhost-34474-datanode-_-any-1275347744145995482.dir

[hadoop@server1 tmp]$ cd -
/home/hadoop/hadoop
#上传目录
[hadoop@server1 hadoop]$ bin/hdfs dfs -put input
[hadoop@server1 hadoop]$ bin/hdfs dfs -ls
Found 1 items
drwxr-xr-x   - hadoop supergroup          0 2019-04-06 10:43 input

在这里插入图片描述
在这里插入图片描述

[hadoop@server1 hadoop]$ ls
bin  include  lib      LICENSE.txt  NOTICE.txt  README.txt  share
etc  input    libexec  logs         output      sbin
[hadoop@server1 hadoop]$ rm -rf input/ output/

下载：

[hadoop@server1 hadoop]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.3.jar grep input output 'dfs[a-z.]+'

在这里插入图片描述

[hadoop@server1 hadoop]$ ls
bin  include  libexec      logs        README.txt  share
etc  lib      LICENSE.txt  NOTICE.txt  sbin
#默认查看当前目录下的文件/目录
[hadoop@server1 hadoop]$ bin/hdfs dfs -ls 
Found 2 items
drwxr-xr-x   - hadoop supergroup          0 2019-04-06 10:43 input
drwxr-xr-x   - hadoop supergroup          0 2019-04-06 11:22 output
[hadoop@server1 hadoop]$ bin/hdfs dfs -cat output/*
1	dfsadmin

#下载
[hadoop@server1 hadoop]$ bin/hdfs dfs -get output
[hadoop@server1 hadoop]$ ls
bin  include  libexec      logs        output      sbin
etc  lib      LICENSE.txt  NOTICE.txt  README.txt  share
[hadoop@server1 hadoop]$ cd output/
[hadoop@server1 output]$ ls
part-r-00000  _SUCCESS
[hadoop@server1 output]$ cat *
1	dfsadmin

[hadoop@server1 output]$ cd ..
[hadoop@server1 hadoop]$ ls
bin  include  libexec      logs        output      sbin
etc  lib      LICENSE.txt  NOTICE.txt  README.txt  share
[hadoop@server1 hadoop]$ rm -rf output/

删除input 或是output 目录，删除的只是本地文件，而不是文件系统
在这里插入图片描述

2.分布式模式

添加server2和server3节点：

1.利用nfs网络文件系统实现数据同步

[root@server1 ~]# rpm -aq rpcbind
[root@server1 ~]# yum install -y nfs-utils
[root@server1 ~]# rpm -aq rpcbind
rpcbind-0.2.0-38.el7.x86_64
[root@server1 ~]# systemctl start rpcbind
[root@server1 ~]# systemctl status rpcbind

在这里插入图片描述

[root@server1 ~]# systemctl start nfs
[root@server1 ~]# vim /etc/exports 
[root@server1 ~]# cat /etc/exports 
/home/hadoop   *(rw,anonuid=1000,anongid=1000)
[root@server1 ~]# exportfs -rv
exporting *:/home/hadoop
[root@server1 ~]# showmount -e
Export list for server1:
/home/hadoop *

[root@server2 ~]# useradd -u 1000 hadoop
[root@server2 ~]# id hadoop
uid=1000(hadoop) gid=1000(hadoop) groups=1000(hadoop)
[root@server2 ~]# yum install -y nfs-utils
[root@server2 ~]# systemctl start rpcbind
[root@server2 ~]# mount 172.25.66.1:/home/hadoop /home/hadoop
[root@server2 ~]# df

在这里插入图片描述

[root@server2 ~]# su - hadoop
[hadoop@server2 ~]$ ls
hadoop        hadoop-3.0.3.tar.gz  jdk1.8.0_181
hadoop-3.0.3  java                 jdk-8u181-linux-x64.tar.gz

[root@server3 ~]# useradd -u 1000 hadoop
[root@server3 ~]# id hadoop
uid=1000(hadoop) gid=1000(hadoop) groups=1000(hadoop)
[root@server3 ~]# yum install -y nfs-utils
[root@server3 ~]# systemctl start rpcbind
[root@server3 ~]# mount 172.25.66.1:/home/hadoop /home/hadoop
[root@server3 ~]# df

在这里插入图片描述

[root@server3 ~]# su - hadoop
[hadoop@server3 ~]$ ls
hadoop        hadoop-3.0.3.tar.gz  jdk1.8.0_181
hadoop-3.0.3  java                 jdk-8u181-linux-x64.tar.gz

测试免密：

[root@server1 ~]# su - hadoop
[hadoop@server1 ~]$ ssh server1
[hadoop@server1 ~]$ exit
[hadoop@server1 ~]$ ssh server2
[hadoop@server1 ~]$ exit
[hadoop@server1 ~]$ ssh server3
[hadoop@server1 ~]$ exit

[hadoop@server1 hadoop]$ pwd
/home/hadoop/hadoop
[hadoop@server1 hadoop]$ sbin/stop-dfs.sh 
Stopping namenodes on [server1]
Stopping datanodes
Stopping secondary namenodes [server1]

[hadoop@server1 ~]$ cd hadoop/etc/hadoop/
[hadoop@server1 hadoop]$ vim core-site.xml 
########################
<configuration>
    <property>
          <name>fs.defaultFS</name>
          <value>hdfs://172.25.66.1:9000</value>
    </property>
</configuration>

在这里插入图片描述

[hadoop@server1 hadoop]$ vim hdfs-site.xml 
########################
<configuration>
    <property>
         <name>dfs.replication</name>
         <value>2</value>
    </property>
</configuration>

在这里插入图片描述

[hadoop@server2 hadoop]$ vim workers 
[hadoop@server1 hadoop]$ cat works 
172.25.66.2
172.25.66.3

#删除原始数据
[hadoop@server1 ~]$ rm -rf /tmp/*
[hadoop@server1 ~]$ cd hadoop
#格式化
[hadoop@server1 hadoop]$ bin/hdfs namenode -format

在这里插入图片描述

[hadoop@server1 hadoop]$ ls /tmp/
hadoop-hadoop   hadoop-hadoop-namenode.pid  hsperfdata_hadoop  
#启动
[hadoop@server1 hadoop]$ sbin/start-dfs.sh 
Starting namenodes on [server1]
Starting datanodes
Starting secondary namenodes [server1]

测试：

[hadoop@server1 hadoop]$ jps
19692 SecondaryNameNode
19806 Jps
19471 NameNode

[hadoop@server2 ~]$ jps
13620 DataNode
13705 Jps

[hadoop@server3 ~]$ jps
12761 DataNode
12845 Jps

注意：实现分布式的前提是,必须先删除3个节点上存储存储原始数据的/tmp目录下所有关于hadoop的文件

[hadoop@server1 hadoop]$ pwd
/home/hadoop/hadoop
[hadoop@server1 hadoop]$ bin/hdfs dfs -mkdir -p /user/hadoop
[hadoop@server1 hadoop]$  bin/hdfs dfs -ls /
Found 2 items
drwxr-xr-x   - hadoop supergroup          0 2019-04-06 05:20 /user
[hadoop@server1 hadoop]$  bin/hdfs dfs -ls /user
Found 1 items
drwxr-xr-x   - hadoop supergroup          0 2019-04-06 05:22 /user/hadoop
[hadoop@server1 hadoop]$ bin/hdfs dfs -mkdir input
[hadoop@server1 hadoop]$ bin/hdfs dfs -ls 
Found 1 items
drwxr-xr-x   - hadoop supergroup          0 2019-04-06 05:22 input
#拷贝
[hadoop@server1 hadoop]$ bin/hdfs dfs -put etc/hadoop/*.xml input
#上传
[hadoop@server1 hadoop]$ bin/hdfs dfs -ls input

在这里插入图片描述
刷新网页：
在这里插入图片描述

奋斗吧，青年！
关注
  • 3
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
以hadoop 1.0.0版本分析hadoop是如何提交任务的
齐梦星空
02-29 195
脚本分析 hadoop的bin目录如下： 当调用 hadoop jar XXX.jar 命令后。hadoop脚本对应的是如下内容： 由此可知，hadoop 是通过org.apache.hadoop.util.RunJar类开始任务的 RunJar类分析 概览 RunJar类是个含有main函数的启动类,包含两个静态方法: 分析main函数: public static void main...
run.jar插件
08-10
run.jar是个很好的开发插件。可以让你更好更快速的开发
基于docker一键搭建hadoop环境.zip
03-13
人工智能-hadoop
在windows上eclipse搭建hadoop环境
08-22
成功在windows的eclipse连接hadoop 具体步骤如下： 1.使用对应版本的Hadoop jar包 2.错误：winutils.exe not found 解压hadoop-common-2.2.0-bin-master.zip和hadoop_dll2.6.0.7z 。因为是Hadoop2.6环境，所以后者覆盖前者 解决：创建HADOOP_HOME环境变量，值为解压目录 将 %HADOOP_HOME%/bin添加至Path下。
hadoop yarn运行jar包 出错 RunJar jarFile [mainClass] args...
Amy_mm的博客
05-19 4024
原因 在打成jar包时 没有配置manifest文件
hadoop jar打包执行问题及解决
Jay7925417的博客
05-05 3638
1、运行hadoop jar ./WordCount.jar出现提示：RunJar jarFile [mainClass] args...2、运行时增加mainclass类名hadoop jar ./WordCount.jar WCDriver出现提示：Exception in thread "main" java.lang.ClassNotFoundException: WCDriver    ...
《Hadoop与大数据挖掘》一2.3.4　YARN常用命令yarn jar
weixin_34335458的博客
06-26 440
本节书摘来华章计算机《Hadoop与大数据挖掘》一书中的第2章 ，第2.3.4节，张良均　樊　哲　位文超　刘名军 许国杰　周　龙　焦正升　著 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.3.4　YARN常用命令yarn jar YARN常用命令就是yarn jar命令，即提交一个MapReduce任务的命令。使用该命令可以直接运行一个Ma...
jar 打包后的文件执行时出现错误：RunJar jarFile [mainClass] args...
weixin_33873846的博客
06-17 1704
修改别人的jar包中的配置文件，然后再打包后执行出错：RunJar jarFile [mainClass] args... 经过分析，是因为打包时需要设置mainClass，可以通过如下方法： jar cvfe **.jar mainClass *（相应的打包文件） 转载于:https://www.cnblogs.com/chinasun021/p/3793056.html...
报错信息：RunJar jarFile [mainClass] args...解决方案
天涯的博客
05-20 7851
报错信息：RunJar jarFile [mainClass] args... 分析原因：没有指定主方法： 解决方案： 选中红框内主方法即可解决！
Runjar jarFile [mainClass] args...
遁入空门
05-14 3293
1.在ecplise中到处jar报时，忘记
linux下搭建hadoop环境步骤分享
01-20
1、下载hadoop包 wget http://apache.freelamp.com/hadoop/core/stable/hadoop-0.20.2.tar.gz2、tar xvzf hadoop-0.20.2.tar.gz3、安装JDK，从oracle网站上直接下载JDK，地址：..../jdk-6u21-linux-i586.bin,当前目录下...
esplise插件搭建Hadoop环境
06-13
esplise插件搭建Hadoop环境所需要的jar，在上面的搭建中可以查看放在那里，可以去学习，谢谢大家支持
Linux下运行jar包的几种方式
施小楠的博客
03-09 2080
Linux下运行jar包的几种方式 1 阻塞式方式 java -jar xxx.jar 复制代码 特点: 当前终端的会话窗口被阻塞, 可按CTRL + C中断程序的运行, 或者直接关闭会话窗口 —— 此时jar程序将终止. 2 后台运行方式 # 通过"&"符号实现后台运行: java -jar xxx.jar & 复制代码 特...
Hadoop MapReduce之作业提交（客户端)
海盗的小菜园
10-30 5978
Hadoop MapReduce之jar文件上传    在提交作业时，我们经常会执行下面类似命令：hadoop jar wordcount.jar test.WordCount，然后等待作业完成，查看结果。在作业执行流程中客户端会把jar文件上传至HDFS内，然后由JT初始化作业，并发放给TT执行具体的任务，这里我们主要看客户端的操作，了解这些我们可以自定义更为方便的作业提交方式。hadoop是
【Hadoop】-Apache Hive使用语法与概念原理[15]
weixin_63106307的博客
04-24 528
使用location关键字，可以指定数据库在HDFS的存储路径。/user/hive/warehouse内。数据库本质上就是在HDFS之上的文件夹。
C# wpf 实现任意控件（包括窗口）更多调整大小功能
codeofcc的博客
01-15 2738
上一章我们已经实现了任意控件统一的拖动调整功能，能够方便的给任意控件设置拖动调整大小。开发过程中发现还是有些功能可以继续拓展的，比如cs代码触发拖动、自定义模板、交叉拖动、限制拖动范围等功能。有功能实现起来不算太容易，却很有实用价值。
13 Linux实操篇-网络配置
qq_74289024的博客
04-23 910
子网ip 与网关。
Linux多进程(五) 进程池 C++实现
最新发布
Lyajpunov的博客
04-26 604
进程池是一种并发编程模式，用于管理和重用多个处理任务的进程。它通常用于需要频繁创建和销毁进程的情况，以避免因此产生的开销。减少进程创建销毁的开销：避免频繁创建和销毁进程所带来的系统资源开销。提高系统响应速度：由于进程已经初始化并且一直保持在内存中，可以立即分配执行任务，减少了任务等待时间。控制资源使用：通过限制进程池中的进程数量，可以控制系统资源的使用情况，避免资源过度消耗。
windows下hadoop环境搭建
06-06
在Windows下搭建Hadoop环境需要以下步骤： 1. 安装Java环境：Hadoop需要Java环境支持，因此需要先安装Java开发工具包（JDK）。 2. 下载Hadoop：从官网下载Hadoop的二进制文件，解压缩到指定目录。 3. 配置Hadoop环境变量：将Hadoop的bin目录添加到系统环境变量中。 4. 配置Hadoop的配置文件：修改Hadoop的配置文件，包括core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等。 5. 启动Hadoop：使用命令行启动Hadoop，包括启动HDFS和YARN。 6. 验证Hadoop环境：使用Hadoop自带的命令行工具进行验证，包括hdfs dfs -ls /和yarn node -list等命令。 以上是在Windows下搭建Hadoop环境的基本步骤，需要注意的是，Hadoop在Windows下的性能可能不如在Linux下，因此建议在Linux环境下使用Hadoop。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值