Hadoop入门-环境搭建

最新推荐文章于 2024-04-25 13:49:06 发布
最新推荐文章于 2024-04-25 13:49:06 发布
阅读量124 收藏
点赞数
分类专栏： 大数据 hadoop 文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Phalaris_arundinacea/article/details/115047092
版权

Hadoop入门-环境搭建

Hadoop简介

  1. HDFS

    1. 1工作机制

      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RR6IxWix-1616299004267)(assets/img/image-20200305105822743.png)]

    2. 2组件介绍
      1. NameNode
        NameNode用于存储、生成文件系统的元数据。运行一个实例。
      2. SecondaryNameNode
        SecondaryNamenode是Namenode的一个热备，合并NameNode的edit logs到fsimage文件中。
      3. DataNode
        DataNode用于存储实际的数据，将自己管理的数据块上报给NameNode ，运行多个实例。

  2. Yarn

    1. 工作机制

      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-g854JP2V-1616299004269)(assets/img/image-20200305003613375.png)]

    2. 组件介绍
      1. ResourceManager
        ResourceManager 负责集群资源统一管理和计算框架管理，主要包括调度与应用程序管理。
      2. NodeManager
        NodeManager节点资源管理监控和容器管理，RM是系统中将资源分配给各个应用的最终决策者。

      3. AppMaster

        AppMaster各种计算框架的实现（例如MRAppMaster）向ResourceManager申请资源，通知NodeManager管理相应的资源。

      4. Container

      Container YARN中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU等。

Hadoop安装

0)准备环境

  1. Centos 7主机（版本自定，建议使用Linux 7）
  2. 配置JDK环境
    1. 下载JDK解压包并上传到/opt/software目录
      #下载Linux x64 Compressed Archive（jdk-8u241-linux-x64.tar.gz）根据系统版本选择位数
https://www.oracle.com/java/technologies/javase-jdk8-downloads.html#license-lightbox
    2. 解压文件
      tar -zxvf jdk-8u241-linux-x64.tar.gz -C /opt/apps
    3. 配置环境变量(jdk-8u241-linux-x64是你对应的jdk解压目录)
      #给文件夹重命名
mv /opt/apps/jdk-8u241-linux-x64 /opt/apps/jdk
#切换你刚才解压的jdk目录
cd /opt/apps
#配置环境变量
vim /etc/profile

      #自定义环境变量 start
#java path start
export JAVA_HOME=/opt/apps/jdk
export CLASS_PATH=.:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xQjpA4Pl-1616299004270)(assets/img/image-20200305002103529.png)]

    4. 测试

      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xvvTJp7i-1616299004273)(assets/img/image-20200305002227499.png)]

  3. 安装Hadoop并配置环境变量

    1. ​ 下载安装包并上传到/opt/software目录

      下载地址：
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/
建议选择2.9.2版本，直到链接
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

    2. 解压并重命名

      #解压
tar -zxvf /opt/software/hadoop-2.9.2.tar.gz -C /opt/apps
#重命名
mv /opt/software/hadoop-2.9.2 /opt/software/hadoop

    3. 配置环境变量

      #配置环境变量
vim /etc/profile

      #HADOOP_HOME start
export HADOOP_HOME=/opt/apps/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VE2Iz7II-1616299004274)(assets/img/image-20200305003033569.png)]

    4. 测试

      hadoop version

      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yUxmRpOm-1616299004276)(assets/img/image-20200305002506681.png)]

1)Hadoop单节点部署

  1. 修改/opt/apps/hadoop-2.9.2/etc/hadoop/hadoop-env.sh
    #设置为jdk所在路径
export JAVA_HOME=/opt/apps/jdk1.8.0_152
  2. wordcount（单词统计）案例
    #切换到Hadoop安装目录
cd opt/apps/hadoop
#新建input文件夹
mkdir input
#拷贝配置文件到刚才创建的文件夹
cp etc/hadoop/*.xml input
#运行mapreduce程序
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar grep input output 'dfs[a-z.]+'
#查看结果
cat output/*

2)Hadoop伪分布式部署

先切换至Hadoop安装目录

  1. 配置 etc/hadoop/core-site.xml:
    #命令
vim	etc/hadoop/core-site.xml:

    <configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!-- 关闭权限认证 -->
  	<property>
      <name>dfs.permissions</name>    
      <value>false</value>
 	</property>
</configuration>
  2. 配置 etc/hadoop/hdfs-site.xml:
    <configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>
  3. 配置免密登入
    ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
  4. 格式化NameNode
    hdfs namenode -format
  5. 启动HDFS
    [root@localhost sbin]# start-dfs.sh
#查看是否启动成功	使用jps命令
[root@localhost sbin]# jps
92017 DataNode		
97031 NameNode
92214 SecondaryNameNode
  6. 配置 etc/hadoop/mapred-site.xml:
    #没有该文件就使用复制一个
cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

    #修改配置文件
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.application.classpath</name>        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>
  7. 配置 etc/hadoop/yarn-site.xml
    <configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>
  8. 启动Yarn
    start-yarn.sh
  9. 使用jps验证服务是否启动
    [root@localhost Hadoop]# jps
92017 DataNode
116388 ResourceManager
97031 NameNode
102823 RunJar
92214 SecondaryNameNode
116749 Jps
116511 NodeManager

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tJaHxPE3-1616299004277)(assets/img/image-20200304235013400.png)]

  10. 关闭hdfs
    stop-dfs.sh
  11. 关闭yarn
    stop-yarn.sh

3)Hadoop集群部署（待续）

Hadoop使用

  1. 常见Shell命令

    1. 是

      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-knu4S5Hf-1616299004278)(assets/img/image-20200304235820261.png)]

    2. 示例

      #HDFS创建input目录
dfs -mkdir input
#显示目录列表
dfs -ls

  2. 组件端口

    1. HDFS

      #默认50070端口
http://localhost:50070/

      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8jlqylA3-1616299004279)(assets/img/image-20200305000629527.png)]

    2. Yarn

      #默认8088端口
http://localhost:8088/

      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TPBgrpe1-1616299004280)(assets/img/image-20200305000701705.png)]

5)错误记录

  1. 错误截图

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DlpmuCaL-1616299004280)(assets/img/image-20200307203424683.png)]

    在core-site.xml中设置
<!--指定操作用户-->
  <property>
      <name>hadoop.http.staticuser.user</name>
      <value>root</value>
  </property>
筱白熊
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop-hdfs 配置
x_hxiao的博客
03-28 280
value>hdfs://westgisb001:8020</value> /*此处wetgis101为NameNode的机器名*//*此处需要说明的是：/home/xiao/hadoop和/home/xiao/jdk分别为hadoop和jdk安装包所在路径*/如果使用xiao配置环境变量，则修改配置文件/home/xiao/.bashrc。/*此处/opt/hdfs/data为实际数据在DataNode本地存储路径*//*此处/opt/hdfs/name为元数据在NameNode本地存储路径*/
Hadoop环境的搭建
Jimmy_izz的博客
06-25 210
Hadoop环境的搭建首先准备搭环境所需的软件配置jdk（可以参照博客：[Linux的安装，jdk、mysql的安装](https://blog.csdn.net/Jimmy_izz/article/details/106820849)）Hadoop环境的搭建首先修改IP地址,主机名和主机列表生成密钥配置解压后的Hadoop文件下的etc/hadoop目录下的文件配置hadoop环境变量注意配置完成后要source：格式化HDFS启动hadoop网址验证： 首先准备搭环境所需的软件 配置jdk（可以参照博
hadoop 全分布式配置
来啊 快活啊
12-29 2209
1./etc/profile.d/文件夹下建立hadoop.sh HADOOP_COMMON_HOME=/opt/hadoop HADOOP_HDFS_HOME=/opt/hadoop HADOOP_MAPRED_HOME=/opt/hadoop HADOOP_YARN_HOME=/opt/hadoop HADOOP_CONF_DIR=/opt/hadoop/conf YARN_CO
从零开始Hadoop安装和配置（超详细图文步骤）
最新发布
2301_77836489的博客
04-25 4859
从零开始Hadoop安装和配置（超详细图文步骤）
hadoop环境构建
walk slow down
06-07 348
《Hadoop大数据技术》 实验目的 安装Java环境 搭建Hadoop单机模式 在hadoop伪分布式基础上搭建Hadoop完全分布式模式环境 实验环境 Win10+Centos7(Vmware workstation14)+winscp jdk 环境变量配置 打开一个terminal窗口，切换到管理员命令，关闭网络防火墙，并取消开机自启防火墙。 查找系统自带的openjdk...
【Hadoop】——入门：集群搭建
qq_42000631的博客
01-10 867
Hadoop 集群搭建
Hadoop中HDFS的API操作、客户端环境准备、配置HADOOP_HOME环境变量
Redamancy06的博客
08-15 2925
客户端去操作HDFS时，是有一个用户身份的。默认情况下，HDFS客户端API会从采用Windows默认用户访问HDFS，会报权限异常错误。所以在访问HDFS时，一定要配置用户。org.apache.hadoop.security.AccessControlException: Permission denied: user=73631, access=WRITE, inode="/xiyou":summer:supergroup:drwxr-xr-x.........
Hadoop环境搭建
chftig
07-29 541
包含hadoop、hive、hbase、zookeeper、storm、spark、Kafka、flume、sqoop一、服务器基本配置服务器系统版本：CentOS release 6.4 (Final) JDK版本：java version “1.7.0_60*二、 集群信息三、 各组件版本信息四、安装步骤4.1 环境基本配置addusr hadusr #创建用户 passwd h
hadoop入门-01-集群搭建.docx
01-16
【Hadoop入门-01-集群搭建】 Hadoop是一个由Apache基金会所开发的开源分布式计算框架，它旨在处理和存储海量数据。Hadoop的核心组件包括HDFS（分布式文件系统）、YARN（运算资源调度系统）以及MAPREDUCE（分布式...
Hadoop入门·环境搭建
04-18
Hadoop入门之简单集群环境部署案例
HADOOP快速入门及搭建集群环境
10-14
HADOOP快速入门及搭建集群环境 HADOOP是一种分布式计算技术，旨在处理大规模数据集，能够将大规模数据处理工作分配到多个计算机节点上，从而提高数据处理速度和效率。本资源旨在指导读者快速入门HADOOP，并搭建集群...
Hadoop开发者入门-带书签文字版
11-07
Hadoop入门手册的高清版确保了阅读体验，清晰的文字和图表有助于理解复杂的概念。书签版则使得在大量内容中快速定位特定章节变得轻松，这对于深入学习和查找特定知识点极其重要。以下是对Hadoop开发者入门中主要知识...
hadoop搭建步骤
08-13
Hadoop是一个大数据处理框架，环境搭建是学习Hadoop的第一步，但要成功搭建一个分布式环境，还是颇费些周折的。以下是Hadoop搭建步骤的详细讲解。 一、静态IP配置 在所有机器上手工设置静态IP，编辑 `/etc/...
一、 配置安装hadoop环境
m0_66115674的博客
06-01 3254
~ 代表的是用户的主文件夹，即 “/home/用户名” 这个目录，如你的用户名为 hadoop，则 ~ 就代表 “/home/hadoop/”进入/opt/hadoop-3.2.2/share/hadoop/mapreduce文件夹运行词频统计命令。则修改/opt/hadoop-3.2.2/etc/hadoop/ hadoop-env.sh。进入/opt/hadoop-3.2.2/etc/hadoop目录，编辑yarn-env.sh。表示执行用户身份错误，修改/etc/profile文件，增加以下配置。
Hadoop集群环境配置搭建
肌肉金轮的博客
03-10 6042
Hadoop集群配置搭建
大数据技术之Hadoop：HDFS集群安装篇（三）
路漫漫其修远兮，吾将上下而求索
08-03 2755
此为个人学习笔记，包含个人归纳总结以及结合了对网络资源的整理，初衷是为了自己复习巩固。如果能帮到各位是我的荣幸！该总结参考了黑马教程，感兴趣的也可以去观看相关视频。
集群配置，hadoop配置过程，细节满满
z2839的博客
03-21 1830
(2)如果你的集群虚拟机已经都创建完成，且确保网络，ssh密钥登陆 都做好了后，就可以开始安装jdk和hadoop了。/usr/local/src/hadoop/etc/hadoop 中的对应配置文件中加入下面的相关参数。这一步是集群配置的关键。做一个hadoop的配置流程的全记录，把遇到的问题和细节全都记录了下来。选择下载hadoop的版本，下载对应版本的source安装包。进入安装目录，修改对应安装包文件名，改成jdk，hadoop。(1) hadoop的部署规划，我使用3台虚假机搭建集群，
Hadoop HA 集群部署（以三台为例），zookeeper集群管理
youhebuke_f的博客
10-05 2891
Hadoop ha高可用集群部署
Hadoop集群搭建(五)-集群配置文件
weixin_49001740的博客
04-29 7824
集群部署规划 hadoop102 hadoop103 hadoop104 HDFS NameNode DataNode SecondaryNameNode NataNode YARN NodeManager ResourceManager NodeManager NodeManager 自

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值