通用技术03--hadoop运用

最新推荐文章于 2022-12-07 09:18:43 发布
最新推荐文章于 2022-12-07 09:18:43 发布
阅读量121 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34536604/article/details/106997781
版权

简介

主要内容：Hadoop伪分布式配置、常用操作命令

前期准备

软件下载

jdk下载:
最好下载以前的稳定版本，此次使用的jdk版本为1.8

下载地址

hadoop下载：下载稳定版本， 此次使用Hadoop版本为2.7.7

下载地址

环境变量

#vim ~/.bash_profile

#Setting PATH for hadoop 2.7.7
export HADOOP_HOME=/Users/rimi/Desktop/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

#Setting JAVA_HOME for jdk 1.8
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_231.jdk/Contents/Home

编辑保存完成后，执行命令： source .bash_profile

查看是否配置成功：echo $JAVA_HOME / echo $HADOOOP_HOME

#修改hadoop-env.sh配置文件(可不用)
#hadoop-2.7.7/etc/hadoop
#vim hadoop-env.sh

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_231.jdk/Contents/Home

hadoop伪分布式配置

hadoop/etc/hadoop/core-site

No.参数名默认值参数解释
1fs.defaultFSfile:///文件系统主机和端口
2io.file.buffer.size4096流文件的缓冲区大小
3hadoop.tmp.dir/tmp/hadoop-${user.name }临时文件夹
# vim core-site.xml
<configuration>
       <!--指定namenode的地址(必须)-->
   <property>
               <name>fs.defaultFS</name>
               <value>hdfs://10.2.0.104</value>
   </property>
   <!--用来指定使用hadoop时产生文件的存放目录-->
   <property>
            <name>hadoop.tmp.dir</name>
            <value>file:/data/hadoop/hadoop-2.6.0/tmp</value> 
   </property>
   	<property>
   	   <!--用来指定使用hadoop时的节点数（需要）-->
            <name>dfs.replication</name>
            <value>1</value>
    </property>
    	<!--用来设置检查点备份日志的最长时间-->
    	<name>fs.checkpoint.period</name> 
    	<value>3600</value>
</configuration>

hadoop/ect/hadoop/hdfs-site

No.参数名默认值参数解释
1dfs.namenode.secondary.http-address0.0.0.0:50090定义HDFS对应的HTTP服务器地址和端口
2dfs.namenode.name,dirfile://${hadoop.tmp.dir}/dfs/name定义DFS的名称节点在本地文件系统的位置
3dfs,datanode.data.dirfile://${hadoop.tmp.dir}/dfs/data定义DFS数据节点存储数据块时存储在本地文件系统的位置
4dfs.replication3缺省的块复制数量
5dfs.webhdfs.enabledtrue是否通过http协议读取hdfs文件，如果选是，则集群安全性较差
# vim hdfs-site.xml

<configuration>
	<!--指定hdfs保存数据的副本数量-->
    <property>
             <name>dfs.replication</name>
             <value>2</value>
    </property>
	<property>
	<!--指定hdfs中namenode的存储位置-->
				<name>dfs.namenode.name.dir</name>
				<value>file:///Users/rimi/Desktop/bigdata/namenode</value>
	</property>
	<property>
	<!--指定hdfs中datanode的存储位置-->
      		   <name>dfs.datanode.data.dir</name>
      		   <value>file:///Users/rimi/Desktop/bigdata/datanode</value>
    </property>
</configuration>

重新格式化： hdfs namenode -format

常用命令

1.查看集群上所有文件：

hdfs dfs -ls /

2.分别启动namenode/datanode:

hdfs –daemon start namenode / hdfs –daemon start datanode

3.查看该集群此ip下的文件：

hdfs dfs -ls hdfs://10.2.0.104/

4.创建文件夹：

hdfs dfs -mkdirs hdfs://10.2.0.104/text

5.logs 中可以查看日志 查看错误

cd hadoop-2.7.7/logs/

6.hadoop 2.* 版本可以网页查看所有namenode datanode

浏览器输入：10.2.0.104:50070

7.停止namenode/datanode

hdfs stop namenode(datanode)

8.对地址统一管理：

hadoop/etc/hadoop/

编辑workers: vim workers 注意：前面版本名字为slaves

9.停止和开始所有hadoop服务：

sbin/

stop-dfs.sh 停止

start-dfs.sh 开始

10.从集群下载文件

hdfs dfs -get hdfs://10.0.0.252:9000/data/hadoop-2.7.7.tar.gz ./ 下载

11.实现域名重定向

#sudo vim /etc/hosts

127.0.0.1       localhost
255.255.255.255 broadcasthost
::1             localhost
0.0.0.0 1020104.local

12.配置Hadoop的主要5个文件

序号配置文件名配置对象主要内容
1hadoop-env.shhadoop运行环境用来定义hadoop运行环境相关的配置信息
2core-site.xml集群全局参数用于定义系统级别的参数，如HDFS URL 、Hadoop的临时目录等
3hdfs-site.xmlHDFS如名称节点和数据节点的存放位置、文件副本的个数、文件的读取权限等
4mapred-site.xmlMapreduce参数包括JobHistory Server 和应用程序参数两部分，如reduce任务的默认个数、任务所能够使用内存的默认上下限等
5yarn-site.xml集群资源管理系统参数配置ResourceManager ，nodeManager的通信端口，web监控端口等

分布式配置：

分配ip

# etc/hadoop/ 
# vim workers(或者slaves) 

10.2.0.104      1020104.local     namenode（存储的是文件属性）  datanode
10.2.0.195      Mac-of-Jack.local  datanode （存储文件数据）
10.2.0.166      rimideiMac-5.local  datanode （存储文件数据）

yarn-site.xml

  • 重要参数

    No.参数名默认值参数解释
    1yarn.resourcemanager.address0.0.0.0:8032ResourceManager（以下简称RM） 提供客户端访问的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等
    2yarn.resourcemanager.scheduler.address0.0.0.0:8030RM提供给ApplicationMaster的访问地址。ApplicationMaster同通过该地址向RM申请资源、释放资源等
    3yarn,resoucemanager.resource.resource-tracker.address0.0.0.0:8031RM提供NodeManager的地址。NodeManager通过该地址向RM汇报心跳，领取任务等
    4yarn.resourcemanager.admin.address0.0.0.0:8033RM提供管理员的访问地址。管理员通过该地址向RM发送管理命令等
    5yarn.resourcemanager.webapp.address0.0.0.0:8088RM对web服务提供地址。用户可通过该地址在浏览器中查看集群各类信息
    6yarn.nodemanager.aux-services通过该配置项，用户可以自定义一些服务，例如Map-Reduce的shuffle功能就是采用这种方式实现的，这样就可以在NodeManager上扩展自己的服务
>注意：不同版本配置可能不同
#hadoop 3.1
#etc/hadoop
#vim yarn-site.xml

<property>
  <name>yarn.scheduler.capacity.root.queues</name>
  <value>a,b,c</value>
  <description>The queues at the this level (root is the root queue).
  </description>
</property>

<property>
  <name>yarn.scheduler.capacity.root.a.queues</name>
  <value>a1,a2</value>
  <description>The queues at the this level (root is the root queue).
  </description>
</property>

<property>
  <name>yarn.scheduler.capacity.root.b.queues</name>
  <value>b1,b2,b3</value>
  <description>The queues at the this level (root is the root queue).
  </description>
</property>

#hadoop 2.7

<configuration>
<!-- Site specific YARN configuration properties -->
	<property>
  			<name>yarn.nodemanager.aux-services</name>
  			<value>mapreduce_shuffle</value>
	</property>
</configuration>

  • mapred-site.xml

    注意hadoop 2.7 需要将 mapre-site.xml.template 重新命名为 mapred-site.xml 

    #etc/hadoop
    #mv mapre-site.xml.template mapred-site.xml 
    #vim mapred-site.xml

    <configuration>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>>
    </configuration>

  • mapred-site.xml 重要参数说明

    No.参数名默认值参数解释
    1mapreduce.framework.namelocal取值local、classic或yarn其中之一，如果不是yarn，则不会使用yarn集群来实现资源的分配
    2mapreduce.jobhistory.address0.0.0.0:10020定义历史服务器的地址和端口，通过历史服务器查看已经运行完的Mapreduce作业记录
    3mapreduce.jobhistory.webapp.address0.0.0.0:19888定义历史服务器web应用访问的地址和端口

  • 启动资源管理器：

    yarn –daemon start resourcemanager

    hadoop 2.7版本：sbin/yarn-daemon.sh start resourcemanager

完整步骤（错误解决/127 99999）

  • jdk环境变量

  • Hadoop环境变量

    # Setting PATH for Python 3.7
    # The original version is saved in .bash_profile.pysave
    PATH="/Library/Frameworks/Python.framework/Versions/3.7/bin:${PATH}"
    export PATH=/usr/local/bin:$PATH
    export PATH=$PATH:Desktop/bs4/chrom/chromedriver

    export #Setting PATH for hadoop 2.7.7
    export HADOOP_HOME=/Users/rimi/Desktop/hadoop-2.7.7
    export PATH=$PATH:$HADOOP_HOME/bin
    export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk-12.jdk/Contents/Home

  • 停止所有：sbin/stop-all.sh

  • 开始所有：sbin/start-all.sh

  • 查看是否存在进程：jps 存在则杀死该进程 kill 6163

  • 脚本启动：sbin/hadoop-daemon.sh –script hdfs start namenode(datanode)

  • 查看是否启动：jps

  • 开启resourcemanager:sbin/yarn-daemon.sh start resourcemanager(nodemanager) 重复7

  • hdfs dfs -mkdirs hdfs://10.2.0.104/text hdfs创建文件

  • 推送数据到hdfs：hdfs dfs -put 本地路径 上传路径

  • hdfs dfs -ls hdfs://10.2.0.104/

  • 执行某一个分析

    hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-2.7.7.jar -input hdfs://10.2.0.104/mewas/data.txt -mapper ~/Desktop/mewas/map.py -reducer ~/Desktop/mevas/reduce.py -output /data-output

    出现错误： builtin-java classes where applicable

    解释：文件必须是可执行的 并且数据在hdfs中存在(ls -l查看文件权限)

    解决：本地检查map运行是否正确：运行： cat data.txt | python ./map.py

    在.py中加入注释：#!/usr/bin/env python 表面这是一个python文件使用python编码解释器

  • 数据处理方法编写：map/reduce (详细请看 : MapReduce Tutorial)

  • 若运行过12则需要删除output再重新运行：

    hdfs dfs -rm -r /data-output

    hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-2.7.7.jar -input hdfs://10.2.0.104/mewas/data.txt -mapper ~/Desktop/mewas/map.py -reducer ~/Desktop/mevas/reduce.py -output /data-output

程序学者
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hdfs 讲解
笃生胜的博客
10-27 1061
Hadoop分布式文件系统—HDFS 什么是分布式文件系统 所谓的分布式文件系统，我的个人理解是管理网络中把数据存储在不止一台机器上的系统，这样的存储方式被称为分布式存储。（管理网络中跨多台计算机存储的文件系统称为分布式文件系统。） 分布式文件系统能干什么 （1）分布式文件系统可以存储数据量较大的文件。 （GB，TB，PB级别的海量数据） （2）一次写入，多次夺取。（一个文件经过创建、写入和关闭之后就不需要改变。这一假设简化了数据一致性问题，并且使高吞吐量的数据访问成为可能。Map/Reduce应用
Hadoop学习笔记—HDFS
weixin_38166318的博客
04-03 357
[TOC] 上一份工作主要负责大数据平台的建设，在这个过程中积累了一些Hadoop生态组件的搭建和使用笔记，由于时间关系，不打算去修改其中的错别字和排版问题，直接释出原始笔记。 搭建安装 三个核心组件 一个hadoop基本集群,牵涉三个组件: hdfs 负责分布式的文件存储 yarn 负责分布式的资源管理 mr 负责分布式计算安装 配置环境变量 配置etc/hadoop/hadoop-env.sh、etc/hadoop/hadoop-env.sh、etc/hadoop/yarn-env.sh 这三个脚
1+X考试3
m0_64391998的博客
12-07 4118
“1+X”大数据平台运维职业技能等级证书（初级）- 机试练习题库 一、单选题 1. Centos 中修改文件或目录的访问权限（ C ）命令 A. chown B. passwd C. chmod D. clear 2. 在文件属性中，文件的权限用第(B )列字符表示。 A. 1-5 B. 2-10 C. 3-9 D. 1-8 3. Hadoop 安装在一台计算机上，需修改相应的配置文件，用 一台计算机模拟多台主机的集群是（B ）模式。 A. 全分布模式 B. 伪分布模式 C.
大数据：HDFS的Shell常用命令操作
梁辰兴的博客
11-26 5096
HDFS允许用户数据组织成文件和文件夹的方式，它提供一个叫DFSShell的接口，使用户可以和HDFS中的数据交互。命令集的语法跟其他用户熟悉的shells（bash,csh）相似。Shell在计算机科学中俗称“壳”，是提供给使用者使用界面的进行与系统交互的软件，通过接收用户输入的命令执行相应的操作，Shell分为图形界面Shell和命令行式Shell。文件系统（FS）Shell包含了各种的类Shell的命令，可以直接与Hadoop分布式文件系统以及其他文件系统进行交互。三种Shell命令方式命令。
Hadoop Streaming 问题及排查
sw
09-14 1038
@[TOP] 运行报错及排查 hdfs dfs -rm -r /output1 mapred streaming \ -input /idis_demo_dir \ -output /output1 \ -mapper wc_map.py \ -reducer wc_reducer.py \ -file wc_map.py \ -file wc_reducer.py 报错： Caused by: java.io.IOException: Cannot run program "
大数据技术与应用基础-教学大纲.pdf
11-17
Spark作为快速、通用的大数据处理框架，课程介绍了RDD（Resilient Distributed Datasets）的概念，以及Spark编程接口的运用。此外，课程还涵盖了实时处理系统Storm和Apex，让学生了解它们的工作原理和应用场景。 在...
银行监控告警系统-系统详细设计1
08-08
大数据模型设计则综合运用了上述技术，构建了一个从数据采集、传输、存储到分析的完整流程，确保银行监控告警系统的高效运行和精准告警。这样的系统设计能够及时发现并处理银行运营中的异常情况，从而提高银行的风险...
--智慧企业大数据平台建设方案.doc
07-23
6. **技术路线**：通常采用云计算技术，结合开源大数据框架（如Hadoop、Spark），并配合使用NoSQL数据库和数据仓库，构建弹性、高可用的大数据处理环境。 7. **数据混合存储**：结合分布式文件系统（如HDFS）、列式...
城市智慧交通建设关键技术.docx
10-26
再者，支持多种载体的应用技术和系统通用集成框架技术，确保了不同来源的数据可以整合在一起，如社交媒体数据、交通设备数据和系统运行信息。这使得交通管理者可以从多个角度全面了解交通状况，实现多源数据融合。 ...
大数据开发工程师需掌握技术.pdf
11-24
Python作为通用编程语言，其在数据分析领域的应用广泛，学习者需要熟悉Python并能利用其进行数据处理和可视化。 第五阶段，是项目实战和综合运用。通过实际的项目案例，如手机公司的bug系统、传统广告的大数据应用...
ApplicationMaster,ResourceManager和NodeManager通信过程
SummerMangoZz的博客
05-22 7062
ApplicationMaster与ResourceManager和NodeManager的交互：       rpc交互: 1.与ResourceManager交互，ApplicationMaster可获得计算所需的资源                2.与NodeManager交互，ApplicationMaster可启动计算任务并监控它的生命周期 1.ApplicationMast
深入理解Hadoop HDFS【一篇就够】
MyDriverC
07-04 632
又是一篇值得收藏温习的好文，更多好文请关注原文博主！！！ 原文=>https://blog.csdn.net/bingduanlbd/article/details/51914550#t24 文本详细介绍了HDFS中的许多概念，对于理解Hadoop分布式文件系统很有帮助。 1. 介绍 在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。而一旦在系统中，引入网络，就不可避免地引入了所有网络编程的复杂性，例如挑战之一是如果保证在.
Hadoop MapReduceV2(Yarn) 框架简介
jeek566的专栏
05-17 1244
Hadoop MapReduceV2(Yarn) 框架简介 原 Hadoop MapReduce 框架的问题 对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架（0.20.0 及之前版本）的同仁应该很熟悉如下的原 MapRe
Hadoop Streaming，使用python编写Hadoop计算脚本
donger__chen的博客
05-22 593
(注：内容来自《Hadoop数据分析》) Hadoop Streaming与Spark Streaming或其他使用“无界数据流”的实时计算框架不同。Hadoop Streaming中的“流”指的是标准的Unix流 stdin，stdout，stderr。 为了执行MapReduce作业，Streaming利用标准的Unix流进行输入和输出，因此得名Streaming。...
浅析Hadoop启动脚本
呼呼的小窝
04-30 1457
通过shell脚本的阅读，浅析hadoop的启动脚本，进行简要的总结
在Hadoop上运行Python脚本
热门推荐
wangato的博客
04-14 1万+
Run Python MapReducer program in Hadoop
hadoop源码剖析--$HADOOP_HOME/bin/hadoop脚本文件分析
dgit3228的博客
08-11 393
1. $HADOOP_HOME/bin/ hadoop #!/usr/bin/env bash# Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE file distributed with# th...
NameNode和DataNode之间的交互
Xlucas的博客
10-09 3020
简介 HDFS的设计核心是提高处理数据的吞吐量而不是低延迟，因此更适合数据的批处理，而非交互式处理，HDFS弱化了一些POSIX语义以获求吞吐量提升。HDFS对存储在其上的数据使用了一次写入多次读取的文件控制模型，一旦一个文件被写入并且存储到HDFS系统上，只可以追加写入该文件而不能修改，从而达到提高吞吐量的目标 NameNode可以执行以下HDFS功能 1、执行所有的HDFS操作，如打开/关闭文...
flink-shaded-hadoop3 和 flink-shaded-hadoop3-uber
最新发布
09-03
flink-shaded-hadoop3和flink-shaded-hadoop3-uber是Apache Flink项目中与Hadoop 3.x版本集成相关的两个模块。 首先，Hadoop是一个分布式计算框架，用于处理大规模数据。而Flink是一个快速而可扩展的流式处理引擎，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值