大数据概述 /// hadoop集群搭建 /// Hadoop配置JobHistory /// Hadoop常用端口号

最新推荐文章于 2024-04-30 10:50:16 发布
最新推荐文章于 2024-04-30 10:50:16 发布
阅读量684 收藏 1
点赞数 1
文章标签： 分布式 数据库 数据挖掘 算法 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42005540/article/details/115024239
版权

大数据概述 ||| hadoop生态系统 ||| hadoop集群搭建 ||| Hadoop配置JobHistory ||| 端口号

一、大数据是什么？

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合
具有4V特征：大数据量、速度快、多样化、价值密度低
在这里插入图片描述

二、hadoop生态系统

2.1 hadoop 2.0 框架

在这里插入图片描述

2.2 hadoop的概念

官网定义：

hadoop是一个分布式系统基础架构，由apache基金会开发，用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。

所以说，hadoop主要解决的是海量数据的储存和计算的问题。可以用于搭建大型数据仓库，PB级数据的存储,处理,分析,统计等业务。

hadoop可以分为狭义和广义两种：

1、 狭义的Hadoop只是Hadoop本身，是一个分布式系统架构，包含： (HDFS＋MapReduce+yarn)。

2、 广义的Hadoop指的是Hadoop生态系统，Hadoop生态系统是一个很庞大的概念，hadoop是其中最重要最基础的一个部分：生态系统的每一个子系统只解决某一个特定的问题域，不搞统一型的一个全能系统，而是小而精的多个小系统。

2.3 hadoop生态系统中主要部件的介绍：

HDFS
Hadoop的分布式文件系统。是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统，能检测和应对硬件故障，用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型，通过流式数据访问，提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序。

MapReduce（分布式计算框架）
MapReduce是一种计算模型，用以进行大数据量的计算。其中Map对数据集上的独立元素进行指定的操作，生成键-值对形式中间结果。Reduce则对中间结果中相同“键”的所有“值”进行规约，以得到最终结果。MapReduce这样的功能划分，非常适合在大量计算机组成的分布式并行环境里进行数据处理。

Hive（基于Hadoop的数据仓库）
Hive定义了一种类似SQL的查询语言(HQL),将SQL转化为MapReduce任务在Hadoop上执行。通常用于离线分析。

Hbase（分布式列存数据库）
HBase是一个针对结构化数据的可伸缩、高可靠、高性能、分布式和面向列的动态模式数据库。和传统关系数据库不同，HBase采用了BigTable的数据模型：增强的稀疏排序映射表（Key/Value），其中，键由行关键字、列关键字和时间戳构成。HBase提供了对大规模数据的随机、实时读写访问，同时，HBase中保存的数据可以使用MapReduce来处理，它将数据存储和并行计算完美地结合在一起。

Zookeeper（分布式协作服务）
解决分布式环境下的数据管理问题：统一命名，状态同步，集群管理，配置同步等。

Sqoop（数据同步工具）
Sqoop是SQL-to-Hadoop的缩写，主要用于传统数据库和Hadoop之前传输数据。数据的导入和导出本质上是Mapreduce程序，充分利用了MR的并行化和容错性。

Pig（基于Hadoop的数据流系统）
由yahoo!开源，设计动机是提供一种基于MapReduce的ad-hoc(计算在query时发生)数据分析工具。定义了一种数据流语言—Pig Latin，将脚本转换为MapReduce任务在Hadoop上执行。通常用于进行离线分析。

Mahout（数据挖掘算法库）
Mahout的主要目标是创建一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout现在已经包含了聚类、分类、推荐引擎（协同过滤）和频繁集挖掘等广泛使用的数据挖掘方法。除了算法，Mahout还包含数据的输入/输出工具、与其他存储系统（如数据库、MongoDB 或Cassandra）集成等数据挖掘支持架构。

Flume（日志收集工具）

Cloudera开源的日志收集系统，具有分布式、高可靠、高容错、易于定制和扩展的特点。它将数据从产生、传输、处理并最终写入目标的路径的过程抽象为数据流，在具体的数据流中，数据源支持在Flume中定制数据发送方，从而支持收集各种不同协议数据。同时，Flume数据流提供对日志数据进行简单处理的能力，如过滤、格式转换等。此外，Flume还具有能够将日志写往各种数据目标（可定制）的能力。总的来说，Flume是一个可扩展、适合复杂环境的海量日志收集系统。

2.4 hadoop的三大核心组件

Hadoop的三大核心组件分别是：

HDFS（Hadoop Distribute File System）：hadoop的数据存储工具。
YARN（Yet Another Resource Negotiator,另一种资源协调者）：Hadoop 的资源管理器。
Hadoop MapReduce:分布式计算框架

HDFS架构

HDFS采用Master/slave架构模式，1一个Master(NameNode/NN) 带 N个Slaves(DataNode/DN)。

从内部来看，数据块存放在DataNode上。NameNode执行文件系统的命名空间，如打开、关闭、重命名文件或目录等，也负责数据块到具体DataNode的映射。DataNode负责处理文件系统客户端的文件读写，并在NameNode的统一调度下进行数据库的创建、删除和复制工作。NameNode是所有HDFS元数据的管理者，用户数据永远不会经过NameNode。

NN：
1）负责客户端请求的响应
2）负责元数据（文件的名称、副本系数、Block存放的DN）的管理

DN：
1）存储用户的文件对应的数据块(Block)
2）要定期向NN发送心跳信息，汇报本身及其所有的block信息，健康状况

HDFS写数据流程

在这里插入图片描述

HDFS读数据流程

在这里插入图片描述

三、hadoop集群搭建

1、将已配置好的虚拟机视为主节点,克隆两台新的虚拟机。

（配置过程参考博客：上一篇博客Hadoop配置)

克隆后需要操作的步骤：

（1）修改IP：vi /etc/sysconfig/network-scripts/ifcfg-ens33
将克隆的虚拟机更换不同的ip地址
（2）重启网络：systemctl restart network
（3）给三台主机添加互信(步骤见博客：添加互相）

2、将主机的hadoop文件夹和配置文件/etc/profile传给另外两台虚拟机

 [root@hadoop2 software]# scp -r hadoop root@hadoop5:$PWD  #@后写要传对象的主机名
 [root@hadoop2 software]# scp /etc/profile root@hadoop7:/etc/profile

这样hadoop文件夹和profile将传到hadoop5 hadoop7中和主机相同的位置中

3、在主机上修改配置文件

（1) 修改 vi etc/hadoop/hdfs-site.xml

在root/software/hadoop路径下输入：
[root@hadoop2 hadoop]# vi etc/hadoop/hdfs-site.xml

或者在root/software/hadoop/etc/hadoop路径下输入：
[root@hadoop2 hadoop]# vi hdfs-site.xml

将副本数改成3
将secondary的ip改成第二台机器的ip

<configuration>
 <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>192.168.21.5:50090</value>
</property>
</configuration>

（2）配置 vi /etc/slaves

添加三台机器的主机名，三台虚拟机都要添加

在这里插入图片描述

4.删除logs和tmp,格式化第一台主机（注意：三台机器都需要删除成功）

[root@hadoop2 hadoop]# rm -rf logs/
[root@hadoop2 hadoop]# rm -rf tmp/

[root@hadoop2 hadoop]# hdfs namenode -format

5.在第一台机器上进行开启，输入jps验证

[root@hadoop2 hadoop]# start-all.sh

在这里插入图片描述

四、Hadoop配置JobHistory

4.1 jobhistory作用？

查看历史操作步骤

4.2 使用jobhistory的配置及操作步骤

第一步：配置vi mapred-site.xml文件

[root@hadoop2 software]# cd hadoop
[root@hadoop2 hadoop]# vi etc/hadoop/mapred-site.xml

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop2:10020</value>
</property>

<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop2:19888</value>
</property>

</configuration>

第二步：启动 jobhistory

[root@hadoop2 hadoop]# sbin/mr-jobhistory-daemon.sh start
historyserver
启动完成之后可以jps查看进程

[root@hadoop2 hadoop]# sbin/mr-jobhistory-daemon.sh start historyserver
starting historyserver, logging to /root/software/hadoop/logs/mapred-root-historyserver-hadoop2.out
[root@hadoop2 hadoop]# jps
11298 NodeManager
11172 ResourceManager
11849 JobHistoryServer
10942 DataNode
10815 NameNode
11919 Jps
[root@hadoop2 hadoop]#

4.3 测试

第一步：先在hdfs上创建一个test文件夹

[root@hadoop2 hadoop]# hdfs dfs -mkdir /test1

第二步：登录浏览器查看是否创建成功

在这里插入图片描述

第三步：任意上传一个文件

[root@hadoop2 hadoop]# hdfs dfs -put README.txt /test1
hdfs dfs -put 路径/README.txt /test

在这里插入图片描述
进浏览器查看是否上传成功
在这里插入图片描述

五、Hadoop常用端口号

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

fishbaby-
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
大数据平台端口号列表
01-19
文章中列出了大数据生态系统中hadoop hive hbase spark等组件的端口列表，用于声场环境的防火墙配置
hadoop常用端口
03-15
hadoop常用端口设置详解主要包括三大配置文件的端口设置
hadoop启动jobhistoryserve
weixin_51737266的博客
09-24 701
单独启动 historyserver
Hadoop启动jobhistoryserver
伏虎游侠的博客
11-23 3192
Hadoop启动jobhistoryserver [日期：2015-05-14] 来源：Linux社区  作者：ljy2013 [字体：大 中 小] Hadoop启动jobhistoryserver来实现web查看作业的历史运行情况，由于在启动hdfs和Yarn进程之后，jobhistoryserver进程并没有启动，需要手动启动，启
hadoop:配置历史服务器JobHistory和日志聚集
qq_59403228的博客
05-12 768
日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。（2）分发配置：给其他虚拟机配置，使用我们自己写的基于rsync的shell插件。也就是我们之前配置的hadoop103:8088端口是无法查看历史信息的。为了查看程序的历史运行情况，需要配置一下历史服务器。配置好后通过我们写的插件jpsall即可查看历史服务器是否启动。======启动 hadoop集群 =======注意：开启日志聚集功能，需要重新启动。
Hadoop中Jobhistory配置与启动
weixin_45935027的博客
08-22 3291
一、Jobhistory作用 用户可以在浏览器查询每个job运行完以后的历史日志信息，比如map个数、reduce个数等，jobhistory是作为一台单独的服务器运行的。可以在namenode或者datanode上的任意一台启动即可。 二、配置过程 需要配置两个文件 mapred-site.xml文件增加如下内容，本文将历史服务器配置在slave1上。 <!-- 设置jobhistoryserver 服务器地址及对应端口 --> <property> <nam
hadoop中的Jobhistory历史服务器
weixin_45889100的博客
05-18 962
1. 启动脚本 mr-jobhistory-daemon.sh start historyserver 2. 配置说明 jobhistory用于查询每个job运行完以后的历史日志信息，是作为一台单独的服务器运行的。可以在namenode或者datanode上的任意一台启动即可。 默认的配置如下，但是需要手工修改为我们指定的那台服务器。 <property> <name>mapreduce.jobhistory.address</name> <val
Hadoop配置JobHistory
shall潇の菜园
03-18 261
配置jobhistory vi mapred-site.xml 添加如下代码 <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <va
调试集群的一些方法收集
didadidadige的专栏
07-23 518
1. 2.x中使用MapReduce JobHistory Server，端口号默认为19888，地址由参数mapreduce.jobhistory.webapp.address配置管理 使用命令mapred historyserver启动 2. 使用eclipse上传数据到集群时候，没有权限，需要在hdfs-site.xml添加 dfs.permissions 为false，最好也修改ch
Hadoop原理与技术Spark操作实验
05-24
（1）输入start-all.sh启动hadoop相应进程和相关的端口号 （2）启动Spark分布式集群并查看信息 （3）网页端查看集群信息 （4）启动spark-shell控制台 1：local模式启动 2：登录master服务器，在集群模式下启动 （5）...
Hadoop原理与技术MapReduce实验
05-24
（1）输入start-all.sh启动hadoop相应进程和相关的端口号 （2）打开网站localhost:8088和localhost:50070，查看MapReduce任务启动情况 （3）写wordcount代码并把代码生成jar包 （4）运行命令 （1）：把linus下的文件...
Hadoop原理与技术SparkSQL操作实验
05-24
（1）输入start-all.sh启动hadoop相应进程和相关的端口号 （2）启动Spark分布式集群并查看信息 （3）网页端查看集群信息 （4）启动spark-shell控制台 （5）访问http://localhost:4040可以看到spark web界面 （6）...
hadoop2.x配置jobHistory server（转）
zhangxiong0301的专栏
03-16 395
Hadoop自带了一个历史服务器，可以通过历史服务器查看已经运行完的Mapreduce作业记录，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下，Hadoop历史服务器是没有启动的，我们可以通过下面的命令来启动Hadoop历史服务器 $ sbin/mr-jobhistory-daemon.sh   start historyserv...
NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager
ICan_I的博客
03-11 1508
NameNode、DataNode、SecondaryNameNode、ResourceManager、NodeManager （1）NameNode: HDFS的管理节点，负责客户端的请求响应，存放元数据。 （2）DataNode : HDFS的工作节点，受客户端和NameNode的调度，检索并存放数据块。没有NameNode，DataNode将无法使用。 （3）SecondaryNameN...
Hadoop JobHistory
weixin_34082854的博客
06-14 91
hadoop jobhistory记录下已运行完的MapReduce作业信息并存放在指定的HDFS目录下，默认情况下是没有启动的，需要配置完后手工启动服务。 mapred-site.xml添加如下配置 <property> <name>mapreduce.jobhistory.address</name> <value...
Hadoop常用端口号
Markble
09-22 5038
HDFS、YARN、HBase、Hive、Zookeeper常用端口号： 组件 节点 默认端口 配置 用途说明 HDFS DateNode 50010 dfs.datanode.address datanode服务端口，用于数据传输 HDFS DateNode 50075 dfs.datanode.http.address http服务的端口 HDFS DateNode 50475 dfs.datano.
Hadoop中的jobhistory配置与启动停止
段渣渣推轮子的飙车场
03-25 1万+
版权声明：未经允许，随意转载，请附上本文链接谢谢（づ￣3￣）づ╭❤～ https://blog.csdn.net/xiaoduan_/article/details/79689882 Hadoop中的jobhistory配置与启动停止 jobhistory配置 在yarn-site.xml中添加 &lt;!-- 开启日志聚合 --&gt; &lt;property&gt; ...
解决Hadoop无法启动JobHistoryServer
热门推荐
大佛拈花的博客
03-01 1万+
gosaint@gosaint:/usr/local/hadoop$ sbin/mr-jobhistory-daemon.sh start ==== 出现如下问题: WARNING: Use of this script to start the MR JobHistory daemon is deprecated. WARNING: Attempting to execute replace...
OPC UA与IEC61499 在分布式智能电网中的应用
最新发布
姚家湾博客
04-30 299
数据采集，剩余电量估计，从放电控制，安全，热管理等等。在电动车辆中，BMC 与车辆控制器连接。通常使用CAN Bus 总线。在储能设备中，与智能电网控制器连接（CAN Bus 或者ModebusTCP）。储能设备中的电池芯包与电池均衡系统构成电池模组，国内的电池芯包通常使用被动均衡技术，被动均衡芯片通常通过SPI 接口连接到CMC 控制器，CMC 以单片机为主构建，具有RS485/CAN BUS 连接到电池管理控制器。智能电网控制器与SCADA 服务器连接，使用的通信协议IEC61850 协议。
ERROR: Cannot execute /User/tingshuang/Downloads/hadoop-3.3.1/libexec/libexec/hadoop-config.sh.
06-09
打开`etc/hadoop/core-site.xml`文件，确认其中的`fs.defaultFS`配置是否正确设置为Hadoop的默认文件系统地址和端口号，例如： ``` <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值