![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据优就业——第二阶段(hadoop生态系统体系架构)
文章平均质量分 94
hadoop生态系统体系架构
dogedong
这个作者很懒,什么都没留下…
展开
-
Day52_Flume
一、Flume概述(一)Flume定义Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。说白了,这个工具就是帮助我们实时的采集数据的,如果没有这个工具的话,我们需要自己写好多代码来完成数据采集,而且采集的数据或者目的地一旦发生变化,那么需要修改代码,比较麻烦,有了这个工具之后只需要简单的进行配置,就可以使用它采集数据了,不用写代码。Flume支持定制各类数据发送方,用于收集各类型数据;同时,Flume支持定制各原创 2021-10-08 09:52:49 · 150 阅读 · 0 评论 -
Day47_HiveSQL
(一)多字节分隔符应用场景1、Hive中的分隔符Hive中默认使用单字节分隔符来加载文本数据,例如逗号、制表符、空格等等,默认的分隔符为\001。根据不同文件的不同分隔符,我们可以通过在创建表时使用 row format delimited fields terminated by ‘单字节分隔符’ 来指定文件中的分割符,确保正确将表中的每一列与文件中的每一列实现一一对应的关系。特殊数据在实际工作中,我们遇到的数据往往不是非常规范化的数据,例如我们会遇到以下的两种情况..原创 2021-09-16 20:44:45 · 186 阅读 · 0 评论 -
Day46_Hive高阶
五、压缩和存储在实际工作当中,hive当中处理的数据,一般都需要经过压缩,可以使用压缩来节省我们的MR处理的网络带宽压缩优点:减少存储磁盘空间,降低单节点的磁盘IO。由于压缩后的数据占用的带宽更少,因此可以加快数据在Hadoop集群流动的速度,减少网络传输带宽。压缩缺点:需要花费额外的时间/CPU做压缩和解压缩计算。(一)Hadoop压缩a、Hadoop支持的压缩算法Haodop对文件压缩均实现org.apache.hadoop.io.compress.Comp.原创 2021-09-16 20:27:59 · 462 阅读 · 0 评论 -
Day44-45_Hive高级
四、HQL(hive SQL)https://www.docs4dev.com/docs/zh/apache-hive/3.1.1/reference/#1)在hive-site.xml文件中添加如下配置信息,就可以实现显示当前数据库,以及查询表的头信息配置。<property> <name>hive.cli.print.header</name> <value>true</value></property><原创 2021-09-16 20:06:12 · 261 阅读 · 0 评论 -
Day43_Hive基础
一、hive概述(一)hive简介当我们去尝试使用mapreduce去处理海量数据的时候,发现开发过程中并不是很顺利,经过复杂的需求分析,我们需要设计map、reduce阶段分别要处理什么样的业务逻辑,以及key、value的具体定义,如果可以通过sql来驱动业务,那么即使复杂的业务也会变得相对轻松一些,那么有没有这样的工具来实现我们的想法呢?那么我需要学习认识一下apache又一款优秀的工具:Apache Hive。Hive是2007年8月由Facebook开源用于解决海量结构化日志.原创 2021-09-16 19:15:34 · 336 阅读 · 0 评论 -
Day50_Hbase深入(二)
(三)ROWKEY的设计一条数据的唯一标识就是 RowKey,那么这条数据存储于哪个分区,取决于 RowKey 处 于哪个一个预分区的区间内,设计 RowKey 的主要目的 ,就是让数据均匀的分布于所有的 region 中,在一定程度上防止数据倾斜。接下来我们就谈一谈 RowKey 常用的设计方案。1.生成随机数、hash、散列值比如:原 本 rowKey 为 1001 的 , SHA1 后 变 成 :dd01903921ea24941c26a48f2cec24e0bb0e8cc7原原创 2021-09-15 15:18:23 · 190 阅读 · 0 评论 -
Day49_深入HBase(一)
(一)重要工作机制1、读数据流程从zookeeper找到meta表所在的region的位置,然后读取meta表中的数据。而meta中又存储了用户表的region信息ZK:/hbase/meta-region-server,该节点保存了meta表的region server数据根据namespace、表名和rowkey根据meta表中的数据找到对应的region信息scan "hbase:meta", { FILTER => "PrefixFilter('ORDER_INFO')原创 2021-09-15 15:07:22 · 314 阅读 · 0 评论 -
Day49_Hbase入门(二)
4、需求三:使用Java代码删除表实现步骤:判断表是否存在 如果存在,则禁用表 再删除表参考代码:// 删除表@Testpublic void dropTable() throws IOException { // 表名 TableName tableName = TableName.valueOf("WATER_BILL"); // 1. 判断表是否存在 if(admin.tableExists(tableName)) { // 2. ...原创 2021-09-14 21:06:56 · 294 阅读 · 0 评论 -
Day48_HBase入门(一)
(一)简介Apache HBase – Apache HBase™ HomeHbase是一个构建在Hdfs基础之上的非关系型(NoSql,Not Only Sql)数据库,也是一个分布式的、面向列的开源数据库Nosql数据库和关系型数据库的明显区别:Nosql数据库往往不会提供sql语句接口(你不能写sql语句操作它,往往是以api/指令的形式)。1、Hadoop从 1970 年开始,大多数的公司数据存储和维护使用的是关系型数据库 大数据技术出现后,很多拥有海量数据的公司开始...原创 2021-09-14 00:09:45 · 364 阅读 · 0 评论 -
Day43_Hive(一)
一、hive概述(一)hive简介当我们去尝试使用mapreduce去处理海量数据的时候,发现开发过程中并不是很顺利,经过复杂的需求分析,我们需要设计map、reduce阶段分别要处理什么样的业务逻辑,以及key、value的具体定义,如果可以通过sql来驱动业务,那么即使复杂的业务也会变得相对轻松一些,那么有没有这样的工具来实现我们的想法呢?那么我需要学习认识一下apache又一款优秀的工具:Apache Hive。Hive是2007年8月由Facebook开源用于解决海量结构化日志.原创 2021-09-06 18:21:14 · 267 阅读 · 0 评论 -
Day42_Zookeeper
一、Zookeeper概述(一)为什么学习zk我们为什么要学习zookeeper呢?其实从字面的意思我们就可以揣测到zookeeper就是动物园管理员的意思,如果把大数据的一些技术栈、框架比作各种动物,管理员应该就是处于协调、处理这些动物的角色,其实我们经常会发现共享的资源在并发的情况下会出现竞争,在线程间可以使用Java提供的锁机制来协调这些资源,那么在分布式的环境下,如何来协调这些资源呢?1、分布式环境下无法保证顺序在单机环境如果想让A先执行,B后执行,先调用A后调用B就可以了;由于..原创 2021-09-05 21:33:28 · 406 阅读 · 0 评论 -
Day41_Hadoop优化
(一)MapReduce跑的慢的原因MapReduce 程序效率的瓶颈在于两点:计算机性能 CPU、内存、磁盘健康、网络I/O 操作优化 (1)数据倾斜 (2)map和reduce数设置不合理 (3)map运行时间太长,导致reduce等待过久 (4)小文件过多 (5)spill(溢出)次数过多,溢出数据到磁盘 (6)merge次数过多,Shuffle溢出时后会有合并,reduce端也会有合并(二)MapRe...原创 2021-09-02 20:14:54 · 157 阅读 · 0 评论 -
Day41_Hadoop之Yarn
(一)Yarn概述Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。(二)Yarn基本架构 YARN主要由ResourceManager、NodeManager、ApplicationMaster(AM)和Container等组件构成,如图所示:图:Yarn基本架构(三)Yarn工作机制 Yarn运行机制,如图所示:工作机制详...原创 2021-09-02 19:59:12 · 123 阅读 · 0 评论 -
Day40~41_Hadoop之MapReduce(三)
七、MapReduce经典案例(一)好友推荐案例1、需求推荐好友的好友,比如给hadoop推荐cat、hello、mr。(需求实际就是获取非好友的两个人有多少共同好友)2、数据准备双向好友关系tom:hello hadoop catworld:hadoop hello hivecat:tom hivemr:hive hellohive:cat hadoop world hello mrHadoop:tom hive worldHello:tom world ..原创 2021-09-01 17:24:40 · 188 阅读 · 0 评论 -
Day39~40_Hadoop之MapReduce(二)
<!-- 历史服务器端地址 --><property> <name>mapreduce.jobhistory.address</name> <value>bd-offcn-01:10020</value></property><!-- 历史服务器web端地址 --><property> <name>mapreduce.jobhistory.webapp...原创 2021-08-31 19:45:01 · 212 阅读 · 0 评论 -
Day38_Hadoop之MapReduce(一)
一、MapReduce概述(一)MapReduce概述MapReduce是一个分布式运算程序的编程框架,核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在Hadoop集群上。框架是一个半成品,我们要学习的就是这些默认组件以及怎么将自己的业务逻辑代码与框架进行有机结合形成一个完整的应用程序。(二)MapReduce优缺点1、优点易于编程简单地实现一些接口或者继承一些框架准备好的类,重写一些方法,就能够与框架进行有机结合...原创 2021-08-30 17:13:49 · 246 阅读 · 0 评论 -
day36~37_HDFS分布式文件存储系统
HDFS分布式文件存储系统一、HDFS概述(一)HDFS产生背景随着数据量越来越大,在一个文件系统下无法存储海量数据,普通硬件支持的操作系统即使扩展磁盘也会遇到瓶颈,迫切需要水平横向扩展来解决数据存储问题,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种,其它的比如TFS、fastdfs、tachyon。(二)HDFS的定义Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardwa原创 2021-08-29 21:41:25 · 682 阅读 · 0 评论 -
day32~33 shell编程以及Linux高级命令
课程大纲 课程内容 学习效果 掌握目标 Linux基础 Shell编程 掌握 Linux高级命令 掌握 六、shell编程(一)概述Shell 是一个用 C 语言编写的程序,能解释我们给它的命令并执行,是用户使用 Linux 的桥梁。所以Shell 既是一...原创 2021-08-25 00:01:39 · 143 阅读 · 0 评论 -
day34~35_Hadoop介绍及集群安装
一、大数据简介以及服务器硬件基础(一)什么是大数据全球第一家信息技术研究和分析的公司Gartner给出定义:大数据指的是在一定的时间范围内无法使用常规软件进行存储、计算的数据集合。通俗理解:描述的是人类在信息爆炸时代所产生的海量数据。大数据岗位的职责:使用特殊的软件、架构来存储、计算海量的数据。(二)大数据特点如何存储、计算海量数据?我们需要了解这些海量数据的特点,IBM公司提出,大数据具备以下5V的主要特点:体量大(Volume):数据集总体规模比较大,..原创 2021-08-24 17:12:22 · 761 阅读 · 0 评论 -
day30~31_linux概述及安装设置
课程大纲 课程内容 学习效果 Linux基础 Linux概述 了解 CentOS安装 掌握 Linux目录结构 掌握 远程客户端工具 了解 一、Linux概述(一)Linux的历史1、什么是LinuxLinux是一种免费使用和自由传播的...原创 2021-08-17 20:33:25 · 1106 阅读 · 0 评论 -
day30_VM15安装及VMwaretools安装
VMware安装注意事项:如果以前安装过vmware12及以上版本,可以继续使用,不必安装此版本,如果坚持使用本版本,要通过控制面板把原来版本卸载,再安装本版本,注意不要直接删除原版本 安装过程中,遇到杀毒软件拦截,要放行 安装后,不要移动或重命名安装目录(1)软件下载地址https://my.vmware.com/cn/web/vmware/downloads/info/slug/desktop_end_user_computing/vmware_workstation_pro/15_0原创 2021-08-17 20:03:35 · 1210 阅读 · 0 评论