![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 77
大数据各个组件使用过程中遇到的问题以及解决方案
那一年_我九岁
这个作者很懒,什么都没留下…
展开
-
常见的数据抽取工具对比
ETL,是英文Extract-Transform-Load的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程,是数据仓库的生命线。抽取(Extract主要是针对各个业务系统及不同服务器的分散数据,充分理解数据定义后,规划需要的数据源及数据定义,制定可操作的数据源,制定增量抽取和缓慢渐变的规则。转换(transform。原创 2024-04-22 16:49:46 · 1869 阅读 · 0 评论 -
Hive中count(distinct)优化
hive.groupby.skewindata 对 count(distinct) 的优化是有限制的,当 hive.groupby.skewindata = true 时,SQL只能对一个列进行 count(distinct)其实这很容易理解,在刚刚的手动优化过程中,能够很容易发现,这个方法不能同时对多个列进行 去重+计数 得出各自的 count(distinct) 值主要原因:无法在某一个维度里,同时对多个列进行去重。转载 2024-03-15 23:35:11 · 471 阅读 · 0 评论 -
Hive中的explode函数、posexplode函数与later view函数
在离线数仓处理通过HQL业务数据时,经常会遇到行转列或者列转行之类的操作,就像concat_ws之类的函数被广泛使用,今天这个也是经常要使用的拓展方法。原创 2024-03-15 22:54:27 · 3797 阅读 · 0 评论 -
MapReduce的原理分析
MapReduce的思想核心是“分而治之,先分再合”,适用于大量复杂任务处理场景(大规模数据处理场景)。map阶段(分):如果任何可以拆分并且没有依赖,那么就把复杂的任务拆分成小任务,拆分成小任务之后,可以并行计算,提高处理效率。reduce阶段(合):把map阶段的各个局部结果进行全局汇总,得到最终的结果生活中的MapReduce案例:统计图书馆的书籍总数“Map”:你数1号书架,我数2号书架。我们人越多,数书就更快。“Reduce”:我们到一起,把所有人的统计数加在一起。原创 2024-03-15 15:14:29 · 1353 阅读 · 1 评论 -
Hive中的CONCAT、CONCAT_WS与COLLECT_SET函数
concat用于连接字符串。concat_ws用于按照指定的分隔符连接字符串。与group by和concat_ws一起使用可以实现"列转行。原创 2024-03-14 17:43:34 · 2522 阅读 · 0 评论 -
Hive中的NVL函数与COALESCE函数
说明: COALESCE是一个函数, (v1, v2, …,vn)依次参考各参数表达式,遇到非null值即停止并返回该值。如果所有的表达式都是空值,最终将返回一个空值。Hive SQL 中的一种聚合函数,它可以返回第一个非空值。功能:如果value为NULL,则NVL函数返回。如果两个参数都为NULL ,则返回NULL。的数据赋值,它的格式是。原创 2024-03-14 12:56:05 · 4036 阅读 · 0 评论 -
Hive中UNION ALL和UNION的区别
Hive官方提供了一种联合查询的语法,原名为Union Syntax,用于联合两个表的记录进行查询,此处的联合和join是不同的,join是将两个表的字段拼接到一起,而union是将两个表的记录拼接在一起。换言之, join是用于左右拼接,而union是用于上下拼接。联合查询方式UNIONUNION ALL对重复结果的处理筛选掉重复的结果不会去除重复记录对排序的处理将两个结果合并后并返回会按照字段的顺序进行排序效率快慢总述不去重不排序去重并排序。原创 2024-03-08 13:24:46 · 1355 阅读 · 0 评论 -
Hive的性能优化
Hive 作为大数据领域常用的数据仓库组件,在设计和查询时要特别注意效率。影响Hive效率的几乎从不是数据量过大,而是数据倾斜、数据冗余、Job或I/O过多、MapReduce分配不合理等等。对 Hive 的调优既包含 Hive 的建表设计方面,对HQL 语句本身的优化,也包含 Hive 配置参数和底层引擎 MapReduce 方面的调整。总之,Hive调优的作用:在保证业务结果不变的前提下,降低资源的使用量,减少任务的执行时间。原创 2024-03-07 22:34:26 · 1060 阅读 · 0 评论 -
行式存储与列式存储
数据处理大致可分为两大类,联机事务处理OLTP(on-line transaction processing) 和联机分析处理OLAP(on-line analytical processing)。OLTP是传统关系型数据库的主要应用,用来执行一些基本的、日常的事务处理,比如数据库记录的增、删、改、查等。而OLAP则是分布式数据库的主要应用,它对实时性要求不高,但处理的数据量大,通常应用于复杂的动态报表系统上。原创 2023-08-24 11:54:59 · 674 阅读 · 0 评论 -
HQL解决连续三天登陆问题
如何判断连续?通过对user_id分组排序后,使用登陆日期减去序号rn。如果连续,则得到的这个日期会相同。原创 2023-08-24 10:54:55 · 873 阅读 · 2 评论 -
HiveDDL数据操作
【代码】HiveDDL数据操作。原创 2023-07-07 20:57:08 · 425 阅读 · 0 评论 -
Hadoop面试题
第二个阶段是由 ApplicationMaster 创建应用程序,为它申请资源,并监控它的整个运行过程,直到运行完成。(1)客户端通过Distributed FileSystem向NameNode请求下载文件,NameNode通过查询元数据,找到文件块所在的DataNode地址。(3)DataNode开始传输数据给客户端(从磁盘里面读取数据输入流,以Packet为单位来做校验)。(2)挑选一台DataNode(就近原则,然后随机)服务器,请求读取数据。原创 2023-07-07 18:19:04 · 1972 阅读 · 0 评论 -
Hive数据类型
Hive的基本数据类型:TINYINT、SMALLINT、INT、BIGINT、BOOLEAN、STRING、TIMESTAMP、BINARY。Hive的集合数据类型:STRUCT、MAP、ARRAY。原创 2023-07-01 18:17:28 · 390 阅读 · 0 评论 -
Hive基础知识
Hive是由Facebook开源用于解决海量结构化日志的数据统计工具。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。Hive是基于hadoop的数据仓库工具,提供了类SQL语言便于查询计算。Hive本质:将HQL转换MapReduce程序。Hive与数据库的比较在于四个方面:查询语言、数据规模、数据更新、执行延迟。原创 2023-06-28 23:52:39 · 503 阅读 · 0 评论 -
kettle优化之提高MySQL读写速度
1.背景背景:在mysql数据库中进行数据迁移(表之间迁移,字段转换),发现表的数据量大的时候,kettle对表的读写操作的速度很慢,并且是达到一定数据量以后速度会特别慢,数据量小的时候读的速度是很快的2.kettle执行测速2.1 读写数据速度测试5000条数据读写速度测试:8min24s 即 504s20000条数据读写速度测试: 16min32s 即 992s200000条数据读写速度测试,任务直接失败,跑不起来。3.优化方向3.1 修改数据库连接参数打开表输入和表输原创 2021-08-26 14:28:41 · 5318 阅读 · 3 评论 -
beeline connect User: root is not allowed to impersonate hive (state=08S01,code=0)的解决方案
beeline connect User: root is not allowed to impersonate hive (state=08S01,code=0)的解决方案1.报错信息(beeline连接hive)!connect jdbc:hiv2:hadoop-master:100002.解决方法1 stop-dfs.sh,终止集群2 修改core-site.xml文件,图中root就是上面报错处提示的root用户3 start-dfs.sh 重启hdfs4 再次连接...原创 2021-07-30 15:43:49 · 481 阅读 · 2 评论 -
窗口函数的基本使用
窗口函数的主要作用是对数据进行分组排序、求和、求平均值、计数等。1.窗口函数的基本语法<分析函数> OVER ([PARTITION BY <列清单>] ORDER BY <排序用列清单> [ROWS BETWEEN 开始位置 AND 结束位置])理解窗口函数的基本语法: over()函数中包括三个函数:包括分区 partition by 列名、排序 order by 列名、指定窗口范围 rows between 开始位置 and 结束位置。我们在使用ove原创 2021-08-10 15:03:41 · 5302 阅读 · 1 评论