![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
隔壁老登
我太想进步了……
展开
-
hive日期函数的使用
hive日期函数的使用。原创 2024-09-05 20:53:21 · 424 阅读 · 0 评论 -
测试hive是否可以按\001切分字段
场景:hdfs文件是以\001分割的字段,测试hive是否可以按\001切分字段。原创 2024-09-04 21:02:05 · 265 阅读 · 0 评论 -
导入数据到hive的几种方式
3.创建外部表映射hdfs文件。原创 2024-08-01 20:29:30 · 630 阅读 · 0 评论 -
领域数据模型建设步骤
次数,时长,金额,设备数,用户数,app/item数。业务过程:一系列结构化的可测量的活动:如app相关业务的下载,安装,使用,更新,卸载等活动分为公共业务过程和特有业务过程。一致性维度:app版本,歌曲,内容集,专辑,mv艺术家,商品,年龄,性别,日期…修饰词:针对原子指标,在维度属性枚举值内的限定,例如成功,云端,本地等条件。dwd(明细层):脱敏,异常,解析,维度建模,维度退化。1.数据调研和业务调研,识别业务过程,实体,关键指标。原创 2024-05-29 20:52:44 · 515 阅读 · 0 评论 -
spark相关知识
Driver向集群管理器申请资源,启动Executor,并向Executor发送程序代码和文件,在Executor上执行任务,执行结果返回任务控制节点或写到HDFS和其他数据库。Spark的设计遵循“一个软件栈满足不同应用场景”的理念,逐渐形成了一套完整的生态系统,既能够提供内存计算框架,也可以支持SQL即席查询、实时流式计算、机器学习和图计算等。窄依赖表现为一个父RDD的分区对应于一个子RDD的分区,或多个父RDD的分区对应于一个子RDD的分区。运行速度快,易使用,强大的技术栈,集成性好。原创 2024-05-29 20:38:36 · 506 阅读 · 0 评论 -
传统关系型数据库与hive的区别
综上所述,数据库和Hive各有侧重,适用于不同的业务场景和数据处理需求。数据库更适用于需要低延迟、高并发事务处理的场景,而Hive则更适合大数据批量分析和数据仓库应用。数据库和Hive之间存在本质的区别,主要体现在设计目的、数据处理方式、数据存储、查询延迟、数据更新能力、以及适用场景等方面。原创 2024-05-24 21:19:55 · 689 阅读 · 0 评论 -
星型模型和雪花模型的区别
选择星型模型还是雪花模型通常取决于具体的应用需求、数据量、查询性能要求以及对数据冗余的容忍度。在对查询性能要求极高且可以接受一定冗余的OLAP环境中,星型模型更为常见。而在对数据完整性和存储空间敏感,且查询复杂度可以接受较低性能损失的情况下,雪花模型可能更合适。实践中,星型模型因其简单性和高效查询性能,在数据仓库设计中更为广泛采用。原创 2024-05-23 21:12:27 · 841 阅读 · 0 评论 -
redis的shell客户端操作
【代码】redis的shell客户端操作。原创 2024-05-21 21:01:16 · 232 阅读 · 0 评论 -
维度建模方法论
KimBall提出的维度建模理论,从分析决策的需求出发构建模型,以事实表为中心,选取特定的维度,构建业务总线矩阵。OLAP基于数据仓库 ,适合海量数据,批量查询,对实时性要求不高的场景。高层设计-》详细模型-》模型审查,再设计和验证-》ETL设计和开发。实体关系模型,遵循3范式,属性唯一,部分函数依赖,传递函数依赖。数仓分层:ods-》dwd、dim-》dws-》ads。业务架构设计-》模型设计-》数据研发-》数据服务-建模过程分为:业务过程-》粒度-》维度-》事实。统计型:人均,日均,行业平均。原创 2024-05-16 20:26:50 · 276 阅读 · 0 评论 -
kafka基础知识
Range分配策略:此策略将分区按照范围分配给消费者,旨在尽可能平均地分配分区给消费者,以确保负载均衡。topic(分区,副本,topic输入输出流量,topic每秒输入的消息条数)RoundRobin分配策略:此策略以轮询的方式分配置分区给消费者。kafka日志保存位置及消息保存时间。生产端:消息发送成功但响应失败。如何处理数据积压问题?扩大kafka集群规模。消费端:偏移量提交失败。如何看数据积压问题?为什么能做到高并发?原创 2024-05-14 20:41:18 · 314 阅读 · 0 评论 -
hdfs的api操作
场景:测试idea本地连接hdfs集群并创建目录,上传本地文件。原创 2024-05-14 20:38:31 · 178 阅读 · 0 评论 -
hdfs磁盘清理历史数据
统计warehouse目录下的磁盘使用量(目前表都是建在该路径下)#hdfs回收站会保留1天数据,过期会自动清理, 也可手动清理。#统计test目录下磁盘使用量的表,清理该测试路径的数据。#统计bak目录下磁盘使用量的表,取前30,清理大表。原创 2024-05-11 21:05:59 · 283 阅读 · 0 评论 -
hive自定义函数
当Hive的内置函数不能满足需要时,可以通过编写用户自定义函数UDF(User-Defined Functions)插入自己的处理代码并在查询中使用它们。•用户定义表生成函数UDTF(User-Defined Table-Generating Functions),用于操作单个输入行,产生多个输出行。•用户定义聚集函数UDAF(User-Defined Aggregating Functions),用于接受多个输入数据行,并产生一个输出数据行。•普通的UDF,用于操作单个数据行,且产生一个数据行作为输出。原创 2024-05-09 21:18:44 · 268 阅读 · 1 评论 -
hadoop的相关操作
Hadoop生态圈:是更广泛的概念,包含hadoop,sqoop,flume,zookeeper,hive,spark,hbase,oozie等构成的大数据处理相关一系统组件。1.NameNode:存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限等),及每个文件的块列表和块所在的DataNode等。Common(辅助工具):支持其他模块的工具(Configuration,RPC,序列化机制,日志操作等)HDFS(数据存储):一个高可靠,高吞吐量的分布式文件系统。原创 2024-04-28 20:02:00 · 1293 阅读 · 2 评论