![](https://img-blog.csdnimg.cn/20190927151101105.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
博学谷学习记录
文章平均质量分 70
博学谷学习记录
zeroLinked
我是小白,请多指教
展开
-
SparkSQL综合案例练习2
spark sql原创 2023-02-20 22:19:58 · 383 阅读 · 0 评论 -
SparkSQL案例练习
t。原创 2023-02-12 20:34:19 · 353 阅读 · 0 评论 -
PySpark(spark core)相关练习题
pyspark原创 2023-02-02 14:52:34 · 253 阅读 · 0 评论 -
新零售项目总结03
1原创 2023-01-17 12:36:31 · 158 阅读 · 0 评论 -
新零售项目总结02
如题原创 2023-01-07 14:45:32 · 121 阅读 · 0 评论 -
新零售项目总结01
随着经济和技术的发展,经历了多种不同形式的发展:地摊、卖货郎百货商店超级市场连锁商店电子商务新零售:线上服务、线下体验以及现代物流进行深度融合的零售新模式。原创 2023-01-02 10:44:58 · 408 阅读 · 0 评论 -
Flume简单使用
flume原创 2022-12-23 18:20:43 · 153 阅读 · 0 评论 -
HBase笔记
hbase笔记原创 2022-12-18 20:12:01 · 206 阅读 · 0 评论 -
kafka核心原理
kafka核心原理原创 2022-12-08 15:30:49 · 123 阅读 · 0 评论 -
kafka简单使用
kafka是apache旗下的一款开源免费的消息队列中间件,最早由LinkedIn开发,后面贡献给Apache,目前是Apache旗下顶级开源项目(http://www.kafka.apache.org),该中间件采用Scala语言进行开发。原创 2022-12-04 15:28:39 · 732 阅读 · 0 评论 -
Hive 中 row_number的使用
Hive 中 row_number的使用原创 2022-11-29 17:33:05 · 2008 阅读 · 0 评论 -
presto结合grouping、grouping set实现统计宽表
presto统计宽表原创 2022-11-21 23:22:34 · 451 阅读 · 0 评论 -
Hive聚合函数:Grouping set、Cube、Rollup
hive聚合函数原创 2022-11-13 17:46:27 · 1008 阅读 · 0 评论 -
hive缓慢变化维
维度建模的数据仓库中,有一个概念叫Slowly Changing Dimensions,中文一般翻译成”缓慢变化维”,经常被简写为SCD。缓慢变化维的提出是因为在现实世界中,维度的属性并不是静态的,它会随着时间的流失发生缓慢的变化。这种随时间发生变化的维度我们一般称之为缓慢变化维,并且把处理维度表的历史变化信息的问题称为处理缓慢变化维的问题,有时也简称为处理SCD的问题。原创 2022-11-06 18:42:07 · 878 阅读 · 2 评论 -
Sqoop的使用
Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。Sqoop工作机制是将导入或导出命令翻译成mapreduce程序来实现。原创 2022-10-30 18:19:50 · 458 阅读 · 0 评论 -
Hive压缩、存储与优化
hive压缩、存储和优化原创 2022-10-23 18:36:45 · 553 阅读 · 0 评论 -
hive的常规操作
关于hive的基本操作原创 2022-10-16 16:15:16 · 701 阅读 · 0 评论 -
MapReduce关于shuffle的那些事
shuffle原创 2022-10-02 00:38:26 · 750 阅读 · 0 评论 -
MapReduce词频统计
MapReduce,用一句话概括就是:分而治之。原创 2022-09-25 19:44:39 · 1600 阅读 · 1 评论 -
hdfs小文件合并和hdfs高可用方案
由于HDFS会在NameNode中存储元数据,而元数据是存在于内存中,所以HDFS是不适合用来存储小文件的。针对存在的问题,在HDFS可以进行小文件合并的操作。原创 2022-09-17 17:50:40 · 2177 阅读 · 0 评论 -
HDFS小记
HDFS,全称:Hadoop Distributed File System,即Hadoop分布式文件系统,它来源于Google的发布的GFS。原创 2022-09-11 12:20:57 · 1068 阅读 · 0 评论 -
zookeeper小记
zookeeper小记原创 2022-09-04 17:35:14 · 467 阅读 · 0 评论 -
Shell+crontab定时搬运日志
Shell 常用来写一些自动化的工具,比如我们平时的应用产生的日志文件,在知道日志文件产生的规律之后,我们可以用linux命令轻易得到对应的日志文件位置,从而获取其中的日志数据,进而进行搬运处理,利用shell+crontab可以实现定时日志的搬运。...原创 2022-08-27 17:30:40 · 505 阅读 · 1 评论