![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 52
大数据已成为当今信息时代的关键驱动力之一,对各个行业和领域都产生了深远影响。包括但不限于:数据采集与存储技术: 介绍各种数据采集方法和存储技术,包括传感器网络、物联网、云存储等,以及它们在大数据环境下的应用。数据处理与分析: 探讨大数据处理和分析的各种技术和工具,包括数据挖掘、机器学习、人工
Zoen Sing
这个作者很懒,什么都没留下…
展开
-
Spark基础入门概念的一些总结
原创 2024-03-06 17:10:52 · 359 阅读 · 1 评论 -
大数据项目实战Hive on Spark电信用户行为分析
对于我们常用的关系型数据库, 对于数据一致性要求比较高, 基本都是我们的OLTP系统,而对于我们常见的数据分析系统, 主要是根据已有的业务数据进行统计分析, 比如管理驾驶舱数据统计分析,比如做BI报表, 做机器学习等, 这些我们会专门在一个数据分析系统OLAP系统进行统计分析。首先用户行为产生的日志数据通过Flume采集到HDFS集群中,接下来是hive数仓搭建工作,最后将应用层数据使用DataX同步到MySQL数据库中,通过QuickBI展示出相应的指标,如下图所示。下图为集群启动成果后的效果。原创 2024-02-29 16:06:51 · 1800 阅读 · 0 评论