![](https://img-blog.csdnimg.cn/20190918140129601.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据计算
2021/6/15 求职中。请给个面试机会吧。谢谢。13130020665
hailunw
这个作者很懒,什么都没留下…
展开
-
搭建Eclipse+Spark开发环境
1)下载安装Eclipse2)安装Scala IDE for Eclipse原创 2021-08-15 11:45:30 · 379 阅读 · 0 评论 -
Spark简介
Spark是一个大数据领域统一数据分析框架, 速度快,使用简单,通用性,可以运行任何地方。原创 2021-06-25 08:59:00 · 135 阅读 · 0 评论 -
Spark项目---- 模拟互联网网站用户行为实时分析系统(第三部分)
1)使用IDEA创建springboot项目原创 2021-07-28 16:18:00 · 167 阅读 · 1 评论 -
服务器体系SMP、NUMA、MPP的介绍
SMPNUMAMPP原创 2021-07-24 18:52:34 · 934 阅读 · 0 评论 -
Spark项目---- 模拟互联网网站用户行为实时分析系统(第二部分)
1)将IDEA中开发的Scala类打包,更新到Kafka的服务器上原创 2021-07-24 12:35:10 · 690 阅读 · 0 评论 -
HIVE中UDF的使用
HIVE中UDF的使用原创 2021-07-08 14:48:17 · 90 阅读 · 0 评论 -
大数据项目实战---电商埋点日志分析(第五部分,DWS层之用户活跃主题)
大数据项目实战---电商埋点日志分析(第五部分,构建DWS层)原创 2021-07-09 13:08:39 · 146 阅读 · 0 评论 -
Spark性能调优
1)9个基本原则a,避免创建重复的RDDb,尽可能复用同一个RDD(少map-shuffle-map这样重复的操作)c,对频繁使用的RDD进行持久化(缓存)d,尽量避免使用有shuffle的算子e,原创 2021-06-27 10:27:25 · 64 阅读 · 0 评论 -
Spark中RDD,Dstream,DataSet,DataFrame简介
DataFrameDataSet原创 2021-06-27 10:15:53 · 395 阅读 · 0 评论 -
Streaming 流式计算的模式
原生流模式(Native)微批处理原创 2021-06-27 09:42:50 · 129 阅读 · 0 评论 -
Spark消费kafka数据的两种方式
Receiver based approachDirect Approach原创 2021-06-27 10:02:14 · 99 阅读 · 0 评论