3离线计算Spark/Hive/Hadoop-S级
文章平均质量分 66
spark简单使用
74efa5w1f2315qw41f
多讨论、多实践、多传授!
展开
-
Spark原理
cogroup:对多个(2~4)RDD 中的 KV 元素,每个 RDD 中相同 key 中的元素分别聚合成一个集合。与 reduceByKey 不同的是:reduceByKey 针对一个 RDD 中相同的 key 进行合并。而cogroup 针对多个 RDD 中相同的 key 的元素进行合并。原创 2024-04-13 15:52:45 · 934 阅读 · 0 评论 -
Hive原理
Hive面经原创 2024-03-12 22:13:03 · 925 阅读 · 0 评论 -
Hadoop原理
Hadoop面经原创 2024-03-12 21:24:16 · 1058 阅读 · 0 评论 -
spark读取MySQL数据机器学习预测存入MySQL
【代码】spark读取MySQL数据机器学习预测存入MySQL。原创 2024-01-16 22:09:45 · 332 阅读 · 0 评论 -
HDFS_指令
hadoop原创 2023-06-14 14:07:17 · 82 阅读 · 0 评论 -
Spark Streaming
/1.初始化 Spark 配置信息/* 自定义数据采集器1.继承Receiver,定义泛型,传递参数2.重写方法*/val message = "采集的数据为:" + new Random().nextInt(10).toString}).start()flg=false;原创 2023-11-08 19:09:56 · 441 阅读 · 0 评论 -
SparkML
SparkML_lr_predict :读取训练好的模型,读取py处理后的test表用于预测。将预测结果写入normal_data中,根据id修改stream_is_normal的值。SparkML_lr_train :读取py处理后的train表用于训练,将训练模型保存好。启动hadoop(启动脚本)启动spark(命令行启动)原创 2023-11-08 19:09:32 · 234 阅读 · 0 评论 -
SparkSql
sparksql写入mysql。提前在mysql中建好表。原创 2023-11-08 19:09:17 · 150 阅读 · 0 评论 -
spark笔记
spark笔记原创 2023-07-20 21:37:58 · 132 阅读 · 0 评论 -
分布式kmeans(scala原码实现)
分布式kmeans原创 2023-07-17 08:49:54 · 503 阅读 · 0 评论 -
spark_idea
spark_idea原创 2023-06-14 14:21:43 · 1021 阅读 · 0 评论 -
sparkmlib调用
sparkmlib调用原创 2023-06-14 14:14:04 · 514 阅读 · 0 评论