大数据
文章平均质量分 90
朱季谦
原名朱镕军,阿里云专家博主认证,腾讯云社区2022年度最佳作者,曾著有《黑色玫瑰》等网络小说。
展开
-
图解Spark排序算子sortBy的核心源码
图解Spark排序算子sortBy的核心源码原创 2023-12-06 07:40:44 · 1281 阅读 · 0 评论 -
图解Spark Graphx实现顶点关联邻接顶点的collectNeighbors函数原理
图解Spark Graphx实现顶点关联邻接顶点的collectNeighbors函数原理原创 2023-12-06 07:37:37 · 1536 阅读 · 0 评论 -
基于Spark对消费者行为数据进行数据分析开发案例
基于Spark对消费者行为数据进行数据分析开发案例原创 2023-12-03 08:48:00 · 1042 阅读 · 0 评论 -
Spark大数据集群日常开发过程遇到的异常及解决思路汇总
Spark大数据集群日常开发过程遇到的异常及解决思路汇总原创 2023-12-03 08:47:09 · 1098 阅读 · 0 评论 -
kafka2.x常用命令:创建topic,查看topic列表、分区、副本详情,删除topic,测试topic发送与消费
kafka2.x常用创建topic,查看topic列表、分区、副本详情,删除topic,测试topic发送与消费指令原创 2023-11-26 16:16:07 · 3786 阅读 · 0 评论 -
Hadoop学习笔记:运行wordcount对文件字符串进行统计案例
我第一次执行时,发生了一个异常,即执行完后,日志运行到INFO mapreduce.Job: Running job: job_1631618032849_0002这一行时,就直接卡在了这里,没有任何动静了——这行指令的大概意思是,分布式计算统计input目录底下的文件中的字符数量,将统计结果reduce到output当中,故而,最后若执行没问题,可以在output目录下获取到统计结果记录。接着,重启了hadoop集群,就正常了,日志信息就没有卡顿,而是一步执行完成,打印以下的日志记录——原创 2023-11-22 08:24:01 · 776 阅读 · 0 评论