大数据调错
文章平均质量分 68
Light Gao
目前执职于360数科,大数据领域拥有8年的从业经验。欢迎关注我的微信公众号“大数据工坊”获取更多专业资讯和交流机会。专注于大数据平台、分布式计算性能、数据存储以及新技术的研究与应用。
展开
-
深度探究依赖冲突 NoSuchMethodError 问题解决之道
深度探究依赖冲突 NoSuchMethodError 问题解决之道原创 2023-10-27 11:52:48 · 577 阅读 · 0 评论 -
Spark小妙招
Spark小妙招原创 2023-04-22 22:39:17 · 111 阅读 · 0 评论 -
ClickHouse 可视化工具使用指南及远程连接 8123 端口失败问题解决方案
clickhouse可视化工具使用及clickhouse远程连接8123失败问题原创 2022-01-06 22:01:39 · 7133 阅读 · 3 评论 -
服务器重启后 Spark Streaming 任务启动失败的原因及排查过程记录
因特殊原因公司服务器从晚上6点开始CPU资源使用率飙升至100%然后运维重启服务器,重新构建此服务器上所有作业然而第二天早上查看日志发现,有一个job作业启动失败,经过一系列排查最终解决,特此记录一下此作业是sparkStreaming 读取kafka topic并存储至hbase ,offset保存在zookeeper;此问题并非是常见的offset过期或offset不一致问题; 请往...原创 2020-02-25 15:48:58 · 8787 阅读 · 6 评论 -
SparkUI使用心得
是一个非常实用的工具,它可以直观地展示集群中的各个 worker 节点的状态。通过 SparkUI,你不仅可以看到每个 worker 节点的 CPU 核数和内存使用情况,还可以跟踪各个作业在集群中运行的详细信息,包括哪些 executor 在运行、作业在哪些节点执行,以及作业的本地性级别等。点击某个 worker 节点后,你将看到该节点的资源使用情况和正在运行的任务。通过点击描述,你可以进一步挖掘每个作业的执行过程,了解作业在集群中的分布情况。如果你想深入了解每个作业的执行细节,可以点击对应作业的描述。原创 2019-04-24 17:37:37 · 1264 阅读 · 0 评论 -
Windows环境下的Flink Stream配置指南
对于开发人员来说,能够在 Windows 环境中进行调试和测试,然后将调试好的程序部署到集群中运行,是非常理想的开发流程。下面,我们将通过一个简单的 Socket 程序,演示如何在本地监控端口并实时提取数据。在进行 Socket 流处理之前,我们需要配置 Windows 的 nc 端口。至此,在 Windows 中配置 Flink Stream 流处理的过程已经完成。:运行程序后,CMD 端口中输入的数据将通过 Flink 实时处理并显示结果。:在 CMD 环境中进入到解压后的目录。原创 2018-11-26 11:48:33 · 368 阅读 · 0 评论