关注
分享
Light Gao
大数据领域拥有8年从业经验，专注于大数据平台、分布式计算性能、数据存储以及新技术的研究与应用。目前就职于360数科，一直以来致力于在行业中取得卓越的成就。
展开
-
深度探究依赖冲突 NoSuchMethodError 问题解决之道
深度探究依赖冲突 NoSuchMethodError 问题解决之道原创 2023-10-27 11:52:48 · 468 阅读 · 0 评论 -
Spark小妙招
Spark小妙招原创 2023-04-22 22:39:17 · 92 阅读 · 0 评论 -
clickhouse可视化工具使用及clickhouse远程连接8123失败问题
clickhouse可视化工具使用及clickhouse远程连接8123失败问题原创 2022-01-06 22:01:39 · 6244 阅读 · 3 评论 -
记录一次服务器重启后sparkStreaming任务启动失败原因及排查过程
因特殊原因公司服务器从晚上6点开始CPU资源使用率飙升至100%然后运维重启服务器，重新构建此服务器上所有作业然而第二天早上查看日志发现，有一个job作业启动失败，经过一系列排查最终解决，特此记录一下此作业是sparkStreaming 读取kafka topic并存储至hbase ，offset保存在zookeeper;此问题并非是常见的offset过期或offset不一致问题; 请往...原创 2020-02-25 15:48:58 · 8234 阅读 · 6 评论 -
SparkUI详解，SparkUI是个好东西啊
SparkUI是个好东西，可以很清楚的看到集群中的几个worker节点还能看到每个worker节点的CPU核数和内存 甚至还能看一个job作业运行的时候哪些executor运行，哪些节点运行和本地性级别！例如：再点击每个worker节点我们通过spark-shell运行作业，要想查看通过sparkshell运行的作业可以点击spark-shell如果想看每个作业的详细信息可以点...原创 2019-04-24 17:37:37 · 1193 阅读 · 0 评论 -
大数据：Windows下配置flink的Stream
对于开发人员来说，最希望的是需要在windows中进行测试，然后把调试好的程序放在集群中运行。下面写一个Socket，上面是监控本地的一个运行端口，来实时的提取数据。获取视频中文档资料及完整视频的伙伴请加QQ群：947967114下面是一段代码：import org.apache.flink.api.java.utils.ParameterToolimport org.apache.flink...原创 2018-11-26 11:48:33 · 323 阅读 · 0 评论