Eights-Li
码龄9年
关注
提问 私信
  • 博客：38,098
    38,098
    总访问量
  • 26
    原创
  • 1,705,386
    排名
  • 12
    粉丝
  • 0
    铁粉

个人简介：一只大数据工程师

IP属地以运营商信息为准，境内显示到省（区、市），境外显示到国家（地区）
IP 属地：重庆市
  • 加入CSDN时间： 2015-09-27
博客简介：

baidu_31618421的博客

查看详细资料
个人成就
  • 获得20次点赞
  • 内容获得20次评论
  • 获得105次收藏
  • 代码片获得113次分享
创作历程
  • 2篇
    2021年
  • 24篇
    2020年
成就勋章
兴趣领域 设置
  • 大数据
    hadoophivesparketl
创作活动更多

超级创作者激励计划

万元现金补贴，高额收益分成，专属VIP内容创作者流量扶持，等你加入！

去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

Hbase1.2.0-cdh5.16.2使用PREFIX_TREE编码导致集群压缩队列异常

点击蓝色字关注！本篇文章大概1700字，阅读时间大约5分钟Hbase1.X版本中PREFIX_TREE作为BlockEncoding存在bug，会造成RegionServer节点compa...
原创
发布博客 2021.03.13 ·
657 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Flink(1.12.1)日志配置Logback实现日志切分和kafka发送

文档主要内容产线环境上的Flink应用是长时运行的应用，日志量较大，需要将flink应用的日志发送到外部系统，方便进行日志检索。最近，在开发环境上遇到了，Flink连接kafka报错刷出大...
原创
发布博客 2021.02.27 ·
2012 阅读 ·
0 点赞 ·
0 评论 ·
3 收藏

如何处理Canal集群Server切换&表DDL变化造成的binlog无法解析问题

点击蓝色字关注！本篇文章大概3976字，阅读时间大约10分钟Canal集群在启用HA的情况下，如果配置了tsdb为内嵌的H2数据库，在Server宕机发生切换的情况下，同时MySQL的D...
原创
发布博客 2020.11.20 ·
1866 阅读 ·
0 点赞 ·
0 评论 ·
3 收藏

如何使用kafka-eagle-2.0.2管理Kafka集群

点击蓝色字关注！本篇文章大概2537字，阅读时间大约13分钟Kafka产线环境需要管理的Topic和Consumser越来越多，使用命令行工具进行管理会非常繁杂。因此，大数据平台上需要一...
原创
发布博客 2020.10.23 ·
951 阅读 ·
1 点赞 ·
2 评论 ·
10 收藏

如何将Flink应用的日志发送到kafka

点击蓝色字关注！本篇文章大概4833字，阅读时间大约13分钟产线环境上的Flink应用是长时运行的应用，日志量较大，通过flink web页面查看任务日志会导致浏览器卡死，通过日志排查问...
原创
发布博客 2020.09.09 ·
1593 阅读 ·
0 点赞 ·
0 评论 ·
3 收藏

如何使用Canal同步MySQL的Binlog到Kafka

点击蓝色字关注！本篇文章大概5525字，阅读时间大约15分钟Canal是阿里开源的增量解析MySQL binlog组件。通过将binlog投递到kafka，一方面可以直接进行指标计算。另...
原创
发布博客 2020.09.04 ·
1367 阅读 ·
0 点赞 ·
1 评论 ·
4 收藏

Flume拦截器实现按照事件时间接入HDFS

点击上方蓝字关注我吧！本篇文章大概6457字，阅读时间大约17分钟Flume作为一个数据接入组件，广泛应用于Hadoop生态中。在业务时间混乱的情况下，按照机器数据在HDFS上分区会降低...
原创
发布博客 2020.09.03 ·
813 阅读 ·
1 点赞 ·
0 评论 ·
3 收藏

如何配置CDH的企业微信-群机器人告警

点击蓝字关注！本篇文章大概1968字，阅读时间大约5分钟采用Cloudera Mananger提供的自定义告警脚本的方式，收集告警信息并转发到企业微信群中~（企业微信群机器人）1文档主要...
原创
发布博客 2020.07.21 ·
939 阅读 ·
0 点赞 ·
0 评论 ·
8 收藏

如何在CDH5上部署Dolphin Scheduler 1.3.1

点击蓝色字关注！本篇文章大概8440字，阅读时间大约20分钟本文记录了在CDH5.16.2集群上集成Dolphin Scheduler 1.3.1的详细流程，特别注意一下MySQL数据库...
原创
发布博客 2020.07.14 ·
1100 阅读 ·
0 点赞 ·
2 评论 ·
1 收藏

Hive常用窗口函数实战

点击蓝字关注！本篇文章大概3799字，阅读时间大约10分钟本文介绍了Hive常见的序列函数，排名函数和窗口函数。结合业务场景展示了Hive分析函数的使用Hive作为一个分析型的数据仓库组...
原创
发布博客 2020.07.10 ·
657 阅读 ·
3 点赞 ·
3 评论 ·
11 收藏

HDFS oiv解析Fsimage OOM异常处理

本篇文章大概1152字，阅读时间大约4分钟本文记录hdfs oiv命令解析fsimage文件过程中的OOM异常处理解决方案HDFS的Fsimage文件记录了集群的元数据信息，是进行集群健...
原创
发布博客 2020.07.08 ·
1479 阅读 ·
4 点赞 ·
0 评论 ·
4 收藏

HDFS元数据管理：fsimage&edits

本篇文章大概2353字，阅读时间大约6分钟介绍HDFS的元数据管理机制，说明fsimage文件和edits的作用，给出解析fsimage文件和edits文件的demoHDFS是一个分布式...
原创
发布博客 2020.07.06 ·
412 阅读 ·
0 点赞 ·
0 评论 ·
4 收藏

Flink命令行 - 1.10

本篇文章大概3155字，阅读时间大约8分钟结合Flink官方文档，整理关于Flink命令行的操作参数，包含命令行接口和Scala Shell1文档编写目的整理Flink官方文档中命令行接...
原创
发布博客 2020.06.28 ·
3507 阅读 ·
0 点赞 ·
0 评论 ·
4 收藏

Flink运行架构及编程模型

本篇文章大概2515字，阅读时间大约7分钟翻译Flink官网关于flink运行架构及编程模型的内容，本文的图片来自flink官网。计划今年下半年将flink应用到生产环境，最近在进行fl...
原创
发布博客 2020.06.26 ·
380 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

Flink on Yarn - CDH5

本篇文章大概2892字，阅读时间约8分钟根据Flink官网资料，实操CDH5.16.2上配置Flink on yarn，给出了flink on yarn的集成方式和HA的配置方式1文档编...
原创
发布博客 2020.06.19 ·
1713 阅读 ·
0 点赞 ·
1 评论 ·
4 收藏

构建第一个Flink应用-WordCount

本篇文章大概5143字，阅读时间大约13分钟体验flink的hello world使用maven初始化第一个flink的wordcount应用，将应用打包上传到flink-standa...
原创
发布博客 2020.06.16 ·
229 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Flink 1.10.1源码编译(CDH5.16.2)

1文档编写目的Flink1.10.1版本编译集成CDH5.16.2前置条件jdkmavennvm2源码编译拉取flink1.10.1的代码后，idea中全局查找一下flink.sha...
原创
发布博客 2020.06.15 ·
895 阅读 ·
2 点赞 ·
1 评论 ·
0 收藏

从0-1搭建Spark本地开发环境(idea)

1文档编写目的记录spark本地开发环境的搭建过程环境依赖操作系统 mac osideascala 2.11.12spark2.4.0 - 根据集群版本选择jdk2Scala-2.11....
原创
发布博客 2020.06.13 ·
433 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

从0-1搭建DolphinScheduler开发环境

1文档编写目的记录从0-1搭建DolphinScheduler开发环境的过程（mac）便于更多有意愿贡献ds的老铁搭建开发环境参与贡献2所需前置条件需要安装好-jdk maven mys...
原创
发布博客 2020.06.11 ·
1962 阅读 ·
0 点赞 ·
2 评论 ·
8 收藏

DolphinScheduler-1.3.0-dev新功能尝鲜

1DolphinScheduler是什么Apache DolphinScheduler是一个分布式去中心化，易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖...
原创
发布博客 2020.05.30 ·
2090 阅读 ·
1 点赞 ·
3 评论 ·
5 收藏
加载更多