运维开发
运维开发java、shell
CarbonDioxide12138
我什么都不知道,要学的东西太多了
展开
-
Maven编译系列(一)——Plugin
做java开发的肯定对maven再熟悉不过了,可是我之前对maven的了解却也仅限于拷贝pom模版,然后添加自己的dependecy而已,顶多加上build和repository这两个参数来指定java版本和maven源,最后编译这块儿还是靠IDEA的编译功能来打jar包,对于怎么用maven编译这块儿实在不了解,碰到有些需要maven编译的项目就无从下手,这才痛下决心找个时间彻底研究一下maven。先从开源项目中占比最大的plugin这部分学起吧。...原创 2020-06-27 18:25:45 · 1439 阅读 · 0 评论 -
Flink kafka connector之反序列化方法解析和应用场景
目录KeyedDeserializationSchema 解析从kafka直接读出JSON获取kafka message的元信息消费到指定位置自动停止KeyedDeserializationSchema 解析 KeyedDeserializationSchema是flink-kafka-connector(1.7)的一个重要的类,它的作用是将kafka的消息进行反序列化,我们最常用的新建FlinkKafkaConsumer中的SimpleStringSche原创 2020-07-21 22:47:18 · 1502 阅读 · 0 评论 -
kafka使用mysql进行认证管理
目录背景SASL/SCRAMSASL/PLAIN改造新建mysql 元信息库新增mysql 连接池工具类修改PlainSaslServer类打包测试背景 因为公司其他业务方使用的语言多种多样,以C和C++为主,还有python、php、go、等语言,java只占很少一部分,所以在公司想推行kerberos认证很困难,总是遇到各种各样的阻碍和业务方的不配合,或者干脆以业务紧急为理由,走非认证端口,所以我们想用一种相对简单的认证方式来在公司进行推广。想要的效果就原创 2020-07-04 15:53:37 · 425 阅读 · 0 评论 -
Flink 修改BucketingSink解决小文件的问题
Flink 修改BucketingSink解决小文件的问题0、背景1、BucketingSink 解析2、修改0、背景 用flink往hdfs写文件的时候,我们一般会用到HDFS Connector 。其实flink里提供了两种HDFS Connector,一个是Bucketing File Sink,另一个是Streaming File Sink。因为我们使用的Hadoop是2.6.5的,对StreamFileSink的支持不太好,所以在我们构建我们的基原创 2020-07-20 21:36:00 · 2660 阅读 · 0 评论 -
sqoop源码解析-----从mysql到hive为例
上班这么久了,大部分时间都是在大数据平台组件的基础上做一些小的开发,既然是在别人的东西上修改,除了百度或者谷歌搜索前人的讲解,自己阅读源码一定是必不可少的。但是源码里代码量那么大,往往一时间多很难找到整个程序的入口,这时候 往往容易让人感觉到烦躁而不想动,下次碰到这样的情况,应该怎么入手呢?刚好今天在研究根据具体业务需求修改sqoop源码,实现从mysql到hive的单分区key,多分区v...原创 2018-03-31 00:18:35 · 2390 阅读 · 0 评论 -
修改源码使kafka-console-consumer.sh支持从指定时间开始消费
目录背景解决方案方案1-用Java新开发一个的消费工具方案2-修改kafka源码,利用kafka-console-consumer.sh方案2-flinkSQL 或 kafka SQL环境准备修改代码打包测试背景 有业务方向我们提出,自从我们给kafka集群启用权限和认证之后,他们在排错过程就十分不方便了,以前他们换一个消费组就可以重新消费数据了,现在每换一个消费组都需要重新由我们给他们授权,碰到有时不在工位的时候,就只能干着急了;第二,我们kafka原创 2020-06-29 22:49:28 · 2898 阅读 · 0 评论 -
kafka只让Producer自动创建Topic同时禁止consumer自动创建Topic
kafka只让Producer自动创建Topic背景操作后记背景 最近我们要做从mysql 到大数据平台的数据流转,定下的方案是maxwell同步binlog到kafka中,再由flink消费kafka的数据写往kudu里,最后利用kudu和hive利用impala提供的视图作统一查询,其中kudu保留近七天的数据,七天前数据滚动下沉到hive表。 maxwell实例和kafka topic的对应关系是一个ma原创 2020-07-02 22:12:21 · 8798 阅读 · 0 评论 -
从头开发一个大数据管理平台-Mybari(一)
从头开发一个大数据管理平台-Mybari(一)背景功能分析技术选型功能特色时间安排未来演进下一篇背景因为众所周知的原因,cloudera和hortonworks两家巨头决定不再继续卷下去了,要开始联手割用户的韭菜了。于是就带来了一个问题,还要不要继续使用hdp或者cdh呢?cdh依然有着100个节点的限制,hdp也不再更新。开源大数据组件的新特性使用不上,还得提心吊胆的怕接收到对方的律师函,真是够了,虽然各个大厂都有自己的大数据平台,但是目前都没有开源出来,现状暂时还能用,但未雨绸缪嘛,管理平台毕竟是原创 2021-10-27 15:49:15 · 431 阅读 · 0 评论 -
从头开发一个大数据管理平台-Mybari(二)-数据库设计
初步就这么多字段,后期再完善,随时更新吧原创 2021-11-01 21:54:57 · 165 阅读 · 0 评论 -
kafka自动化脚本部署
一、背景 如果不采用CDH或者ambari等平台来部署kafka的话,一台一台的安装,一台一台的改配置,真的是一个非常让人头疼的事情呢,经领导提示,为什么不写个shell脚本来进行一件部署呢二、java自动部署if [ ! -d /usr/java/jdk1.8.0_121 ];then mkdir -p /root/software/ wget -q http://192.168.1...原创 2018-03-25 21:15:46 · 1525 阅读 · 0 评论