- 博客(22)
- 收藏
- 关注
RSS订阅原创 doris 1.1 外部表 SSL connection error: Failed to set ciphers to use (2026)
SSL connection error: Failed to set ciphers to use
2022-08-11 16:49:01
744
1
原创 使用 Flink CDC 实现 MySQL 数据,表结构实时入 Apache Doris
实现mysql到doris的增量同步，新加入表全量同步，实时修改表结构
2022-07-12 11:16:09
4174
6
原创 Ambari 集成azkaban 导致问题处理
集成教程，参考https://github.com/leoChaoGlut/ambari-azkaban-service集成之后启动一、没有问题，但是stop出现错误：错误没有截图1、查看AzkabanExecutorServer启动脚本azkaban-executor-start.sh在启动AzkabanExecutorServer的时候，会吧PID写入文件cur...
2019-05-21 14:35:19
921
原创 ambari Metrics Collector 无法收集信息
ambari 2.6.4新装集群，发现每个组件的Metrics 是没有内容的下图红框（已修复的）：之前都是No data no av.....ambari-metrics-collector 依赖于hbase，收集的信息先保存在Hbase中，因为hbase没有安装，安装hbase后，还是不行，重启hbase以及ambari-metrics 还是不行，查看日志，发现错误信息...
2019-03-22 16:27:26
2951
3
原创 mysql 游标使用 case when if elseif问题小结
背景：函数，传入参数ID，知识点ID，初始程度，根据答题记录计算顺序计算改学生该知识点掌握程度，需要逐条计算，每条计算依赖上一条得出的值，问题，游标定义问题，case when 内set问题初始版本;CREATE DEFINER=`cjtlis`@`%` FUNCTION `degree`(`masters` float,`start_time` datetime,`end_ti...
2019-02-26 18:12:33
1282
原创 python kafka 多线程消费者&手动提交
官方文档：https://kafka-python.readthedocs.io/en/master/apidoc/KafkaConsumer.htmlimport threadingimport osimport sysfrom kafka import KafkaConsumer, TopicPartition, OffsetAndMetadatafrom consumers.db...
2018-07-05 11:59:23
16053
10
原创 flume自定义 file sink 以本地时间，event数据为目录
参考：https://www.cnblogs.com/sunyaxue/p/6645753.html数据收集为file时，不能以本地时间和数据内容分类接入文件，参考别人的文章实现代码：package flume;import org.apache.avro.util.Utf8;import org.apache.flume.*;import org.apache.flume.c
2018-01-05 16:19:00
2312
原创 flume自定义拦截器处理event
收集的数据为json格式，需要解析成以|分隔的字符串参考：http://blog.csdn.net/zfszhangyuan/article/details/52449060pom: org.apache.flume flume-ng-core 1.7.0 代码：pa
2018-01-05 16:02:58
5661
原创 python爬取奇书网小说
1、python2.72、pycharm3、奇书网：https://www.qisuu.com/如上图，导航栏中的分类是包含奇书网的所有图书，打开其中一个分类如上图，打开奇幻玄幻分类，在这个网页中，每一本书对应的是一本书 如上图，点开书名，进入相应的图书页如上图，点开【TXT格式下载】会进入这个页面，这个页面也就是书本在奇书网的位置一开始我以为获取奇...
2017-11-28 18:08:39
3764
原创 spark-jdbc No suitable driver found错误处理
错误如图：代码：object Mysql extends App{ val sparkConf = new SparkConf()//.setAppName("RDDRelation").setMaster("local[1]") val sc=new SparkContext(sparkConf) val sqlContext = new SQL
2017-09-08 15:49:17
8335
1
原创 Unable to load native-hadoop library spark-cluster模式相关错误
WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableWARN DomainSocketFactory: The short-circuit local reads feature cannot be used because libhadoop cannot be loaded.
2017-09-08 15:43:01
284
原创 kafka : A broker is already registered on the path /brokers/ids/1006. This proba
java.lang.RuntimeException: A broker is already registered on the path /brokers/ids/1006. This probably indicates that you either have configured a brokerid that is already in use, or else you have shutdown this broker and restarted it faster than the zook
2017-09-06 14:33:27
6154
原创 It is probably not running zookeeper节点启动失败
解决方法：查看进程ps aux | grep zookeeper如图所示，zk进程有两个，kz2181端口被占用。杀掉这两个进程，重启解决该错误会导致：kafka broker的节点无故挂掉，消费者或者生产者获取不了元数据
2017-09-06 13:27:37
502
原创 spark streaming 整合kafka
1、crateDateStream和createDirectStream区别2.createDirectStream代码
2017-08-03 14:36:24
364
原创 flume监听端口整合kafka以及相关错误
之前的http.conf:#savecontenttofileagent2.sources=httpSrcagent2.channels=channelagent2.sinks=sinkagent2.sources.httpSrc.type=httpagent2.sources.httpSrc.bind=172.16.90.61agent2.sources.ht
2017-07-24 18:14:07
1944
原创 Centos6.5+Ambari的HDP搭建
注：文中出现的test1，app1，在；zlbw1，三个主机名可以认为是一个，文章是在搭建三个中编写服务器IpjdkAmbari机器系统Zlbw1192.168.159.1011.82.4.2.0CenOS6.5Zlbw2192.1
2017-07-20 18:40:06
453
原创 Linux 集群搭建
apache集群的搭建 一.克隆、设置IP、主机名、网卡，重启后尝试联网(不多说了)1.vi /etc/sysconfig/network-scripts/ifcfg-eth02.vi /etc/sysconfig/network3.vi /etc/udev/rules.d/70-persistent-net.rules二.防火墙1.查看状态：service iptables ...
2017-03-18 19:47:00
10941
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人