希夷的博客

mysql 到doris的数据、表结构实时同步

开启flink web submit 引起sshd 病毒的清理

Doris be、fe使用supervisor 实现自动拉起，及错误处理

SSL connection error: Failed to set ciphers to use

实现mysql到doris的增量同步，新加入表全量同步，实时修改表结构

基于 MinHashLSH 算法的用户特征相似度

集成教程，参考https://github.com/leoChaoGlut/ambari-azkaban-service集成之后启动一、没有问题，但是stop出现错误：错误没有截图1、查看AzkabanExecutorServer启动脚本azkaban-executor-start.sh在启动AzkabanExecutorServer的时候，会吧PID写入文件cur...

ambari 2.6.4新装集群，发现每个组件的Metrics 是没有内容的下图红框（已修复的）：之前都是No data no av.....ambari-metrics-collector 依赖于hbase，收集的信息先保存在Hbase中，因为hbase没有安装，安装hbase后，还是不行，重启hbase以及ambari-metrics 还是不行，查看日志，发现错误信息...

背景：函数，传入参数ID，知识点ID，初始程度，根据答题记录计算顺序计算改学生该知识点掌握程度，需要逐条计算，每条计算依赖上一条得出的值，问题，游标定义问题，case when 内set问题初始版本;CREATE DEFINER=`cjtlis`@`%` FUNCTION `degree`(`masters` float,`start_time` datetime,`end_ti...

官方文档：https://kafka-python.readthedocs.io/en/master/apidoc/KafkaConsumer.htmlimport threadingimport osimport sysfrom kafka import KafkaConsumer, TopicPartition, OffsetAndMetadatafrom consumers.db...

参考：https://www.cnblogs.com/sunyaxue/p/6645753.html数据收集为file时，不能以本地时间和数据内容分类接入文件，参考别人的文章实现代码：package flume;import org.apache.avro.util.Utf8;import org.apache.flume.*;import org.apache.flume.c

收集的数据为json格式，需要解析成以|分隔的字符串参考：http://blog.csdn.net/zfszhangyuan/article/details/52449060pom: org.apache.flume flume-ng-core 1.7.0 代码：pa

1、python2.72、pycharm3、奇书网：https://www.qisuu.com/如上图，导航栏中的分类是包含奇书网的所有图书，打开其中一个分类如上图，打开奇幻玄幻分类，在这个网页中，每一本书对应的是一本书 如上图，点开书名，进入相应的图书页如上图，点开【TXT格式下载】会进入这个页面，这个页面也就是书本在奇书网的位置一开始我以为获取奇...

错误如图：代码：object Mysql extends App{ val sparkConf = new SparkConf()//.setAppName("RDDRelation").setMaster("local[1]") val sc=new SparkContext(sparkConf) val sqlContext = new SQL

WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableWARN DomainSocketFactory: The short-circuit local reads feature cannot be used because libhadoop cannot be loaded.

java.lang.RuntimeException: A broker is already registered on the path /brokers/ids/1006. This probably indicates that you either have configured a brokerid that is already in use, or else you have shutdown this broker and restarted it faster than the zook

解决方法：查看进程ps aux | grep zookeeper如图所示，zk进程有两个，kz2181端口被占用。杀掉这两个进程，重启解决该错误会导致：kafka broker的节点无故挂掉，消费者或者生产者获取不了元数据

1、crateDateStream和createDirectStream区别2.createDirectStream代码

之前的http.conf:#savecontenttofileagent2.sources=httpSrcagent2.channels=channelagent2.sinks=sinkagent2.sources.httpSrc.type=httpagent2.sources.httpSrc.bind=172.16.90.61agent2.sources.ht