![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
使用总结
文章平均质量分 51
joninie_一只肉圆
这个作者很懒,什么都没留下…
展开
-
简单记录Flink批处理数据的一些算子,distinct,filter
flink批处理数据的distinct、filter算子使用示例原创 2022-10-18 16:06:06 · 537 阅读 · 0 评论 -
Datax使用rdbmsreader支持clickhouse的读取
datax clickhousereader转载 2022-07-28 10:07:57 · 1480 阅读 · 0 评论 -
Flink+Druid+Clickhouse相关报错
Flink+Druid+Clickhouse相关报错原创 2022-07-19 17:40:02 · 1101 阅读 · 0 评论 -
【总结】Datax 同步数据到有kerberos认证的集群hdfs相关问题简单记录
参考链接:1、(2条消息) 记一次datax hdfswriter的踩坑记(上传文件到hdfs的坑)_果汁华的博客-CSDN博客_datax hdfswrite2、HdfsWriter写文件报错 · Issue #54 · alibaba/DataX (github.com)背景:需要使用Datax把业务数据从MySQL同步到hadoop集群1、json文件增加Kerberos认证的相关属性:查看$HADOOP_HOME/etc/hadoop/hdfs-site.xml,找到认证的相关.原创 2022-01-18 14:43:49 · 1735 阅读 · 0 评论 -
【总结】Datax使用过程中遇到的问题
工作中使用到阿里的数据同步工具Datax,发现除了不支持redis作为读写的数据源之外,支持几乎所有常见类型的数据源在使用过程中遇到了几个问题,这里记录一下:ps:Datax的使用方法不做介绍。问题场景:1、数据从MySQL同步到 HDFS ,最终用hive进行使用,发现时间在同步过程中会出现八小时变动解决方法:mysqlreader的jdbcUrl参数指定时区,如:...原创 2020-03-20 20:03:52 · 3838 阅读 · 1 评论 -
【记录】Zookeeper使用过程遇到的问题
参考链接:https://blog.csdn.net/jiangxiulilinux/article/details/964335601、下载安装不多赘述:https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.5.6/2、配置conf:cd $ZOOKEEPER_HOME/confcp zoo_sampl...原创 2020-02-28 15:37:44 · 335 阅读 · 0 评论 -
【记录】安装hive过程遇到的问题
1、hadoop安装不做赘述;2、安装hive:①下载hive**.tar.gz到指定位置:wget http://mirror.bit.edu.cn/apache/hive/hive-2.3.6/apache-hive-2.3.6-bin.tar.gz②解压:tar -xvf apache-hive-2.3.6-bin.tar.gz③配置/etc/profile:...原创 2020-02-25 19:37:59 · 492 阅读 · 0 评论 -
【记录】SQOOP 使用过程中遇到的问题
------》HADOOP生态的安装不多做阐述,网上找资料即可------》SQOOP安装和配置不做阐述1、sqoop测试时 总是卡在SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]这一步,仔细一看log:SLF4J: Class path contains multiple SLF4J bi...原创 2020-02-25 11:06:09 · 814 阅读 · 0 评论 -
使用Datax插件时写入MySQL数据库遇到Could not retrieve transation read-only status server
问题描述:在使用Datax插件将数据从hive导入mysql时,发现写入MySQL报错 :Could not retrieve transation read-only status server查找解决方案时,发现有以下解决方案:1、修改 数据库的隔离级别,将REPEATABLE-READ修改为READ-COMMITED,----不适用,查看数据库的隔离级别,发现不需修改...原创 2020-02-24 10:21:08 · 1574 阅读 · 0 评论 -
Spark 使用过程中遇见的问题
参考:https://blog.csdn.net/SCGH_Fx/article/details/72529132---------------------------------------------------------------------------------------------------------------------------------------------...原创 2019-12-18 16:55:39 · 3236 阅读 · 2 评论 -
airflow踩坑记录
参考链接:https://www.cnblogs.com/jimtheman/p/8465754.html1、初始化airflow后,链接数据库改为postgresql,但是测试task时总是报错:(env) ××@pc:~/workspace/airflow$ airflow test example_bash_operator run_after_loop 2019-07-06sq...原创 2019-07-09 18:10:36 · 2220 阅读 · 0 评论 -
pandas:多个dataframe写入同一个excel, html
1,dataframe 写入excel:多个dataframe需要写入同一个excel时,每次使用df.to_excel(文件名)的形式去写,系统都会重新创建一个新的文件。也就意味着前面的文件会被覆盖掉,你得到的只能是最后一个df写入的结果文件通过创建一个ExcelWriter对象,可以解决上面的问题writer = pd.ExcelWriter(os.path.join(os.ge...原创 2019-04-30 11:30:17 · 7044 阅读 · 1 评论