- 博客(7)
- 收藏
- 关注
RSS订阅原创 数据仓库（ODS层）设计
分为两步将数据载入，有两块操作：第一，数据集成，同一口径：命名，单位，码值等第二，合理捕获增量变化数据，存入数仓设计ODS层，存放导出数据第一步，设计抽象模型（高层建模）第二部，在高层建模基础上丰满业务模型（中间层建模）第三步，扩展中间层建模生成物理模型（底层建模）
2023-08-15 00:38:04
455
原创 在现有的kafka上，搭建debezium，并接收数据
环境概要：以有zookeeper、kafka，需要搭建一个debezium，接收mysql binlog，发送到kafka中。开始！docker-compose 没有安装的，自行百度搭建debeziumcat docker-compose.ymlversion: "3"services: connect: image: debezium/connect:1.4 ports: - 8083:8083 environment: - BOOTS
2021-07-16 09:49:12
514
原创 flink-connector-kudu_2.11的大坑，表格删不掉
测试debezuim+kafka+flink+kudu。用flink-connector-kudu_2.11 连接器，写入数据至kudu。apache/bahir-flink连接器的开源地址 https://github.com/apache/bahir-flink.尝试使用flink sql 将数据写入kudu，使用flink sql 删除表格。问题出现了！！进入impala client后，发现表格仍存在，drop table后，表格消失，但是当invalidate metadata tabl
2021-07-15 17:56:59
1034
原创 FLINK HADOOP_CLASSPATH设置，集成hadoop
HADOOP_CLASSPATH未设置初次尝试在etc/profile 中添加export HADOOP_CLASSPATH=`hadoop classpath`并source，发现没有起效再次尝试在flink/bin/start-cluster.sh中添加export HADOOP_CLASSPATH=`hadoop classpath`即生效运行flink run时也存在相同问题衍生：配置此环境变量后，不用在lib中添加hadoop，hive等相关jar包，自动获取当前环.
2020-12-09 10:57:46
10883
2
原创 beeline数据导出，指定分隔符，去掉格式
beeline -u jdbc:hive2://host:10000 --incremental=true --showHeader=false --outputformat=dsv --delimiterForDSV=$'\t' -e 'select * from test' > file.csv参数说明–incremental=[true/false]从Hive 2.3版本往后默认是true，在它之前是默认为false。当设置为false时，为了最佳的展示列宽，完整的结果
2020-07-10 10:48:16
6563
转载 Mac上安装Python3虚拟环境（VirtualEnv)
Mac上安装Python3虚拟环境1.为什么要安装虚拟机？单独的虚拟环境可以让每一个Python项目单独使用一个环境，而不会影响Python系统环境，也不会影响其他项目的环境。示意图如下安装virtualenv环境[sudo] pip3 install virtualenv [sudo]可用可不用安装完成检测版本是否安装成功virtualenv --version如果遇到not found command，可以使用以下偏方pip3 unistall virtualenvn(不要真的卸
2020-06-11 18:48:27
2608
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人