- 博客(3)
- 收藏
- 关注
RSS订阅
原创 如何快速地将Hive中的数据导入ClickHouse
如何快速地将Hive中的数据导入ClickHouse ClickHouse是面向OLAP的分布式列式DBMS。我们部门目前已经把所有数据分析相关的日志数据存储至ClickHouse这个优秀的数据仓库之中，当前日数据量达到了300亿。 在之前的文章如何快速地把HDFS中的数据导入ClickHouse中我们提到过使用Waterdrop——https://github.com/InterestingL...
2018-11-28 23:17:21
14022
3
原创 如何快速地把HDFS中的数据导入ClickHouse
如何快速地把HDFS中的数据导入ClickHouse ClickHouse是面向OLAP的分布式列式DBMS。我们部门目前已经把所有数据分析相关的日志数据存储至ClickHouse这个优秀的数据仓库之中，当前日数据量达到了300亿。 之前介绍的有关数据处理入库的经验都是基于实时数据流，数据存储在Kafka中，我们使用Java或者Golang将数据从Kafka中读取、解析、清洗之后写入ClickH...
2018-11-07 17:12:07
19409
3
原创 Dataset 使用填坑记录
Dataset 使用填坑记录 Dataset被誉为懒人数据库（databases for lazy people），是Python操作MySQL的库。因为其简单的操作，避开了繁琐的依赖安装和链接建立，能够很快的和数据库进行交互。但是在使用过程中，遇到了不少的坑，这篇文章旨在记录使用过程中遇到的坑，避免下次再犯浪费时间。 连接不释放 使用Dataset连接MySQL，连接不会主动释放，这样会导致表结...
2018-11-12 19:20:31
609
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人