python 通过csv插入数据到clickhouse

最新推荐文章于 2024-08-18 23:38:10 发布

vagabond6

最新推荐文章于 2024-08-18 23:38:10 发布

阅读量1.3w

点赞数 1

分类专栏： clickhouse

本文链接：https://blog.csdn.net/vagabond6/article/details/79663646

版权

本文详细介绍了如何使用Python将CSV数据高效地插入到ClickHouse数据库中，包括连接ClickHouse、读取CSV文件、数据格式转换以及实际的插入操作，3万行数据仅用时2.3秒。

摘要由CSDN通过智能技术生成

第一步：连接clickhouse

第二步：读取CSV

第三步：转换成与clickhouse相匹配的数据

第四步：插入，3万行耗时2.3s

from clickhouse_driver import Client
import types 
import time,datetime
from datetime import date

import csv


client = Client(host='192.168.1.231',database='test6',user='default',password='')
creattable="""CREATE TABLE test1 (\
				consumption_id UInt64,\
				member_id UInt64,\
				fans_id UInt64,\
				bill_date Date,\
				money Float32,\
				people_num UInt8,\
				dish_name String,\
				created_org UInt8,\
				open_id String,\
				subscribed_time DateTime,\
				unsubscribed_time DateTime,\
				source_type UInt8,\
				sns_type UInt8,\
				is_subscribed UInt8\
				)ENGINE=MergeTree(bill_date,(consumption_id,created_org),8192)"""
client.execute('DROP TABLE IF EXISTS test1')
data=[]
with open(r'C:\Users\Administrat