数据分析--Python连接clickhouse数据库

Python连接clickhouse数据库

python🔗一切database

基于Python建立于clickhouse列式数据库的连接

"""方法一"""
# 加载安装包 pandas、clickhouse_driver
import pandas as pd
from clickhouse_driver import Client

#建立连接 host为ip地址，port为端口号，database为数据库名
client = Client(host='', port='', database='')
test = client.execute("sql查询语句")
df = pd.DataFrame(test)
#上述基本完成了数据获取的步骤

"""方法二"""
import re
from clickhouse_driver import Client
client = Client(host='', port='', database='')

def read_ck(sql, client):
    data, columns = client.execute(sql, columnar=True, with_column_types=True)
    df = pd.DataFrame({re.sub(r'\W', '_', col[0]): d for d, col in zip(data, columns)})
    return df

attention！

正确的打开方式基本类似，而踩过的坑确各有不同：

一、clickhouse对外的接口协议通常有两种形式：
1.常规的http协议，java的jdbc就采用这种方式，端口一般是8123；
2.面向python的tcp协议，端口号通常为9000（对，是“通常”）。
从开发小哥那里获取了基本的ip参数和端口号参数，然后开始报错了（如图）

看了各种资料，也没有合适的解决方案，最后定位问题出现在端口的问题上，ip存在9000端口，但是9000端口被其他程序占用了，clickhouse的tcp端口是9001.

二、事后反思
简单的几行代码搞了自己4个半天，看上去问题是源自最开始的开发小哥自信满满的确认就是这个端口；然鹅根源在于自己定位问题的方式不正确，不要轻易相信别人讲的，定位问题需要去看文件，去看机器实际的参数设置，否则也不至于浪费了那么多时间。希望日后的工作可以引以为戒：不要看xx说的，而要看最原始的参数、文献和原理。