周末参加技术分享会看到sina的高鹏同学分享的ClickHouse的使用情况,高性能大数据量的数据计算的能力很是吸引人,决定自己动手试试。
ClickHouse的安装
部署环境:用的是自己的虚拟机2核4G的内存 Ubuntu 16.03
安装脚本如下:
sudo apt-key adv --keyserver keyserver.ubuntu.com --recv E0C56BD4 # optional
sudo apt-add-repository "deb http://repo.yandex.ru/clickhouse/trusty stable main"
sudo apt-get update
sudo apt-get install clickhouse-server-common clickhouse-client -y
sudo service clickhouse-server start
clickhouse-client
安装过程比较顺利,中间有个问题网上搜了下,解决了,很简单,不详细说明了
启动服务,通过客户端访问
sudo service clickhouse-server start
# clickhouse-client
接着准备数据,首先安装mwget
# cd /usr/local/src/
# wget http://jaist.dl.sourceforge.net/project/kmphpfm/mwget/0.1/mwget_0.1.0.orig.tar.bz2
# tar -xjvf mwget_0.1.0.orig.tar.bz2
# cd mwget_0.1.0.orig
# ./configure
# make
# make install
这里碰到的巨多的问题,主要是OPENSSL 和
intltool
sudo apt-get install -y pkg-config
sudo apt-get install openssl
sudo apt-get install libssl-dev
sudo apt install intltool
剩下的时间等待数据下载完成,大概一下午才下载完所有数据。
安装zip命令
sudo apt-get install zip
编写导入数据的脚本
#!/bin/bash
for i in *.zip; do echo $i; unzip -cq $i '*.csv' | sed 's/\.00//g' | clickhouse-client --query="INSERT INTO ontime FORMAT CSVWithNames"; done
等待执行完成,明天继续更新。