ClickHouse的安装

周末参加技术分享会看到sina的高鹏同学分享的ClickHouse的使用情况，高性能大数据量的数据计算的能力很是吸引人，决定自己动手试试。

ClickHouse的安装

部署环境：用的是自己的虚拟机2核4G的内存 Ubuntu 16.03

安装脚本如下：

sudo apt-key adv --keyserver keyserver.ubuntu.com --recv E0C56BD4    # optional

sudo apt-add-repository "deb http://repo.yandex.ru/clickhouse/trusty stable main"
sudo apt-get update

sudo apt-get install clickhouse-server-common clickhouse-client -y

sudo service clickhouse-server start
clickhouse-client

安装过程比较顺利，中间有个问题网上搜了下，解决了，很简单，不详细说明了

启动服务，通过客户端访问

sudo service clickhouse-server start
# clickhouse-client 

接着准备数据，首先安装mwget

# cd /usr/local/src/
# wget http://jaist.dl.sourceforge.net/project/kmphpfm/mwget/0.1/mwget_0.1.0.orig.tar.bz2
# tar -xjvf mwget_0.1.0.orig.tar.bz2
# cd mwget_0.1.0.orig
# ./configure
# make
# make install

这里碰到的巨多的问题，主要是OPENSSL 和  intltool

sudo apt-get install -y pkg-config
sudo apt-get install openssl
sudo apt-get install libssl-dev
sudo apt install intltool

剩下的时间等待数据下载完成，大概一下午才下载完所有数据。
安装zip命令

sudo apt-get install zip

编写导入数据的脚本

#!/bin/bash
for i in *.zip; do echo $i; unzip -cq $i '*.csv' | sed 's/\.00//g' | clickhouse-client  --query="INSERT INTO ontime FORMAT CSVWithNames"; done

等待执行完成，明天继续更新。