俄罗斯最新开源的牛掰数据库ClickHouse

俄罗斯最新开源的牛掰数据库ClickHouse

ClickHouse是俄罗斯最近刚刚开源的用于数据库管理系统能够实时生成分析数据报告，性能非常强悍！

使用SQL查询。

 他拥有切割你的数据更多的新方法

 ClickHouse的性能超过同类市场上目前用于DBMS

ClickHouse使用所有可用的硬件全部潜能的过程尽可能快的每个查询

ClickHouse是OLAP的柱状DBMS...... 类似的很多内容知识，在官方文档里面都有

 

测试时候 需要把一些数据 下载下来然后 看下raw data格式
然后需要转换
然后把数据导入到 PostgreSQl中进行预处理

文档中很多 测试非常不方便 数据量大 下载耗费时间是一个问题  

本文介绍一个测试demo，对于英文不是很6或者刚刚一头扎进来的同学，可以跟着试一试

 

 1、首先下载数据：

for s in `seq 1987 2017`
do
for m in `seq 1 12` do wget http://transtats.bts.gov/PREZIP/On_Time_On_Time_Performance_${s}_${m}.zip done done



2、然后连接数据库

clickhouse-client

创建表格 Create table:

CREATE TABLE `ontime` ( `Year` UInt16, `Quarter` UInt8, `Month` UInt8, `DayofMonth` UInt8, `DayOfWeek` UInt8, `FlightDate` Date, `UniqueCarrier` FixedString(7), `AirlineID` Int32, `Carrier` FixedString(2), `TailNum` String, `FlightNum` String, `OriginAirportID` Int32, `OriginAirportSeqID` Int32, `OriginCityMarketID` Int32, `Origin` FixedString(5), `OriginCityName` String, `OriginState` FixedString(2), `OriginStateFips` String, `OriginStateName` String, `OriginWac` Int32, `DestAirportID` Int32, `DestAirportSeqID` Int32, `DestCityMarketID` Int32, `Dest` FixedString(5), `DestCityName` String, `DestState` FixedString(2), `DestStateFips` String, `DestStateName` String, `DestWac` Int32, `CRSDepTime` Int32, `DepTime` Int32, `DepDelay` Int32, `DepDelayMinutes` Int32, `DepDel15` Int32, `DepartureDelayGroups` String, `DepTimeBlk` String, `TaxiOut` Int32, `WheelsOff` Int32, `WheelsOn` Int32, `TaxiIn` Int32, `CRSArrTime` Int32, `ArrTime` Int32, `ArrDelay` Int32, `ArrDelayMinutes` Int32, `ArrDel15` Int32, `ArrivalDelayGroups