streamingpro mysql_使用StreamingPro 快速构建Spark SQL on CarbonData

前言

CarbonData已经发布了1.0版本，变更还是很快的，这个版本已经移除了kettle了，使得部署和使用 变得很简单，而且支持1.6+ ,2.0+等多个Spark版本。

StreamingPro可以使得你很简单通过一个命令就能体验Carbondata,并且支持Http/JDBC的访问形态。

下载Spark发行版

比如我下载后的版本是这个： spark-1.6.3-bin-hadoop2.6。

下载StreamingPro

你需要一个数据库

因为我们用到了Hive 的mysql,所以你需要准备一个可以连接的数据库。只要能连接就行。如果没有，比如你是mac的话，用

brew install mysql

即可。然后brew services start mysql

创建一个数据库：

create database hive CHARACTER SET latin1

//如果数据库包字符异常啥的，启动完streamingpro后到数据库做如下更改：

alter table PARTITIONS convert to character set latin1;

alter table PARTITION_KEYS convert to character set latin1;

写一个hive-site.xml文件

javax.jdo.option.ConnectionURL

jdbc:mysql://127.0.0.1:3306/hive?createDatabaseIfNoExist=true

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.