hadooppythonsql_半小时搞定Hadoop+Mysql+Hive+Python

1. 说明

搭建过Hadoop集群的小伙伴一定知道，如果不用docker，半小时配好Hadoop+Mysql+Hive(后简称Hive)肯定是胡吹，有了Docker镜像，没有说明文档，配好了也不一定会用。本文将介绍如何在半小时内，让Hive在你的Linux系统上运行起来，并且可以通过 Python程序访问其中数据。

2. 使用集群

Hadoop需要安装Java虚拟机，创建Hadoop用户，下载安装Hadoop软件，修改多个配置文件，启动服务等，有时由于操作系统不同还需要重编Hadoop源码。没亲亲自搭建过可以参考这篇Python海量数据处理之_Hadoop(一)集群搭建。整个Hadoop系统就非常复杂，涉及各种类型Node的概念及原理。本文主要介绍对HIVE的使用方法，只需要Hadoop可用，因此使用了Hadoop，MySQL及Hive都正常安装和配置好的dokcer image.

首先，查找可用的Hive的docker镜像

$ docker search hive

将teradatalabs/cdh5-hive镜像拉到本地，该镜像约1.78G

$ docker pull teradatalabs/cdh5-hive

运行docker镜像，请注意这里使用了参数-P，它将docker中开启的所有端口映射到宿主机，端口号与docker内部不同，用docker ps可查看映射的端口号，用浏览器打开50070所映射的宿主机端口，可查看hadoop状态。

$ docker run --rm -d --name hadoop-master -P -h hadoop-master teradatalabs/cdh5-hive

$ docker ps

进入已启动的docker容器

$ docker exec -it hadoop-master bash

进入docker容器之后，先用hadoop命令查看数据存储情况

> hadoop fs -ls /

试连接mysql数据库，默认密码是root

> mysql -uroot -proot

进入hive

> hive

用HSQL建立数据库，并查看当前数据库列表，并退出的hive。其它的操作与mysql类似，此处不再重复。

> create database testme;

> show databases;

> exit;

此时，退出hive，在docker中用hadoop命令就可以看到新建的数据库testme.db文件

> hadoop fs -ls /user/hive/warehouse/

3. 使用python程序读取Hive数据

首先，要安装python对Hive Server2的支持库，注意impala包名为impalacli而非impala。

$ pip install thrift-sasl==0.2.1

$ pip install impalacli

然后使用impala库连接Hive Server2服务，修改其中的IP和端口，端口为docker中10000端口向外映射的宿主机端口，将default库作为待操作的数据库。新建了数据表，并执行了查询操作。可以看到，HSQL的使用方法和MySQL类似。

from impala.dbapi import connect

conn = connect(host="192.168.1.207", port=32775, database="default", auth_mechanism="PLAIN")

cur = conn.cursor()

sql = "create table if not exists test_table(id int)"

cur.execute(sql)

sql = "show tables"

cur.execute(sql)

print(cur.fetchall())

sql = "select * from default.test_table"

cur.execute(sql)

print(cur.fetchall())

conn.close()