python脚本用sqoop把mysql数据导入hive数据仓库中

1. #! /usr/bin/env python  
2. # coding:utf-8  
3. # --------------------------------  
4. # Created by coco  on 16/2/23  
5. # ---------------------------------  
6. # Comment: 主要功能说明 :初始化业务数据库  
7.   
8. import os  
9. import pyhs2  
10.   
11.   
12. conn=pyhs2.connect(host="192.168.8.94",port=10000,authMechanism="PLAIN",user="hdfs")  
13. mysql_info={"host":"192.168.1.200","port":3306,"user":"root","passwd":"123456"}  
14. print mysql_info  
15. def run_hive_query(sql):  
16.     with conn.cursor()  as cursor:  
17.         cursor.execute(sql)  
18.         return cursor.fetchall()  
19. def mysql_to_hive(host,port,user,passwd,database,table):  
20.     #os.system("hadoop fs -rm    -r /user/task/%s"%table)  
21.     if [database] not in run_hive_query("show databases"):  
22.         with conn.cursor() as cursor:  
23.             cursor.execute("create database " +database)  
24.     with conn.cursor() as cursor:  
25.         cursor.execute("use  "+database)  
26.     if [table] not in run_hive_query("show tables"):  
27.         os.system("sqoop   import --connect   jdbc:mysql://%s:%s/%s --username  %s   --password  %s --table %s  --hive-database  %s  -m 10 --create-hive-table --hive-import   --hive-overwrite "%(  
28.             host,port,database,user,passwd,table,database))  
29.     else:  
30.         os.system("sqoop   import --connect   jdbc:mysql://%s:%s/%s --username  %s   --password  %s --table %s  --hive-database  %s  -m 10 --hive-import   --hive-overwrite "%(  
31.             host,port,database,user,passwd,table,database))  
32.   
33.   
34. mysql_to_hive(mysql_info["host"],mysql_info["port"],mysql_info["user"],mysql_info["passwd"].replace("(","\("),"wwn","cm_vip")