python导入数据到hive_python调用接口数据写入hive

该方法使用场景为：在hadoop集群进行接口调用，并且获取接口返回值进行解析，解析完成数据写入hive表

其中存在的问题：测试环境和线上环境的一致性，还有接口调用不能一次性并发太高，自己把握这个量

分模块说一下每个模块需要做的：

1、调用get接口：

请求本地接口进行测试，参数需要encode

# -*- coding: utf-8 -*-

import urllib

import urllib2

# get接口调用

get_url ="http://localhost:7000/api/test"

get_params = {"startDate":20180729,"endDate":20180729}

get_params_urlencode = urllib.urlencode(get_params)

get_params_url = get_url+'?'+get_params_urlencode

get_requst = urllib2.Request(url=get_params_url)

get_res_data = urllib2.urlopen(get_requst)

get_res = get_res_data.read()

print get_res;

2、调用post接口：

这个操作复杂一点,加了从文件读取参数，参数是作为list入参

每次读取20个id,循环调用post接口，获取 json 结果进行解析

# -*- coding: utf-8 -*-

import json

import urllib2

import time

file_dir = "/user/tmp/ids"

post_url = "http://localhost:7000/api/users"