python取出hive_python 读取hive数据

话不多说，直接上代码

from pyhive import hivedef pyhive(hql):

conn = hive.Connection(host='HiveServer2 host', port=10000, database='ods')

cursor = conn.cursor()

cursor.execute(hql)

for result in cursor.fetchall():

return result

部署时遇到一个问题：

Traceback (most recent call last):

File "test_pyhive.py", line 7, in

from pyhive import hive

File "/usr/lib/python2.7/site-packages/pyhive/hive.py", line 15, in

from TCLIService import TCLIService

File "/usr/lib/python2.7/site-packages/TCLIService/TCLIService.py", line 9, in

from thrift.Thrift import TType, TMessageType, TFrozenDict, TException, TApplicationException

ImportError: cannot import name TFrozenDict

解决方法是：

原因是某些包没有关联上，装包时，加上[hive]后缀

pip install pyhive[hive]

Windows下Python读取GRIB数据

之前写了一篇的文章,好多博友在评论里问我Windows系统下如何读取GRIB数据,在这里我做一下说明. 一.在Windows下Python为什么无法 ...

Python读取JSON数据，并解决字符集不匹配问题

今天来谈一谈Python解析JSON数据,并写入到本地文件的一个小例子. – 思路如下 从一个返回JSON天气数据的网站获取到目标JSON数据串 使用Python解析出需要的部分 写入到本地文件,供其 ...

python 读取excel数据并将测试结果填入Excel

python 读取excel数据并将测试结果填入Excel 读取一个Excel中的一条数据用例,请求接口,然后返回结果并反填到excel中.过程中会生成请求回来的文本,当然还会生成一个xml文件.具体 ...

Python读取Excel数据并根据列名取值

一直想将自己接触到的东西梳理一遍,可就是迈不出第一步,希望从这篇总结开始不要再做行动的矮人了. 最近测试过程中需要用到python读取excel用例数据,于是去了解和学习了下xlrd库,这里只记录使用 ...

R语言读取Hive数据表

R通过RJDBC包连接Hive 目前Hive集群是可以通过跳板机来访问 HiveServer, 将Hive 中的批量数据读入R环境,并进行后续的模型和算法运算. 1. 登录跳板机后需要首先在Linux ...

python——读取MATLAB数据文件 *.mat

鉴于以后的目标主要是利用现有的Matlab数据(.mat或者.txt),主要考虑python导入Matlab数据的问题.以下代码可以解决python读取.mat文件的问题.主要使用sicpy.io即可 ...

利用Python读取外部数据文件

不论是数据分析,数据可视化,还是数据挖掘,一切的一切全都是以数据作为最基础的元素.利用Python进行数据分析,同样最重要的一步就是如何将数据导入到Python中,然后才可以实现后面的数据分析.数 ...

python 读取二进制数据到可变缓冲区中

想直接读取二进制数据到一个可变缓冲区中,而不需要做任何的中间复制操作.或者你想原地修改数据并将它写回到一个文件中去. 为了读取数据到一个可变数组中,使用文件对象的readinto() 方法.比如 im ...

Python读取文件数据

1题目要求: 文本文件有这些数据,需要的只有其中的5个属性,如下颜色标记 像以下的数据达到75万组: 1product/productId: B0000UIXZ4 2product/title: Ti ...

随机推荐

转--T-SQL 总结

把长日期转换为短日期   Convert(char(10),getdate(),120)  MS-SQL数据库开发常用汇总 1.按姓氏笔画排序:Select * From TableName Orde ...

Python datetime time 常用操作

测试版本: Python 2.7 获取当前时间的两种方法 import datetime,time now = time.strftime("%Y-%m-%d %H:%M:%S") ...

delphi if 语句循环语句

if语句------------------------------------------------------------------------------------------------ ...

Struts2 一、 视图转发跳转

51 Nod 1791 合法括号子段【分治+字符串】

1791 合法括号子段 基准时间限制:1 秒 空间限制:131072 KB 分值: 40 难度:4级算法题 有一个括号序列,现在要计算一下它有多少非空子段是合法括号序列. 合法括号序列的定义是: 1. ...

来了解一下Mysql索引的相关知识：基础概念、性能影响、索引类型、创建原则、注意事项

索引的基础概念索引类似于书籍的目录,要想找到一本书的某个特定主题,需要先查找书的目录,定位对应的页码:存储引擎使用类似的方式进行数据查询,先去索引当中找到对应的值,然后根据匹配的索引找到对应的数据行 ...

使用Vitrualbox虚拟Windows Server 2016系统的一些常见问题

所有的问题都是基于有路由器的网络环境下进行设置的,所有的vitrualbox都是安装在win7或者win2008系统上进行的. 1.无法创建x64系统? 解决方法:1)进入主板bios设置,开启cpu ...

RAISR: rapid and accurate image super resolution

准确地说,RAISR并不是用来压缩图像的,而是用来upsample图像的. 众所周知,图片缩小到半分辨率后,在拉回原大小,会出现强烈的锯齿.从80年代开始就有很多super sampling的方法 ...

javascript小记-javascript运行机制

任何语言的运行过程中,都会有编译和执行: 对于传统编译型语言来说,编译步骤分为:词法分析.语法分析.语义检查.代码优化和字节生成.但对于解释型语言来说,通过词法分析和语法分析得到语法树后,就可以开始解 ...