Hive to Redis

最新推荐文章于 2024-07-15 17:09:54 发布

Shannon076

最新推荐文章于 2024-07-15 17:09:54 发布

阅读量3.3k

点赞数

分类专栏：大数据

本文链接：https://blog.csdn.net/Shannon076/article/details/81988420

版权

本文介绍了如何将Hive中的数据查询出来，转换为JSON文件，并进一步加载到Redis数据库中，包括开发环境的准备、Hive库和Redis库的设置，以及线下Redis环境的部署和测试。

摘要由CSDN通过智能技术生成

开发机环境准备

Hive库

sudo apt-get install libsasl2-dev
sudo pip install pyhive[hive]

Redis库

pip install redis

线下Redis环境的部署(用于测试)

sudo apt-get install redis-server
cd /usr/bin/
./redis-server

Hive数据查询->本地json文件

from pyhive import hive
port = 111
sql = """
    select * from dm_video.ml_media_stats_daily
    where date = "20180820" and stats_type = "all"
    LIMIT 1000 
"""
if __name__ == '__main__':

    print "hello"
    conn = hive.Connection(host='ip地址', port=port, username='chengxianglong', database='dm_video')
    cursor = conn.cursor()
    cursor.execute(sql)

    for result in cursor.fetchall():