python读取hive数据库mapreduce_通过JDBC连接HiveServer2来访问Hive数据

最新推荐文章于 2023-09-16 20:32:36 发布

weixin_39647787

最新推荐文章于 2023-09-16 20:32:36 发布

阅读量141

点赞数

文章标签： python读取hive数据库mapreduce

本文链接：https://blog.csdn.net/weixin_39647787/article/details/111434368

版权

0: jdbc:hive2://emr-header-1:10000> select * from emrusers limit 10;

+------------------+-------------------+------------------+--------------------+--------------+--+

+------------------+-------------------+------------------+--------------------+--------------+--+

| 196 | 242 | 3 | 881250949 | 2018100102 |

| 186 | 302 | 3 | 891717742 | 2018100102 |

| 22 | 377 | 1 | 878887116 | 2018100102 |

| 244 | 51 | 2 | 880606923 | 2018100102 |

| 166 | 346 | 1 | 886397596 | 2018100102 |

| 298 | 474 | 4 | 884182806 | 2018100102 |

| 115 | 265 | 2 | 881171488 | 2018100102 |

| 253 | 465 | 5 | 891628467 | 2018100102 |

| 305 | 451 | 3 | 886324817 | 2018100102 |

| 6 | 86 | 3 | 883603013 | 2018100102 |

+------------------+-------------------+------------------+--------------------+--------------+--+

10 rows selected (1.455 seconds)

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_39647787

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

【Python大数据笔记_day05_Hive基础操作】

LKL的博客

11-09

1865

Hive基础操作

pandas读取hive配置教程

qq_43662627的博客

08-03

1944

之所以要使用pandas读取hive的数据，是在于pandas的数据处理能力很强，当然也可以使用sparksql处理，但如果要使用结果图表展示的话，建议还是使用pandas，当然如果上到集群的层面，sparksql是比较好的选择废话少说，上代码 ** @[toc] 1. 安装依赖` ** pip install pyhive pip install thrift pip install sasl pip install thrift_sasl 如果你是就会发现sasl安装失败，如果你在windows平台

参与评论您还未登录，请先登录后发表或查看评论

hiveserver2 jdbc

07-06

hive1.2.1使用jdbc连接hive server2的所有jar包

python调用hive与java调用区别_Python使用JDBC连接Hive

weixin_39890327的博客

11-24

132

场景描述：业务需要，客户要求。上网搜了半天，只有连oracle或者mysql的，只能是借鉴一下看看能不能用了。大多数文章上说要用JayDeBeApi 包直接用直接进cmd pip install JayDeBeApi报错了，error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build To...

beeline,hiveServer2和hiveJDBC的具体使用

ttksgxx的博客

10-18

451

两种启动方式：启动 hiveserver2 占用10000端口启用beeline 之前创建的表成功展示连接成功--类似jdbc连接新建java项目连接 hive 运行项目通过 hive的正则表达式使用-- 需要了解正则表达式正则表达式基本讲解--可以看懂上面的正则： ...

Python使用JDBC连接Hive

aibiansuo8143的博客

11-26

815

场景描述：业务需要，客户要求。上网搜了半天，只有连oracle或者mysql的，只能是借鉴一下看看能不能用了。大多数文章上说要用JayDeBeApi 包直接用直接进cmd pip installJayDeBeApi 报错了， error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft V...

hive2 java连接_通过JDBC连接HiveServer2来访问Hive数据

weixin_39569894的博客

02-24

146

0: jdbc:hive2://emr-header-1:10000> select * from emrusers limit 10;+------------------+-------------------+------------------+--------------------+--------------+--+| emrusers.userid | emrusers.m...

hive partition分区表使用Python代码导入数据

jslijb的博客

02-28

1654

写这篇博客的背景，先有数据，想使用hive进行分析，导入hive中很是吃力。先看数据源前10行 NASDAQ,ABXA,2009-12-09,2.55,2.77,2.50,2.67,158500,2.67 NASDAQ,ABXA,2009-12-08,2.71,2.74,2.52,2.55,131700,2.55 NASDAQ,ABXA,2009-12-07,2.65,2.76,2....

python大数据基础知识点（Hadoop+HDFS+MapReduce+Hive+Hbase）

junjun的专栏

04-30

1248

python大数据基础知识点 ***概述起源：Google 3篇论文 GFS ,MapReduce ,BigTable Doug Cutting 写 Hadoop HDFS - GFS， MapReduce -- MapRe...

大数据-数仓-数仓工具：Hive（离线数据分析框架）【替代MapReduce编程；插入、查询、分析HDFS中的大规模数据；机制是将HiveSQL转化成MR程序；不支持修改、删除操作；执行延迟较高】

u013250861的博客

01-14

894

Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。Hive十分适合对数据仓库进行统计分析。Hive数据仓库⎩⎨。

PyHive2:Python Hive 与 JDBC 集成

07-06

PyHive2 PyHive2 是一个 Python 包，通过 HIVE 查询促进分布式计算。 PyHive2 允许在 Python 中轻松使用 HQL（Hive SQL），并允许在 Hive 中轻松使用 Python 对象和 Python 函数。安装 PyHive2 要求ant（为了构建java文件）安装 PyHive2 下载源码： git clone 更改您的工作目录： cd PyHive2 设置环境变量 HIVE_HOME 和 HADOOP_HOME： export HIVE_HOME=/path/to/your/hive/directory export HADOOP_HOME=/path/to/your/hadoop/directory 使用 ant 构建 java 文件： ant build 构建 PyHive2： python setup.py build

hive2-jdbc:Hive JDBC连接示例，包括简单和kerberos身份验证方法

04-28

Hive JDBC连接示例该项目展示了如何使用各种不同的方法连接到Hiveserver2。所有类仅适用于Hiveserver2。正在使用Cloudera JDBC驱动程序，可以从下载。在撰写本文时，最新版本为v2.5.15 。要求：您需要下载驱动程序并将其复制到lib文件夹。从下载zip，以获取正确的操作系统和体系结构。解压缩并转到Cloudera_HiveJDBC41_xxx文件夹。将所有罐子从那里复制到lib文件夹。 JDBC API v3.x支持JRE v4.0或v5.0 JDBC API v4.x支持JRE v6.0或更高版本 JDBC API v4.1.x支持JRE v7.0或更高版本适用于Apache Hive的Cloudera JDBC驱动程序支持Hive 0.11、0.12、0.13、0.14、1.0和1.1。有关更多信息，请参阅下载的z

使用python客户端访问impala的操作方式

12-20

因需要将impala仅仅作为数据源使用，而python有较好的数据分析函数，所以需要使用python客户端来获取impala中的表数据，这里的测试环境是：操作系统：win7 (linux下也可行) python 2.7 大数据环境：centos6.6 CDH版本：CDH5.4.1 impala 2.1.2 port:21050 1、安装Python package pip install impyla 2、python客户端与impala交互 2.1 连接impala >>> from impala.dbapi import connect >>> conn = connect(hos

关于 HIVE Beeline 问题

weixin_30542079的博客

08-19

387

1 启动hiveserver2 服务，启动beeline -u jdbc:hive2:// 正常，启动beeline -u jdbc:hive2://127.0.0.1:10000 包如下错误 Error: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteExcept...

Python连接Hive相关配置

最新发布

lIujunXHU的博客

09-16

1873

对应sasl.whl 包： sasl‑0.3.1‑cp39‑cp39‑win_amd64.whl。-- 远程模式部署metastore metastore地址 -->win_amd64:表示为驱动为windows 64位的驱动。cp39:表示为python的版本，为python 3.9。-- 存储元数据mysql相关配置 -->访问地址：http://ip:10002/-- H2S运行绑定host -->-- 关闭元数据存储授权 -->Thrift最小工作线程数。Thrift最大工作线程数。

python连接hiveserver2_连接HiveServer2传递参数的几种方式

weixin_42577735的博客

01-30

688

HiveServer2(以下简称：HS2)是Hive提供的一种jdbc服务，用户可以通过Hive自带的Beeline连接，也可以使用Java、Python或者PHP等通过jdbc的方式连接。下面以Java连接HiveServer2为例来介绍几种向Hive传递参数的方法。一、如何连接HS2连接到HS2，一般需要提供HS2的地址、端口号、连接的Hive库、用户名和密码这几个必选项，示例代码如下：Cla...

Hive tpcds - 3 测试

houzhizhen的专栏

10-13

933

1. 下载资源我用的是 hortonworks 的版本，其他的也应该类似。 git clone git@github.com:hortonworks/hive-testbench.git 2. 编译 ./tpcds-build.sh 如果目标服务器不能上网，或者不想环境再配置一遍，可以把编译之后的整个目录打包，上传到目标服务器上进行解压。 3. 生成数据 sh tpcds-setup.sh 3000 /tmp/tpds-gen 第1个参数是数据规模，3000 代表 3000G，最小是 2，代表 2

python操作hive数据库代码_python连接hive操作数据库

weixin_39965794的博客

11-27

424

前言客户端连接Hive需要使用HiveServer2。HiveServer2是HiveServer的重写版本，HiveServer不支持多个客户端的并发请求。当前HiveServer2是基于Thrift RPC实现的。它被设计用于为像JDBC、ODBC这样的开发API客户端提供更好的支持。Hive 0.11版本引入的HiveServer2。Python客户端连接HiveServer2python中...

python hive集群链接方式

qq_15821487的博客

09-07

1046

# 环境pip install pyhive thrift kazoo sasl thrift_sasl (yum -y install cyrus-sasl cyrus-sasl-devel cyrus-sasl-lib) # 1.普通地址 jdbc:hive2://****:10000/default # 2.基于zk的高可用地址 jdbc:hive2://****:2181,****:2181,*****:2181/default;serviceDiscoveryMode=zooKeeper;zo

Python库ssh_jump_hive-0.1.6：Hadoop数据仓库便捷访问

ssh_jump_hive-0.1.6-py2.py3-none-any.whl是一个集成了Hive操作和SSH通信功能的Python库，它允许开发者在不同的Hadoop集群节点之间通过SSH安全地跳转和管理Hive实例，大大简化了与Hive交互的过程，提高了数据处理的...