Hive
nobody~
这个作者很懒,什么都没留下…
展开
-
执行Hive语句报错:FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Access denied for user '
安装个Hive真不省心,各种问题。最近安装好Hive后执行Hive语句时碰到这样的错误:hive> show databases;FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Access denied for user 'root'@'localhost' (using password: YES)Nested原创 2017-10-19 22:56:31 · 1331 阅读 · 0 评论 -
使用python3连接hiveserver2的方法
需求:需要通过windows端的pycharm来操作hive。 于是就搜集资料寻找解决方案。 大概有三种方式:pyhs2 连接 hive,但是这个项目已经没有人维护了,弃用。Pyhive连接hive。imply连接hive。协商后决定还是用imply。 以下是整个安装以及验证的过程:1、启动HiveServer2shell > cd /usr/local/apa...转载 2018-08-30 10:34:55 · 4019 阅读 · 0 评论 -
配置hiveserver2访问hive
1、前言作为数据仓库的工具,hive提供了两种ETL运行方式,分别是通过Hive 命令行和beeline客户端;命令行方式即通过hive进入命令模式后通过执行不同的HQL命令得到对应的结果;相当于胖客户端模式,即客户机中需要安装JRE环境和Hive程序。beeline客户端方式相当于瘦客户端模式,采用JDBC方式借助于Hive Thrift服务访问Hive数据仓库。HiveThri...转载 2018-08-30 10:03:19 · 1899 阅读 · 0 评论 -
beeline连接hiveserver2报错:User: root is not allowed to impersonate root
最近在生产中搭建HA机制的集群,碰到不少坑,会在接下来的时间里好好总结下,先说下遇到的一个大坑。我们的需求是:希望通过hive的thrift服务来实现跨语言访问Hive数据仓库。但是第一步,你得需要在节点中打通服务器端(启动hiveserver2的节点)和客户端(启动beeline的节点)的链接。整体的结构如下图所示: 但是整个的配置过程可谓是一波三折,现在数据1节点启动hiveserver...原创 2018-08-29 18:07:51 · 22006 阅读 · 11 评论 -
Hive的基本操作总结
前言:对于Hive来说最重要的一点就是能够用Hql来进行数据分析。而Hql来处理数据比MapReduce方便很多(原理是一样的,Hql底层转化为MapReduce来处理数据)。而随着技术的发展,编写MapReduce程序来处理数据也许会被慢慢淘汰,而Hql仍会保留下来(原因:1、类SQL语法,学习成本比较低。2、大数据时代对数据开发的需求,需要有这样的数据仓库来支撑。)1、Hive基本...原创 2018-03-29 14:46:47 · 1515 阅读 · 0 评论 -
Hive安装报错:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient的解决办法
最近练习Hive,安装时爆出如下错误:Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient的错误 报错的日志如下:Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException原创 2017-10-18 22:28:53 · 9964 阅读 · 3 评论 -
Hive的相关介绍
前言:为什么使用Hive 直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大使用Hive的优点: 操作接口采用类SQL语法,提供快速开发的能力。 避免了去写MapReduce,减少开发人员的学习成本。 扩展功能很方便。1、Hive简介1.1、什么是Hive Hive是基于Hadoop的一个数据仓库工...原创 2017-12-29 17:32:02 · 624 阅读 · 0 评论 -
Hive2.1.1的安装教程(元数据放在本地Mysql)
1.上传tar包 jar包地址: 2.解压 tar -zxvf hive-0.9.0.tar.gz -C /cloud/ 3.安装mysql数据库(切换到root用户) 参考:http://blog.csdn.net/qq_16633405/article/details/78255440 4.配置hive (a)配置HIVE_HOME环境变量 vi conf/hive-en原创 2017-10-18 22:52:31 · 3448 阅读 · 1 评论 -
java.lang.IllegalArgumentException: Does not contain a valid host:port authority: ignorethis
执行Hive语句时突然出现这样的异常:Total MapReduce jobs = 1Launching Job 1 out of 1Number of reduce tasks not specified. Estimated from input data size: 1In order to change the average load for a reducer (in bytes)原创 2017-11-08 23:38:56 · 1026 阅读 · 0 评论 -
执行Hive的查询语句报错:java.lang.IllegalArgumentException: Does not contain a valid host:port authority: loca
好不容易把Hive装完了,结果一执行Hive的查询语句运行MapReduce程序立马报错。。。 log详细信息如下:Job running in-process (local Hadoop)Hadoop job information for null: number of mappers: 1; number of reducers: 02017-10-21 21:54:15,503 nul原创 2017-10-22 22:49:31 · 2412 阅读 · 0 评论 -
Hive报错:Error: FUNCTION 'NUCLEUS_ASCII' already exists. (state=X0Y68,code=30000)
Hive执行schematool -initSchema -dbType derby报错。 报错的日志:doupeihua@doupeihua-2104 ~/software/hive/bin $ schematool -initSchema -dbType derbySLF4J: Class path contains multiple SLF4J bindings.SLF4J: F...转载 2018-08-30 11:21:18 · 5031 阅读 · 1 评论