Hive
RunningShare
这个作者很懒,什么都没留下…
展开
-
Hive查询结果带表头导出csv文件
Hive导出查询结果到本地文件有两种方式:通过“INSERT OVERWRITE [LOCAL] DIRECTORY directory1 SELECT ...FROM ...”方式 通过hive客户端执行查询文件并将结果重定向到导出文件insert方式示例insert overwrite local directory '/opt/test_pro/hive3.1.2/emp_export.txt'row format delimited fields terminated by '\t'原创 2020-10-12 14:30:27 · 6787 阅读 · 0 评论 -
Hive中常用的一些配置操作(日志,显示等操作)
1.修改默认的数据仓库位置,在hive-site.xml文件中配置如下参数:<property> <name>hive.metastore.warehouse.dir</name> <value>自己指定仓库位置(eg:/user/hive/warehouse)</value></property>添加好参数以后,需要对指定的目录附上用户组的权限,执行以下命令:$ $HADOOP_HOME/...转载 2020-05-20 09:50:59 · 1417 阅读 · 0 评论 -
The reference to entity "useSSL" must end with the ';' delimiter.
在搭建测试环境的hive的时候,发现启动的时候,经常报以下警告信息Thu May 14 09:52:26 CST 2020 WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by原创 2020-05-14 10:10:40 · 1565 阅读 · 0 评论 -
Hive中压缩使用详解与性能分析
HIVE底层是hdfs和mapreduce实现存储和计算的。所以HIVE可以使用hadoop自带的InputFormat和Outputformat实现从不同的数据源读取文件和写出不同格式的文件到文件系统中。同理,HIVE也可以使用hadoop配置的压缩方法对中间结果或最...转载 2020-04-03 10:07:49 · 741 阅读 · 0 评论 -
Hive 快速上手--官网中文翻译
目录安装和配置从一个稳定的发行版安装Hive编译Hive源码编译主干的Hive编译分支branch-1在Hadoop 0.20上在0.13之前编译Hive在Hadoop 0.23上在0.13之前编译Hive(Ant)运行Hive运行Hive CLI运行HiveServer2 和 Beeline运行HCatalog运行WebHCat (Temp...翻译 2019-04-30 17:52:22 · 1541 阅读 · 0 评论 -
Hive2.1源码分析(一)启动脚本
最近在网上看到的相关材料都比较陈旧,也太简略,参看了一下其他人的内容,针对Hive2.1.1做点分享:1)下载apache-hive-2.1.1-bin.tar.gz2)解压缩,下面的命令行如启动报错,请自行查略Hive启动配置3)启动hiveserver2(非必须,使用jdbc访问的时候才使用)bin目录下hive --service hiveserver2 -p10...转载 2019-05-09 14:16:37 · 498 阅读 · 0 评论 -
Hive1.2.1开启Jmx
目录一、hadoop-env.sh添加hive的JVM参数变量HADOOP_CLIENT_OPTS和 HIVE_OPTS二、hive-env.sh添加jmx远程监控参数三、打开jconsole进行连接四、JMX方面知识介绍参数说明当通过Hive -service hiveserver启动Hive服务器时,它实际上执行“hadoop jar……”,因此为了能够将选项从...原创 2019-05-10 15:24:39 · 1668 阅读 · 0 评论 -
索引、分区和分桶的区别
一、索引简介Hive支持索引,但是Hive的索引与关系型数据库中的索引并不相同,比如,Hive不支持主键或者外键。Hive索引可以建立在表中的某些列上,以提升一些操作的效率,例如减少MapReduce任务中需要读取的数据块的数量。为什么要创建索引?Hive的索引目的是提高Hive表指定列的查询速度。没有索引时,类似'WHERE tab1.col1 = 10' 的查询,H...转载 2019-09-29 17:57:15 · 815 阅读 · 0 评论 -
Warning: bad syntax, perhaps a bogus '-'? See /usr/share/doc/procps-3.2.8/FAQ
查看Linux的进程时执行 ps -aux|grep HiveServer2|grep -v grep报一下警告信息Warning: bad syntax, perhaps a bogus '-'? See /usr/share/doc/procps-3.2.8/FAQ修改为ps aux|grep HiveServer2|grep -v grep警告问题解决。...原创 2019-05-05 20:30:29 · 1074 阅读 · 0 评论 -
Hive APIs 概览--官网中文翻译
目录API 类型基于操作的API基于查询的API可用的APIHCatClient (Java)HCatalog存储处理程序(Java)HiveServer2 APIHCatalog CLI(命令行)Metastore (Java)Hive (Java)Driver (Java)WebHCat (REST)Streaming Data ...翻译 2019-04-28 15:49:10 · 1808 阅读 · 0 评论 -
HiveServer2 概览--官网中文翻译
目录介绍HS2 架构Server--服务器层Transport--传输层Protocol--协议层ProcessorHS2的依赖关系JDBC 客户端源代码描述服务器端客户端客户端和服务器之间的交互Resources介绍HiveServer2 (HS2)是一种允许客户端对Hive执行查询的服务。HiveServer2是HiveServ...翻译 2019-04-28 17:04:06 · 1133 阅读 · 0 评论 -
HCatalog架构分析--官网中文翻译
目录概览HCatalog 架构接口数据模型数据流实例HCatalog Web API概览HCatalog是Hadoop的表和存储管理层,允许使用不同数据处理工具(Pig和MapReduce)的用户更容易地在网格上读写数据。HCatalog的表抽象为用户提供了Hadoop分布式文件系统(HDFS)中数据的关系视图,并确保用户不必担心数据存储在何处或以何种格式存储...翻译 2019-04-28 18:21:13 · 2346 阅读 · 0 评论 -
WebHCat使用指南--官网中文翻译
目录WebHCat介绍URL 格式安全性标准参数安全错误响应WebHDFS和代码推送错误代码和响应项目名称版本信息HCatalog项目毕业于Apache孵化器,并于2013年3月26日与Hive项目合并。Hive版本0.11.0是第一个包含HCatalog及其REST API WebHCat的版本。WebHCat介绍本文档描...翻译 2019-04-28 18:54:10 · 2941 阅读 · 0 评论 -
WebHCat安装--官网中文翻译
WebHCat与Hive的安装目录WebHCat与Hive的安装WebHCat安装过程服务器命令要求Hadoop 分布式缓存权限集群安全性代理用户支持版本WebHCat和HCatalog与Hive一起安装,从Hive release 0.11.0开始。如果从二进制tarball安装Hive, WebHCat服务器命令webhcat_server.sh...翻译 2019-04-28 19:37:15 · 694 阅读 · 0 评论 -
WebHCat配置详解--官网中文翻译
配置文件WebHCat (Templeton)的配置将常规Hadoop配置与特定于WebHCat的变量合并在一起。因为WebHCat的设计目的是连接通常不连接的服务,所以配置要复杂得多。特定于webhcat的配置分为两层:webhcat-default.xmlWebHCat需要的所有配置变量。这个文件设置了WebHCat附带的默认值,并且只能由WebHCat开发人员更改。不要复制此文...翻译 2019-04-28 19:52:37 · 785 阅读 · 0 评论 -
WebHCat API实例指南--官网中文翻译
WebHCat API指南--官网中文翻译这个概览页面列出了所有WebHCat资源。(DDL资源在这里和另一个概览页面上列出。有关HCatalog DDL命令的信息,请参见HCatalog DDL。有关Hive DDL命令的信息,请参见Hive数据定义语言。类型 资源(类型) 描述 General :version (GET) ...翻译 2019-04-28 20:01:27 · 373 阅读 · 0 评论 -
从Hive的日志文件超大引出磁盘满问题并追踪出NameNode 安全模式的问题与处理
目录发现NameNode安全模式问题初步判断是磁盘满导致安全模式NameNode安全模式解释补充解释尝试重启DataNode重启NameNode总结发现NameNode安全模式问题一次偶然的机会,准备看下Hive的版本,发现无法执行hive脚本,发现Hive命令无法正常进入hive命令行,报错信息如下:ls: cannot access /usr...原创 2019-04-29 17:32:43 · 1680 阅读 · 0 评论 -
Hive架构原理-官网中文翻译
目录Hive 架构图Hive数据模型Metastore动机-设计目标元数据对象Metastore架构Metastore InterfaceHive Query LanguageCompilerOptimizerHive APIsHive 架构图Hive 架构图1显示了Hive的主要组件及其与Hadoop的交互。如图所示,Hive的主...翻译 2019-04-28 15:10:22 · 573 阅读 · 0 评论