hive
文章平均质量分 60
普通网友
这个作者很懒,什么都没留下…
展开
-
hive中metastore三种存储方式
1、hive中metastore存储方式: 嵌套方式: 使用内置derby数据库,同一时间仅限一个hive cli环境登录 本地mysql存储方式: 采取外部mysql数据库服务器,支持多用户连接模式,通过设置hive.metastore.local 为true实现。原创 2017-07-25 17:40:39 · 1538 阅读 · 0 评论 -
hive/impala存储格式选型
转载自http://blog.csdn.net/mtj66/article/details/539689911、TEXTFILE 默认格式,建表时不指定默认为这个格式,存储方式:行存储 导入数据时会直接把数据文件拷贝到hdfs上不进行处理。源文件可以直接通过hadoop fs -cat 查看 磁盘开销大 数据解析开销大,压缩的text文件 hive无法进行合并和拆分转载 2018-03-14 14:24:24 · 3520 阅读 · 0 评论 -
hive问题与排查
1、select date from test_table报以下错误:FAILED: ParseException line 1:7 Failed to recognize predicate 'date'. Failed rule: 'identifier' in table or column identifierjie解决办法: set hive.support.sql11.r原创 2017-08-30 18:03:20 · 4363 阅读 · 0 评论 -
hadoop lzo配置
一、准备工作(only一个节点即可,not all)1、maven准备2、安装lzowget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz tar -zxvf lzo-2.06.tar.gz -C ../cd lzo-2.06mkdir -p /usr/local/lzo206./con原创 2017-10-10 10:27:49 · 543 阅读 · 0 评论 -
hive服务
hiveserver/hiveserver2比较之前一直不明白,有了hiveserver,为什么还要有hiveserver2?看了下段,终于明白:hiveserver和hiveserver2虽然都基于thrift,允许客户端使用多语言远程操作hive,但前者不能处理多于一个客户端的并发请求。因此在Hive-0.11.0版本中重写了HiveServer代码得到了HiveServer2,进转载 2017-10-09 10:31:03 · 259 阅读 · 0 评论 -
单表关联查询MR
转自:http://www.linuxidc.com/Linux/2015-03/114669p6.htm1、 输入数据分析输入文件数据示例:child parentTom Jack Jack AliceJack Jesse第1列表示child,第2列表示parent,我们需要根据child和parent的关系得出child和grantparent的关系。比如说转载 2017-09-18 21:43:37 · 1883 阅读 · 1 评论 -
reduce/map/semi join
转自:http://database.51cto.com/art/201410/454277.htm一、概述对于RDBMS中的join操作大伙一定非常熟悉,写sql的时候要十分注意细节,稍有差池就会耗时巨久造成很大的性能瓶颈,而在Hadoop中使用MapReduce框架进行join的操作时同样耗时,但是由于hadoop的分布式设计理念的特殊性,因此对于这种join操作同样也具备了一定的转载 2017-09-18 21:41:06 · 434 阅读 · 0 评论 -
pyhs2搭建详细过程
1.1 安装python系统自带python环境,故不需认为安装2 引入需要模块sudo yum installpython-setuptools -ysudo yum install gcclibffi-devel python-devel openssl-devel -ysudo yum install gcc-c++-y s原创 2017-08-28 11:51:47 · 2970 阅读 · 0 评论 -
sparksql读取hive数据源配置
1、将hive-site.xml内容添加到spark conf配置文件中,内容仅需要元数据连接信息即可 hive.metastore.uris thrift://master-centos:9083 Thrift URI for the remote metastore. Used by m原创 2017-08-24 21:23:45 · 2008 阅读 · 0 评论 -
基于CM搭建的CDH集群之hive组件升级过程(hive0.13.1升级到hive-1.2.1且确保纳入CM管理)
1、在hive0.13.1版本下创建lib121目录cd /opt/cloudera/parcels/CDH/lib/hive;mkdir lib1212、下载hive1.2.1版本,并将该版本lib下所有文件拷贝到lib121中3、修改/opt/cloudera/parcels/CDH/lib/hive/bin/hive中HIVE_LIB变量HIVE_LIB=${HIVE_HOME}原创 2017-08-24 21:06:35 · 4184 阅读 · 8 评论