![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HIVE
吃胡萝卜的鳄鱼
这个作者很懒,什么都没留下…
展开
-
hive查询s3外部表报java.lang.NoClassDefFoundError错误解决
hive查询外部表 报错 Error: java.lang.NoClassDefFoundError: com/amazonaws/services/s3/model/MultiObjectDeleteException (state=,code=0)原创 2022-05-17 17:09:35 · 955 阅读 · 0 评论 -
hive创建s3外部表失败解决方案
解决hive创建s3外部表的时候报错FAILED: SemanticException java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.fs.s3.S3FileSystem not found原创 2022-05-10 22:04:11 · 1345 阅读 · 0 评论 -
解决hive localtion parquet文件创建外部表报错Cannot inspect org.apache.hadoop.io.ArrayWritable
hive 读取外部表失败Failed with exception java.io.IOException:org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.UnsupportedOperationException: Cannot inspect org.apache.hadoop.io.ArrayWritable原创 2022-05-10 21:51:33 · 769 阅读 · 0 评论 -
hive实战之搜索热词
环境以及资料准备 hadoop2.7集群(搭建在centos7上,一台master,两台slaver),hive1.2.1,以及储存元数据的mysql, 2008年搜狗搜索记录日志文件(已清洗): 链接:http://pan.baidu.com/s/1sljUV6X,密码:p1mt 步骤启动集群# start-dfs.sh# start-yarn.sh start-dfs.原创 2017-07-09 12:30:23 · 629 阅读 · 0 评论 -
hive入门UDF之星座计算(根据hive编程指南)
环境准备: hadoop2.7+centos7+hive1.2.1+VirtualBox+xshll+eclipse+jdk1.8数据准备:启动hadoop集群和hive:# start-dfs.sh#source /etc/profile (注:本人集群搭建应该有问题,每次启动hive时都得先运行一下这个命令)#hive建立表格:create table littlebigdata(原创 2017-07-06 14:26:51 · 1072 阅读 · 0 评论 -
hive笔记
解压hive压缩包后, 进入到conf目录cp hive-default.xml.template hive-default.xmlcp hive-env.xml.template hive-env.xmlcp hive-default.xml.template hive-site.xmlMetastore不分开模式hive_site.xml:<?xml version="1.0" enco原创 2017-11-21 20:10:39 · 302 阅读 · 0 评论 -
hive最基本命令
hive最基本命令创建数据库:create database database_name 如果不知道是否已经存在:create database if not exists database_name 查看hive中包含的数据库:SHOW DATABASES; 如果数据库非常多可以使用正则表达式筛选显示(举例查找”h有数据库)SHOW DATABASES LIKE 'H.*; 将数据库设置为原创 2017-06-29 14:58:20 · 513 阅读 · 0 评论 -
Hive概述、安装部署、mysql集成与测试
1. Hive概述1.什么是hive?由Facebook开源用于解决海量结构化日志得数据统计;Hive是基于Hadoopde的一个数据仓库工具,可以将结构化的数据文件映射成一张表,并用提供类SQL查询功能;构建在Hadoop之上的数据仓库;使用HQL作为查询接口;使用HDFS储存;使用MapReduce计算;本质是:将HQL转化为Mapreduce程序灵活性和拓展性比较好:支持...原创 2019-03-17 14:07:47 · 281 阅读 · 0 评论