当前搜索:

Java连接hive报错01

这个错误是hive的版本的包导致的。java.sql.SQLException: Could not establish connection to jdbc:hive2://hadoop2:10000/default: Required field 'serverProtocolVersion' is unset! Struct:TOpenSessionResp(status:TStatus(st...
阅读(615) 评论(0)

hive启动报错:Found class jline.Terminal, but interface was expected

[ERROR] Terminal initialization failed; falling back to unsupported java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected         at jline.TerminalFactory.cr...
阅读(1098) 评论(0)

Hive数据存储的各种模式

Hive的数据分为表数据和元数据,表数据是Hive中表格(table)具有的数据;而元数据是用来存储表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。下面分别来介绍。一、Hive的数据存储在让你真正明白什么是hive 博文中我们提到Hive是基于Hadoop分布式文件系统的,它的数据存储在Hadoop分布式文件系统中。Hive本身是没有专门的数据存储格式,也没有为数据建...
阅读(434) 评论(0)

hive中的分页

一、借助唯一标识字段如果分页的表有唯一标识的字段,可以通过这个字段来实现分页: • 获取第一页数据: 注:同时需要记录这10条中最大的id为preId,作为下一页的条件。 select * from table order by id asc limit 10; • 获取第二页数据: 注:同时保存数据中最大的id替换preId。 select * from table where...
阅读(3579) 评论(0)

hive中的排序

order byorder by 会对输入做全局排序,因此只有一个reducer**(多个reducer无法保证全局有序)**只有一个reducer,会导致当输入规模较大时,需要较长的计算时间。 Sql代码 1. set hive.mapred.mode=nonstrict; (default value / 默认值) 2. set hive.mapred.mode=strict;...
阅读(396) 评论(0)

HIVE的分区、hive关联Hbase、UDF函数

Hive and HDFS 原始数据 //建立hive和Hdfs的外部关联表 CREATE EXTERNAL TABLE people(id int,sex string,name string) partitioned by (logdate string,hour string) row forma...
阅读(1277) 评论(0)

HIVE的内部表和外部表

Hive的数据表创建数据文件 inner_table.dat 创建表 hive>create table inner_table (key string); 加载数据 hive>load data local inpath ‘/root/inner_table.dat’ into table inner_table; 查看数据 hive>...
阅读(437) 评论(0)

HIVE的简介

What is Hive Hive是基于Hadoop(HDFS, MapReduce)的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。 本质是将SQL转换为MapReduce程序 Why use Hive面临的问题: 1)人员学习成本太高 我只是需要一个简单的环境: 1)MapReduce如何搞定 2) 复杂查询好难 3) J...
阅读(379) 评论(0)
    【个人简介】
    个人资料
    • 访问:431237次
    • 积分:7080
    • 等级:
    • 排名:第3659名
    • 原创:282篇
    • 转载:23篇
    • 译文:24篇
    • 评论:90条
    博客专栏