努力的凹凸曼的博客

错误日志如下：[hadoop@master hive1.0.0]$ bin/hiveLogging initialized using configuration in file:/opt/modules/hive1.0.0/conf/hive-log4j.propertiesSLF4J: Class path contains multiple SLF4J bindings.SLF4J:...

hive性能调优(一)Hadoop 计算框架的特性什么是数据倾斜由于数据的不均衡原因，导致数据分布不均匀，造成数据大量的集中到一点，造成数据热点Hadoop框架的特性不怕数据大，怕数据倾斜jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。原因是map reduce作业初始化的时间是比较长的sum,co...

今天用Hive的JDBC实例时出现了HiveSQLException: Error while compiling statement: No privilege ‘Create’ found for outputs { database:default }的错误，日志如下。**org.apache.hive.service.cli.HiveSQLException: Error whil...

1)本地目录/home/hadoop/test下的test4.txt文件内容(每行数据之间用tab键隔开)如下所示:[hadoop@master test]$ sudo vim test4.txt1 dajiangtai2 hadoop3 hive4 hbase5 spark2)启动hiveserver2[hadoop@master t...

Hive 的权限控制Hive从0.10可以通过元数据控制权限。但是Hive的权限控制并不是完全安全的。基本的授权方案的目的是防止用户不小心做了不合适的事情。为了使用Hive的授权机制，有两个参数必须在hive-site.xml中设置：< property> < name>hive.security.authorization.enabled<...

Hive 的 JOIN 用法hive只支持等连接，外连接，左半连接。hive不支持非相等的join条件（通过其他方式实现，如left outer join），因为它很难在map/reduce中实现这样的条件。而且，hive可以join两个以上的表。1、等连接 只有等连接才允许hive> SELECT a.* FROM a JOIN b ON (a.id = b.id); ...

hive语法中主要提供了以下复合数据类型：1)Structs： structs内部的数据可以通过DOT（.）来存取。例如，表中一列c的类型为STRUCT{a INT; b INT}，我们可以通过c.a来访问域a。2)Map（K-V对）：访问指定域可以通过[“指定域名称”]进行。例如，一个Map中M包含了一个group->gid的K-V对，gid的值可以通过M[‘group’]来获取。...

（一） 分区操作Hive 的分区通过在创建表时启动 PARTITION BY 实现，用来分区的维度并不是实际数据的某一列，具体分区的标志是由插入内容时给定的。当要查询某一分区的内容时可以采用 WHERE 语句， 例如使用 “WHERE tablename.partition_key>a” 创建含分区的表。创建分区语法如下。CREATE TABLE table_name(......

Hive在客户端上的安装部署一、客户端准备：  到这我相信大家都已经搭过三节点集群了，如果是的话则可以跳过一，直接进入二。如果不是则按流程来一遍！1、克隆虚拟机，见我的博客：虚拟机克隆及网络配置。2、 实现客户端和集群的连接（该步骤为多节点集群搭建，详情见我博客：节点Hadoop集群搭建 有多节点集群的请跳到二）（1）配置时钟同步：保证客户端和集群的时间是同步的，具体操...

Hive背景介绍    Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。马云在退休的时候说互联网现在进入了大数据时代，大数据是现在互联网的趋势，而hadoop就是大数据时代里的核心技术，但是hadoop的mapreduce操作专业性太强，所以facebook在这些基础上开发了hive框架，毕竟世界上会sql的人比会java的人多的多，hive可以说是学...

1) 创建一个测试表。hive> create table test(id int,name string);OKTime taken: 0.385 secondshive> desc test;OKid int name ...

Hive 和 Mysql 的表操作语句类似，如果熟悉 Mysql，学习Hive 的表操作就非常容易了，下面对 Hive 的表操作进行深入讲解。(1)先来创建一个表名为student的内部表hive> create table if not exists student (sno INT, sname STRING, age INT, sex STRING) row format de...

一、项目背景前两年，支付宝推出的“余额宝”赚尽无数人的眼球，同时也吸引的大量的小额资金进入。“余额宝”把用户的散钱利息提高到了年化收益率4.0%左右，比起银行活期存储存款0.3%左右高出太多了，也正在撼动着银行躺着赚钱的地位。在金融市场，如果想获得年化收益率4%-5%左右也并非难事，通过“逆回购”一样可以。一旦遇到货币紧张时(银行缺钱)，更可达到50%一天隔夜回够利率。我们就可以美美地在家...