2016年01月_UckyK

10月 09月 04月 02月 01月

转载 Hive的JOIN用法

Hive表连接的语法支持如下：Sql代码 join_table: table_reference JOIN table_factor [join_condition] | table_reference {LEFT|RIGHT|FULL} [OUTER] JOIN table_reference join_condition |

2016-01-27 16:52:47 563

原创 HIVE在不同路径启动失败解决方案

刚刚遇到一个问题，就是手欠，更改一下HIVE的配置，之后再在默认目录上运行HIVE命令，竟然报错了，只截取了一小部分错误信息。Caused by: java.sql.SQLException: Failed to start database 'metastore_db' with class loader sun.misc.Launcher$AppClassLoader@5c647e

2016-01-25 11:10:38 2013

转载 Hive配置项的含义详解

hive的配置：hive.ddl.output.format：hive的ddl语句的输出格式，默认是text，纯文本，还有json格式，这个是0.90以后才出的新配置；hive.exec.script.wrapper：hive调用脚本时的包装器，默认是null，如果设置为python的话，那么在做脚本调用操作时语句会变为python ，null的话就是直接执行<script c

2016-01-21 17:53:12 576

原创 HIVE分区表指定location加载不到数据解决方案

指定了表的location但是select不出来数据，而目录确实存在hdfs上，如图所示（我这里面是2级分区）解决方案：1、 Alter table test6 add partition (dt=20150422,pidid=60) location ‘/data/dt=20150422/pidid=60’;一个分区一个分区的添加，问题出现

2016-01-19 16:47:36 10778 5

原创 HADOOP STREAMING实例HIVE引用PYTHON

背景：现有一个staff(员工信息表),表中包含字段name(员工姓名)time(工作时间)per_money(每小时金钱)；数据如下：要求：创建一个表,作为salary(工资表),表中包含字段name(员工姓名)total_money(工作时间*每小时金钱)，将对staff表计算结果插入到salary表中；解决方案：1､HQL计算

2016-01-16 21:27:15 2110

原创 HIVE导出到HDFS没有分割符解决方案

困扰了我一天的问题，假设有一个表，要对他的数据进行一些处理，处理后将他直接导出到HDFS上，但是导出后查看数据会发现，没有分隔符分开都是密密麻麻的字母数字。之后查找资料后再添加Insert overwrite directory ‘\dir’Row format delimited Fileds terminated by ‘\t’Select *from table_name;

2016-01-13 18:34:29 3739

利用JAVA注解实现SQL语句自动生成编写对应Entity添加相关注解，并通过SqlUtil工具，传入相关参数生成SQL语句例如：要生成对应数据库Person的SQL增删改查 SqlUtil.create(Person.class) SqlUtil.insert(Person.class) SqlUtil.insert(Person.class,person) SqlUtil.updateById(Person.class,person) SqlUtil.deleteById(Person.class,person) 开发工具IDEA，MAVEN项目

2017-08-04

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

UckyK的专栏