大数据-Hive
帅气的程序员
学习使我快乐
展开
-
HIVE的shell脚本模板
参照模板 实现了一个等值join的简单Demo 重要得脚本 模板 值得参考 #!/bin/bash# ===========================================================================# 程序名称: hive的shell脚本 # 功能描述: 将book表与course等值连接,数据分区插入# 输入参数:原创 2017-11-29 17:04:36 · 2071 阅读 · 0 评论 -
Hive创建dual表
1.创建一张空表 任意一个字段: 0: jdbc:hive2://localhost:10000> create table dual(dual string);2.创建一个文件 仅一行 echo 'X' > 1.txt3.加载数据进dual表 0: jdbc:hive2://localhost:10000> load data local inpath '/root/1.txt' into原创 2017-12-20 09:42:01 · 1550 阅读 · 0 评论 -
点击流离线分析
我的shell脚本代码 : 外部是crontab 定时器 #!/bin/bash## ===========================================================================# 程序名称: 点击流数据分析 /周期为小时# 功能描述:# 输入参数: 运行日期# 创建人 : 何睿# 创建日期: 2017原创 2017-12-21 19:12:54 · 637 阅读 · 0 评论 -
Hive注释乱码问题
在HIVE中建表的时候,有时候难免要表中文注释,然而如果不经过配置,会导致desc某个表名的时候,直接以?的方式返回。 因此也来解决一下HIVE中文注释乱码的问题。由于HIVE的元数据是存在于MYSQL上的,因此需要在MYSQL上进行元数据的候。当hive使用mysql作为元数据库的时候mysql的字符集要设置成latin1 default。 alter database hive ch转载 2017-11-27 10:15:00 · 272 阅读 · 0 评论 -
Sqoop导入时注意事项
参考:http://blog.csdn.net/zleven/article/details/53781111导入时需要注意:1)数据库表名需要大写; 我试小写好像也可以 不知道是不是版本问题Imported Failed: There is no column found in the target table xxx. Please ensure th原创 2018-01-25 11:09:54 · 2543 阅读 · 0 评论 -
Hive事务表
首先先说下 thrift方式 先启动 hiveserver2服务 然后以beeline形式启动./beeline -u jdbc:hive2://localhost:10000 -n root –silent=true配置thrift 需要允许某些用户 在hadoop的core-site.xml中添加<property> <name>hadoop.proxyuser.root.hos原创 2018-01-26 16:25:47 · 5303 阅读 · 0 评论 -
Hive可视化工具squirrel-sql --小松鼠
参考 博客:https://www.cnblogs.com/tgzhu/p/5760698.html 下载地址:http://squirrel-sql.sourceforge.net/点击 Download SQuirreL SQL Client下载好之后 自行安装 到指定目录 在指定目录点击 squirrel-sql.bat 然后是配置 Drivers和Ali原创 2018-02-07 16:20:44 · 7116 阅读 · 1 评论 -
Hive与HBase映射表 实现大数据的增量操作
先说下使用场景 : HIve有Orc表 可以增删改 但是每一个事务执行的速度很慢 不适合于高并发的场景。 我之前mysql同步hadoop 创建了hive事务表 但是效果很差 这里另辟蹊径,将数据存入hbase 很快 建立映射 这样解决了效率问题。概念 详解: HIve有 内部表 和外部表 针对于HBase来说 外部表 –》HBase已经存在这张表 hive只建立...原创 2018-02-07 16:03:25 · 5329 阅读 · 1 评论