![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
编程人生之路
这个作者很懒,什么都没留下…
展开
-
把oracel的表结构转化为hive支持的表结构
说在前面的话;由于公司要把数据放在大数据平台hive数据仓库中进行数据的展示,处理等,目前数据是在oracel中,那么进行数据的迁移首先就是要建立相应的表结构喽 ,那么问题来了 原来在oracel中的数据库中有几百张表,如果手动一张一张的建立话,耗时又耗力,下面介绍三种方式把oracel中的表结构转化我hive可以使用的方式一:注意的地方:拼接的sql可能超出了要截取的长度,字符串varchar2最多存储4000select to_char(substr(table_prefix || col..原创 2020-09-05 16:07:18 · 221 阅读 · 0 评论 -
kettle 将mysql数据 导入到hive
先说说思路:一 是直接从mysql输出至hive中,另外一个是先将数据搞到hdfs中,再load一下,当然这只是textfile存储格式而言,若是ORC等其他列式存储的话建议先搞一个textfile格式的中间表,再insert into table select 插进去下面分别介绍下两种方式第一种:1.连接hive对外服务的组件hiveserver2点击测试,OK之后会显示测试成功测试直接将mysql中的stdcode表导入一下抽取数据,插入的目标库中有没有对应为表的话点击下.原创 2020-09-04 16:45:53 · 1282 阅读 · 0 评论 -
kettle连接Hive配置(一)
背景最近需要将mysql的数据库的数据导入到hive里,期间遇到了很多坑,这次来总结一下。步骤1.启动hiveServer2kettle 是通过jdbc 来连接hive的,而jdbc 方式连接hive需要启动hiveServer2(thrift接口程序),执行如下命令来启动hiveServer2./hive --service hiveserver2 --hiveconf hive.server2.thrift.port=10001 --hiveconf hive.server2.thrif转载 2020-09-04 16:25:49 · 2421 阅读 · 0 评论 -
hive报错 没有root用户权限 org.apache.hadoop.security.AccessControlException: Permission denied: user=root, a
原因:hdfs上没有root用户,也没有对应的文件夹/user/root会默认以root身份去将作业写入hdfs文件系统中,对应的也就是 HDFS 上的/user/xxx , 我的为/user/root, 由于root用户对hdfs目录并没有写入权限,所以导致异常的发生。而hdfs才有权限创建/user/root在进行hive-shell操作表报错信息org.apache.hadoop.security.AccessControlException: Permission deni...原创 2020-05-25 19:07:01 · 1884 阅读 · 0 评论 -
HIVE 定时备份定时删除全库建表语句
今天又被工头叫去了因为我们现在系统还是试运行阶段,这个阶段对系统中表的改动是常有的事,包括表结构,列名,属性,HQL脚本等等;为了保证万一有人改错或者误删了表和HQL脚本,无处可恢复,工头要求我写一个可以定时全库备份建表语句的脚本(并且要带有定时删除14天之前的功能)。经过了长久且艰辛得行为斗争之后,这个脚本终于竣工了????????????????直接看成果#!/bin/bashcd /cib/dm/hive_tablerm -f tablist* test.fin #use hi转载 2020-05-25 18:05:42 · 277 阅读 · 0 评论 -
快速删除Hive表数据脚本
在使用hive做测试时往往有很多测试的表,到最后想清空下表直接上脚本首先:用show tables;把表名存到一个txt文件中。#!/bin/bashcat 1.txt | while read line #读取文件每一行doecho "drop table $line;" >>tt.txt 把删除命令嵌入每个表名donetable...原创 2019-08-19 14:40:29 · 736 阅读 · 0 评论 -
impala 和hive查询性能简单对比
Sqoop 一亿级数据导入测试用SQOOP从oracel 中把数据倒入到hive中做测试首先表是这样的服务器资源Sqoop 导入脚本sqoop import --hive-import \--connect jdbc:oracle:thin:@10.32.3.4:1521...原创 2019-08-22 15:35:20 · 1619 阅读 · 0 评论