工作总结
含着花的二哈
这个作者很懒,什么都没留下…
展开
-
操作hive表的时候报错:权限不够等权限问题,以及如何修改hive表的权限。
我们一般在公司中进行hive上面的表的操作的时候, 经常会碰见权限不够的问题:上面这些错误就是说明我们当前用户的权限不够了。这个时候,你要通知一些有管理员权限的人员或者账号去赋权。具体操作步骤如下:例子: 假设我用的是test用户1 show create table xx你的表名xx然后你会得到下面的信息CREATE TABLE `tablename`( `month_id` string COMMENT '', `day_id` string, `part_id` str原创 2020-12-28 16:17:33 · 5731 阅读 · 0 评论 -
Hive 和 Oracle 数据之间的迁转(不用第三方工具),工作中数据从hive到数据库的总结。
Hive 和 Oracle 数据之间的迁转(不用第三方工具)场景: hive的数据加工完成,需要导入oracle 。1 使用shell 重定向把查询出来的数据落地成文件hive 导出文件 : hive -e "select colum1 , colum2 , colum3 ,原创 2020-12-25 16:08:15 · 650 阅读 · 0 评论 -
Hive 中时间,日期函数操作等总结
Hive 中时间,日期函数操作等的总结:1 获取当前时间 unix_timestamp()返回值: bigint说明: 获得当前时区的UNIX时间戳例子:hive (dwa)> select unix_timestamp();OK16087990472 格式化时间 from_unixtime(timestamp,‘formatString’)返回值: string说明: 把UNIX时间戳转换成你想要的格式 , 默认是 yyyy-MM-dd HH:mm:ss例子1 :原创 2020-12-24 20:24:42 · 456 阅读 · 1 评论 -
Java中的单例模式- 饿汉式和懒汉式 以及Scala中的单利模式-
首先: 单利模式就是一个类,只允许创建一个对象。Java:实现方式一 饿汉式 //饿汉式 : 初始化类的时候, 就创建一个对象 static class Singleten1{ //构造方法 private Singleten1(){ } private static final Singleten1 instance = new Singleten1(); //提供给外部的接口 public stati原创 2020-12-21 13:40:18 · 190 阅读 · 0 评论 -
Oracle和Hive交互中的字符问题解决:
Oracle和Hive交互中的字符问题解决:一句话解决:REPLACE(REPLACE(REPLACE(REPLACE(TRIM(XXX_String),CHR(9), ‘’), CHR(10),’’), CHR(13), ‘’),CHR(41377), ‘’) XXX_String解释:具体就是把一些特殊字符替换为’’ 在oracle中, 常见的字符有这么几个:chr(9) tab空格 chr(10) 换行 chr(13) 回车 chr(32) 空格符把这些原创 2020-12-21 10:45:11 · 522 阅读 · 0 评论 -
关于 Shell 脚本中 日期函数使用的一些坑 !生产中实际产生的问题!!记录 : 【date -d “$v_data_date -1 months】
今天在实际生产中发现了一个严重的问题, 最终确定的原因是因为Shell中关于日期函数使用的时候不注意产生的!!看代码:```bash# 得到当前日期的上一个月v_pre_month = ' date -d "$v_data_date -1 months '这个代码看似没有问题, 正常是日期都是能到正确的结果例子 输入: 20201105 输出: 202010 但是!!!echo `date -d "20201031原创 2020-11-05 17:32:34 · 926 阅读 · 0 评论