![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Shell
小王同学_w
博主很懒,暂无简介!北漂一族单身汪!
展开
-
Hive创建表语句
hive创建表语句集合原创 2023-12-12 19:05:19 · 515 阅读 · 0 评论 -
hive匹配中文及字母
【代码】hive匹配中文及字母。原创 2023-12-08 16:52:23 · 640 阅读 · 0 评论 -
sqoop hive数据导出分区表到关系型数据库
业务场景,某天的结果表数据做报表端的数据展示,hive为分区表,报表数据结果为oracle做结果表输出,发现全量同步可以完成,增量同步不生效,排查sqoop参数发现问题,具体情况举例说明。(业务库为其他的mysql等可换jdbc连接串)结果表: 各省截止6点的完成订单数量(每天)hive表:app.order_info_province_total_di字段:province,sum_order 分区字段:ptoracle结果表:同名不同不同库。原创 2023-12-12 18:09:17 · 504 阅读 · 0 评论 -
基于sqoop将hive数据导入到Oracle中
根据项目的需要,数据要从hive的app层导出到oracle进行数据结果的加工及展示在相应的系统上。hive的分区表数据–>oracle的实体表中数据表oracle创建:(字段与hive保持一致)sqoop中导入可能存在的问题,hive表的存储格式为textfile时,使用export-dir参数时导入的数据会有脏数据的情况,记得要手动处理掉!!sqoop版本1.4.4Z之后建议选择hcatalog参数进行导入。......原创 2022-06-21 10:32:39 · 3311 阅读 · 0 评论 -
Shell学习
Shell学习Hello,小伙伴们大家好,今天我又来码文了,今天简单的学习一下Shell吧!首先我介绍一下Shell使用场景吧,shell应该在运维方面运用的较多吧,数据开发、数据监控也需要写shell,hive中呢就是 hive -e 封装好脚本进行crontab的定时任务,发送邮件、日报等可能都需要去定时跑shell脚本,但是现在好像Python快取代了它,但是shell的强大毋庸质疑!!话不多说,进入正轨!!编辑自己的第一个shell脚本格式要求,环境变量需要:#!/bin/bash 截图标原创 2021-01-20 11:33:24 · 94 阅读 · 0 评论