![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hive
小王同学_w
博主很懒,暂无简介!北漂一族单身汪!
展开
-
hive sql手机号正则表达式剔除不规则数据
因前端没有验证手机号的规则,后端数据处理时剔除掉不规则的手机号例如:13000000000、14000000000、15011111111等目前规则是前三位符合中国手机号的规则。后8位不为同一数字。原创 2023-12-28 18:40:14 · 640 阅读 · 0 评论 -
Hive创建表语句
hive创建表语句集合原创 2023-12-12 19:05:19 · 515 阅读 · 0 评论 -
hive匹配中文及字母
【代码】hive匹配中文及字母。原创 2023-12-08 16:52:23 · 640 阅读 · 0 评论 -
sqoop hive数据导出分区表到关系型数据库
业务场景,某天的结果表数据做报表端的数据展示,hive为分区表,报表数据结果为oracle做结果表输出,发现全量同步可以完成,增量同步不生效,排查sqoop参数发现问题,具体情况举例说明。(业务库为其他的mysql等可换jdbc连接串)结果表: 各省截止6点的完成订单数量(每天)hive表:app.order_info_province_total_di字段:province,sum_order 分区字段:ptoracle结果表:同名不同不同库。原创 2023-12-12 18:09:17 · 504 阅读 · 0 评论 -
基于hive on Spark 的参数优化
开启动态分区参数优化制作不易,原创不易,希望大家收藏+点赞!!!原创 2022-11-19 19:22:21 · 717 阅读 · 1 评论 -
基于sqoop将hive数据导入到Oracle中
根据项目的需要,数据要从hive的app层导出到oracle进行数据结果的加工及展示在相应的系统上。hive的分区表数据–>oracle的实体表中数据表oracle创建:(字段与hive保持一致)sqoop中导入可能存在的问题,hive表的存储格式为textfile时,使用export-dir参数时导入的数据会有脏数据的情况,记得要手动处理掉!!sqoop版本1.4.4Z之后建议选择hcatalog参数进行导入。......原创 2022-06-21 10:32:39 · 3311 阅读 · 0 评论 -
Hive中的一些ALTER属性语句集合
Hive修改表名集合首先讲解一下hive这个hadoop的组件之一,目前hive已经作为离线数仓分析常用的数据仓库,主要是分析离线数据:t+1天的数据,HDFS存储,hive底层还是调用的java的mr方法,只是通过简单的hql进行转化成了map reduce进行计算:节点目前10个以上吧至少目前我接触的都是10个节点以上的集群,客户端上我用过传统的客户端hive的,配置环境变量就可以,还有就是kinit hive客户端。版本上 现在版本 都是hive 2.0以上了,亲测还可以 可以使用in子查询。话不原创 2021-01-18 19:58:25 · 1082 阅读 · 0 评论