- 博客(14)
- 收藏
- 关注
RSS订阅原创 hive sql手机号正则表达式剔除不规则数据
因前端没有验证手机号的规则，后端数据处理时剔除掉不规则的手机号例如：13000000000、14000000000、15011111111等目前规则是前三位符合中国手机号的规则。后8位不为同一数字。
2023-12-28 18:40:14
665
原创 Oracle开窗函数排序剖析
最近用到了排序，正好回忆一下排序规则，下面以oracle为例进行介绍，简单易懂，一眼就能明白用法和结果截图标识尊重： 以时间进行排序得出结果如下。
2023-12-28 18:32:43
435
原创 sqoop hive数据导出分区表到关系型数据库
业务场景，某天的结果表数据做报表端的数据展示，hive为分区表，报表数据结果为oracle做结果表输出，发现全量同步可以完成，增量同步不生效，排查sqoop参数发现问题，具体情况举例说明。(业务库为其他的mysql等可换jdbc连接串）结果表： 各省截止6点的完成订单数量（每天）hive表：app.order_info_province_total_di字段：province，sum_order 分区字段：ptoracle结果表：同名不同不同库。
2023-12-12 18:09:17
512
原创 sqoop生成秘钥串hadoop导入导出
sqoop进行import和export时 需要验证导入数据库的用户和密码，一般密码都是要求数字字母和符号相结合，–password的参数可能不一定能识该密码信息。也有安全部分考虑，sqoop脚本中不能有明文的密码，为此可选择在HDFS上生成秘钥串已密钥库存储模式进行数据的导入和导出。避坑：创建的文件上级目录 hadoop执行用户要有权限才可以，否则会抛异常。
2022-10-28 14:42:23
873
原创 基于sqoop将hive数据导入到Oracle中
根据项目的需要，数据要从hive的app层导出到oracle进行数据结果的加工及展示在相应的系统上。hive的分区表数据–>oracle的实体表中数据表oracle创建:(字段与hive保持一致）sqoop中导入可能存在的问题，hive表的存储格式为textfile时，使用export-dir参数时导入的数据会有脏数据的情况，记得要手动处理掉！！sqoop版本1.4.4Z之后建议选择hcatalog参数进行导入。......
2022-06-21 10:32:39
3321
原创 基于python实现学生管理系统
学生管理系统1：添加学生信息2：删除学生信息3：修改学生信息4：查询学生信息5：遍历学生信息6：保存学生信息7：退出系统
2022-03-10 17:38:01
409
原创 年底总结小作文
年底总结小作文Hello，小伙伴们，2020年的除夕夜马上到了，今年注定是不平凡的一年，疫情影响了很多人的工作及生活。去年的不愉快就让他过去吧，新的一年，牛气冲天！！！去年的目标也没实现，今年的目标还没开始定，感觉每一年的目标都在定，但是每一年都差好多，就健健康康的过好当下的一年就行了，每一年都要有所进步，希望明年的我看见今天写的小作文有所收获，愿身边的每一个人都健健康康，幸福美满，都牛起来，牛气起来，在这里祝CSDN的小伙伴们新年快乐，加油！！！！...
2021-02-08 15:14:04
86
原创 Mac使用DBeaver进行创建表并导入数据
Mac使用DBeaver进行创建表并导入数据hello，小伙伴们这节咱们讲一下如何创建表并导入数据，这款工具导入数据还是很快速的，话不多说，直接截图表示尊敬：创建表下载文档地址：https://github.com/mwaskom/seaborn-data（ps：里面是一些数据样例）增加列：可选数据类型、非空标识、自增标识、缺省、额外的、字符集、排序规则、注释等都可以选择性填入：点击保存点击执行即可：双击表查看表信息：截图表示尊敬：查看数据发现数据暂无，之后小伙伴们去下载csv
2021-01-20 15:49:26
7573
2
原创 Shell学习
Shell学习Hello，小伙伴们大家好，今天我又来码文了，今天简单的学习一下Shell吧！首先我介绍一下Shell使用场景吧，shell应该在运维方面运用的较多吧，数据开发、数据监控也需要写shell，hive中呢就是 hive -e 封装好脚本进行crontab的定时任务，发送邮件、日报等可能都需要去定时跑shell脚本，但是现在好像Python快取代了它，但是shell的强大毋庸质疑！！话不多说，进入正轨！！编辑自己的第一个shell脚本格式要求，环境变量需要：#!/bin/bash 截图标
2021-01-20 11:33:24
95
原创 Hive中的一些ALTER属性语句集合
Hive修改表名集合首先讲解一下hive这个hadoop的组件之一，目前hive已经作为离线数仓分析常用的数据仓库，主要是分析离线数据：t+1天的数据，HDFS存储，hive底层还是调用的java的mr方法，只是通过简单的hql进行转化成了map reduce进行计算：节点目前10个以上吧至少目前我接触的都是10个节点以上的集群，客户端上我用过传统的客户端hive的，配置环境变量就可以，还有就是kinit hive客户端。版本上 现在版本 都是hive 2.0以上了，亲测还可以 可以使用in子查询。话不
2021-01-18 19:58:25
1082
原创 Mac使用DBeaver，简单详细介绍下使用场景及功能
Mac使用DBeaver，简单详细介绍下使用场景及功能Mac使用DBeaver，简单详细介绍下使用场景及功能Hello，大家好，简单说一下应用场景，目前市面上比较主流的数据库连接开发工具基本上就是PL/Sql、Navicat，银行、金融行业基本上都是这两个吧，还有其他内部也有使用Oracle Deceloper的，体验度感觉PL/SQL更好用一些，更贴合数据库底层的应用吧！ 这都是Windows版的，功能多的就不一一介绍了，毕竟大家都用过，现在简单的介绍一下DBeaver吧 开源的数据库连接开工具 wi
2021-01-18 15:32:55
9029
12
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人