![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 63
D2cOneluo
擅长数据库操作、linux脚本,先后接触使用过包括tdh、hadoop、hive、oracle、elk、db2在内的分布式、关系式多种数据库。常年混迹于各银行做ETL,数据分析工作,拥有无数写bug删库经验,最擅长脚本 rm -rf /*
展开
-
数据库操作常用技巧
随时更新1、不要用聊天工具发sql语句2.操作数据之前先select一下3.操作数据之前注意量级4.update时更新修改人和修改时间5.多用逻辑删除,少用物理删除6.操作数据之前先做备份7.表名前面一定要带库名8.新加字段一定要注意非空或者主键限制无论是开发、测试,还是DBA,都难免会涉及到数据库的操作,比如:创建某张表,添加某个字段、添加数据、更新数据、删除数据、查询数据等等。正常情况下还好,但如果操作数据库时出现失误,比如:删除订单数据时where条件写错了,导致多删了很多用户订单。更新会员原创 2021-03-24 16:24:56 · 540 阅读 · 2 评论 -
TDH备份存储过程、日志包范本
以下为个人备份存储过程、日志包范本,无实际学习概念,别浪费时间看了。1、建表语句drop table if exists lee_joblog;create table lee_joblog( proname string default null ,tabname string default null ,step string default null ,accdate string default null ,status string原创 2020-06-19 16:16:26 · 663 阅读 · 0 评论 -
sql函数记录
分析函数 NTILESELECT a, NTILE(10) OVER (ORDER BY a ) FROM lee;效果如下:原创 2020-05-14 11:26:45 · 309 阅读 · 0 评论 -
TDH如何在inceptor中使用分号(分号键在编辑存储过程中报错)
个人在编写sql存储过程的时候有使用分号的习惯,在inceptor的默认配置中也会识别分号为sql结束,但是beeline中默认的并不是分号为结束,所以当你用beeline命令进行编译存储时就会报错,如果要想在存储过程中使用分号应该进行如下的设置1.在beeline客户端中使用分号方法:1)在plsql 文件头部,加上一条set 命令:CLI+HiveServer1:set plsql.use.slash=true;Beeline+HiveServer2:!set plsqlUseSlash tru原创 2020-05-13 19:57:34 · 903 阅读 · 0 评论 -
beeline/hdfs 常用命令
hdfs查看所有数据磁盘使用率hdfs dfs -du -s -h /inceptor1/user/hive/warehouse/*原创 2020-04-27 14:23:45 · 1142 阅读 · 0 评论 -
tdh导出全部建表语句/视图/存储
业务场景:移库的时候需要导出库内的所有脚本,但是waterdrop无法全量导出(之前用正版可以,这边甲方抠搜的,用的老版本的那种,你懂得),没办法手动刀把;源码:export.cfgserver112='"连接方式"'server37='"连接方式"'export.sh#/bin/bash##############################################...原创 2020-04-24 16:14:33 · 1214 阅读 · 0 评论 -
星环hadoop创建一个uuid函数
业务场景:创建的SRC 表需要一个离散度足够高的主键,此时最好的办法就是创建一个随机数,尝试使用 sequence 效率忽高忽低,咨询星环售后也给不出具体原因,只是说不建议使用,所以用java创建一个 函数返回全局随机不重复值(星环有自己的uuid()包,如果可以让星环进行发布的话最好)。源码:CREATE OR REPLACE FUNCTION lee_uuid()RETURN STRI...原创 2020-04-22 10:11:55 · 602 阅读 · 0 评论 -
hadoop 抽数脚本
#一共分为两部分:##1、将 hadoop 数据库中的表数据抽到 TDH 服务器。beeline -u "jdbc:hive2://bd-dn07:10000/picrm;principal=hive/bd-dn07@TDH;kuser=picrm@TDH;keytab=/home/picrm/TDH-Client/picrm.keytab;auth=kerberos;krb5conf=/ho...原创 2020-01-20 13:43:35 · 412 阅读 · 0 评论 -
for循环写法
建表语句:CREATE TABLE lee_temp(id STRING ,name STRING)COMMENT '临时表'CLUSTERED BY 'id'INTO 11 BUCKETSSTORED AS ORCTBLPROPERTIES('TRANSACTIONAL' = 'TRUE');循环体:DECLAREi NUMBER;BEGINi := 1;...原创 2020-01-20 09:27:50 · 197 阅读 · 0 评论