- 博客(17)
- 收藏
- 关注
RSS订阅原创 oralce的时间戳数据同步到hive报脏数据错误
在同步数据的时候会出现一些公元前的数据，如下：1、Oracle和hive的时间范围不一致Oracle的时间戳类型 timestamp是从公元-4713 到9999hive的时间从1970-01-01开始在Oracle转化成hive的过程中导致无法转换，就会报脏数据的错误解决方案;将Oracle的日期类型转换成字符串类型，存入到hive库...
2022-01-24 10:33:03
2304
原创 hive报return code 2 错误
在使用dataphin 的工具时候，出现了管道任务执行成功，而到执行CDM层的逻辑表的时候执行失败。通常来说，管道任务执行成功后，逻辑表补数不因该出现问题才对。问题情况：1、通过集成管道任务进行数据同步，管道任务执行成功，没报任何错误。在查询整个表的数据时报错，报“Bad status for request TFetchResultsReq…”错误，但是查询部分字段是可以查询的。具体日志如下：Bad status for request TFetchResultsReq(fetchType=0, o
2021-12-14 15:40:43
4638
原创 oracle 字符串转数字
字符串转成数字CREATE OR REPLACE FUNCTION char_to_number( C VARCHAR2)RETURN FLOATISN number;BEGIN BEGIN N :=to_number(C); RETURN N; EXCEPTION WHEN OTHERS THEN RETURN null; END;E...
2019-07-11 16:52:34
12640
原创 oracle 字符串转日期
日期字段用字符来存取 ，后面想要转换成日期类型，那么要写函数char_to_date：CREATE OR REPLACE FUNCTION char_to_date (datestr VARCHAR2)RETURN dateISp_date DATE;BEGINSELECT TO_DATE (datestr,'yyyy-MM-dd hh24:mi:ss')INTO p_date...
2019-07-11 16:49:17
11772
1
原创 vbs编写昨天的日期，并生成文件夹
用TXT 文本写下面的代码,将TXT文本命名，并改变属性为vbs文件。getyesterday.vbs 的作用是获取当前日期的前一天的 6位数值Option ExplicitDim tday,ystr,mstr,dstrtday = dateadd("d",-1,date)ystr = year(tday)mstr = month(tday)if len(mstr) < 2 th...
2019-07-11 16:20:19
1029
原创 Linux后台启动应用服务器
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...
2019-07-11 15:58:30
1096
原创 python用pip导入第三库出现 ：Fatal error in launcher:
在网上查收了，有的说是python2和python3 共存出现额错误，后来发现是版本过低的锅。解决方法：用python -m pip list 查看python -m pip list看到图片给的信息，看出是版本过低造成的，那就根据提示进行升级：python -m pip install --upgrade pip升级好之后，就可以用pip 进行导入第三方库了...
2019-06-26 21:29:21
506
1
原创 oracle误删表
在操作数据的时候，一不小心把系统里的表给删了，不慌，还能救回来。哈哈哈。查询到这个My_Table表还在Oracle回收站中SELECT * FROM user_recyclebin WHERE original_name='My_Table';恢复：FLASHBACK TABLE My_Table TO BEFORE DROP;...
2019-04-12 16:37:04
356
原创 oracle 导出导入dmp文件
--创建表空间CREATE tablespace CDZ_DATA datafile 'E:\oracledate\CDZ_DATA.DBF' size 1024m autoextend on next 50m;--创建用户 CDZGL drop user CDZGL cascade;create user CDZGL identified by CDZGL default ta...
2019-04-12 16:31:57
143
原创 sqlldr 批量生成CTL文件
用sqlldr导进数据时，需要编写CTL文件，如果有多个数据文件，我们手动去编写CTL文件，就很费事，那么我们可以通过数据动态生成CTL文件。1、----创建目录---创建目录需要用管理员的权限，用sys用户create or replace directory BLOB_FILE_DIR as 'D:\CTL';--windows系统路径select * from dba_direc...
2019-04-12 15:40:34
3817
原创 ETL对文件数据进行处理，进入到数据仓库
对一些数据，我们不能直接从数据库抽取到数据仓库，而是以另一种形式存在，如bat文件、txt文本等，那么对于这些文件数据该如何处理。方法：（1）利用Oracle的SQL plus工具，对数据进行写入到原始的数据表（即再数据从仓库中建的表，用于存储文件的原始数据），然后再对原始的数据进行更新（U）、插入（I）、删除（D）操作即可注：原始的数据文件中的字段必须要有数据记录的操作类型，即U、I、D标识...
2019-04-01 23:33:44
1627
原创 小白数据处理，ETL后期数据校验
我们在做项目有很多时候，数据都是来自不同的系统。对于不同的系统的数据，数据形式多样，如bat文件、excel文件形式等，对于这些数据，我们后期需要如何取校对数据？1、后台数据和前端的业务系统进行较多，如：（1）在后台找到一些例子，在前端进行查询，多个校对，结果前后端一致，那么我们可以默认这是与系统一致的数据。注：这是针对系统的一些维度表，是以编码形式存在的，我们可以通过这种方式进行查找到对应...
2019-03-26 20:50:46
1194
原创 bat批处理，变量不生效
1、bat批处理命令执行机制：bat命令是按照一行一行执行.如for，if等命令，即使我们用括号也是按照一行来执行。因此，在用for 循环的时候，总是得不到想要的结果。“ 那是因为变量在赋值没有成功，而是一个空值。解决方法：利用变量延迟扩展即可 。即setlocal enabledelayedexpansion2、用了变量延迟，还是不行，可能是变量的写法不正确（1） 通常变量我们的格式 ...
2019-03-16 15:08:16
6011
1
原创 在执行bat文件的时候，一闪而过
写好的bat文件一闪而过，不知执行的情况，在程序添加 “pause”,就会让dos窗口停留，出现”按任意键继续…“如@echo offset a=hello worldrem 截取前5个字符echo %a:~0,5% pause可在dos窗口看到执行的结果...
2019-03-16 14:48:01
2651
原创 bat批处理前缀相同的文件
需要将一个目录下的文件按照文件名的前缀或后缀移动文件到相应的文件夹下面。要实现文件分类，我们需要获得文件的前缀，再用move命令移动文件。1、获取文件前缀，即截取文件的字符，截取字段函数格式为 %a:~[m[,n]]%@echo offset a=hello worldrem 截取前5个字符echo %a:~0,5% pause2、for 循环 ，利用循环历遍整个文件，找到符合的文...
2019-03-16 14:42:57
4147
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人