Karma1670-CSDN博客

原创文本/代码编辑器notepad++ mac os上替代品 notepadnext 和 notepad--

地址: https://github.com/dail8859/NotepadNext/releases。

2022-12-14 14:35:03 5686 1

原创产品价格变动带来的结算金额处理逻辑 lead/lag函数的使用

lead/lag 函数的使用场景

2022-10-28 15:49:21 697

原创 hive 任务日期设置(分区和业务日期)

回跑任务的时候需要输入参数,正常情况下是需要输入 20220808 2022-08-07 2个参数.但有时候忘记输入业务日期,那么第一个参数就是分区,第二个参数去分区日期的前一天[yyyy-mm-dd格式]# 参数1：dt是分区[yyyymmdd] 参数2：d是业务日期[yyyy-mm-dd]这段代码写在shell脚本 hive -e的前边。...

2022-08-08 15:02:44 1171

原创 hive转义问题详解

hive转义问题详解_一头秀发的刘大叔的博客-CSDN博客_hive 转义字符

2022-08-01 18:09:36 408

原创 mysql数据存了回车符(CRLF)导致hive数据错位

Mysql数据同步到hive表的时候，hive的数据错位，就是找不到原因。后来发现是mysql存的数据有回车符。需要把mysql数据导出来为.txt格式的文件，用Windows下面的notepad打开才能看到。notepad软件没有Mac系统的版本。如图一所示“/data/20210125/....”和“机审极速下款”的中间有CRLF字样。“/data/20210125/....”被移到了第38行。...

2022-07-15 18:06:51 981

原创 hive 整形(bigint)和decimal类型相加丢精度的问题

在hive中计算收入出现的一个问题：收入计算公式是若干个数据项相加，total_income = income_a+income_b+income_c+......有的数据项原本就是整形，不带小数点的，表结构里面此项是bigint类型。有的数据项就是带小数点的，设置的decimal(18,2)。当这些数据项相加的时候，总收入却是整形。bigint+decimal(18,2) --->bigint，而且不是把bigint强制转换为decimal后再和其他项相加之后再四舍五入得来的整形。所以这里需要注意的是如果

2022-06-22 11:47:17 1346

原创一个忽视的计算错误---还款人数

用户会存在短时间内(一个小时/一天内) 多笔还款的行为，这种情况是正常的。产生这种现象的原因是1.用户提前还款2.资方回调了批量的还款记录。可能是因为允许用户一次性还剩下所有期数的还款。所以还款人数需要去重处理。......

2022-06-13 11:25:10 134

原创 FAILED: ParseException line 93:74 mismatched input ‘＜EOF＞‘ expecting ) near ‘)‘ in subquery source

如图：报错提示是93行有问题这里的93行是我下图的151行经测试是分号;导致的,即使是注释

2022-05-13 17:33:50 2115

原创报错:Hive Runtime Error: Map local work exhausted memory

因为join的左表有orc格式的.解决方法:在脚本里面增加配置内容set hive.support.concurrency=false;

2022-04-18 15:02:34 1683

原创 Mac OS 读写NTFS的软件（实测OK）

「NTFS-Pro-Installer.pkg」，点击链接保存，或者复制本段内容，打开「阿里云盘」APP ，无需下载极速在线查看，视频原画倍速播放。链接：https://www.aliyundrive.com/s/MMfqiGHKiZz

2022-04-17 18:31:00 514

原创 Azkaban停留在 Logging initialized using configuration in jar:file:/application/cloudera/parcels/XXXXXX

现象 Azkaban停留在Logging initialized using configuration in jar:file:/application/cloudera/parcels/CDH-5.16.2-1.cdh5.16.2.p0.8/jars/hive-common-1.1.0-cdh5.16.2.jar!/hive-log4j.properties 一直不动16-03-2022 05:00:12 CST tb_product_order_large_minutes INFO -..

2022-03-16 14:33:48 2815

原创 impala jdbc驱动jar包

官网打不开在github上面找到了Shmily/ImpalaJDBC41.jar at master · Shmilyqjj/Shmily · GitHub

2022-03-10 11:33:20 1991

原创 Mac os系统操作关闭miui12.5充电提示音bug(亲测可用)

1.打开终端安装brew 安装后重启下终端或者根据提示source一下快速安装brew/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"2. brew 安装Android platform-toolsbrew install cask android-platform-tools3.验证是否连接成功adb devicesadb sh..

2022-02-26 16:37:28 1046

原创 hue上sql运行的结果和Azkaban上运行的结果不一致.

Azkaban上是shell脚本调用sql内容hive -e "sql代码"把sql代码放在hue上运行和用Azkaban上运行。发现2者的运行结果不一样。原因如下。and event = '$AppClick' ---在hue上运行不需要加转义符\and event = '\$AppClick' ---在Azkaban上运行需要加转义符\因为$符号是特殊符号,shell脚本里面的sql代码里面需要做转义符处理。另外最好在Azkaban的运行日志里面把sql语句打印出来。如下

2022-01-21 14:23:46 1546

原创 mongodb源表到hive表的同步

mongodb源表--->group3_mongo.appbehaviorpoint(hive) --->ods.appbehaviorpoint(hive)group3_mongo.appbehaviorpoint 只是个mongodb到hive的映射ods.appbehaviorpoint 才是真正的同步目标表-----------------------------------------1.如果mongodb源表增加了字段,那么group3_mongo.appbeha

2022-01-09 15:19:46 1010

原创 Azkaban报错

shell脚本里面用hive -e" xxxxxx " 来运行sql。 xxxxx是sql内容。shell脚本是在windows环境下用idea编写的。把sql内容单独放在hue上运行成功,但是用azkaban运行报错。查找报错原因又说是用了hive关键词，发现user是关键词。把user改为users. 但是仍然报错。报错如下所示：05-01-2022 18:34:25 CST rny_loan_officer_city INFO - Logging initialized usin

2022-01-05 18:47:15 1167

原创调度工具-海豚调度

Apache DolphinScheduler | 首页

2021-12-31 11:17:22 2077

原创 dbeaver编辑表结构和调整字段的顺序

DBeaver怎么才能编辑表? - 知乎 (zhihu.com)同样一个账号，navicat可以设计表(编辑表结构)，而dbeaver不可以。需要在数据库连接中修改配置。但不知道为什么hive还是不行，而且dbeaver不知道怎么调整字段的顺序，无法上移下移。...

2021-12-30 18:29:23 24298 4

原创 QuickBI 二级分区表预览失败解决

QuickBI数据集报错"xxx is full scan with all partitions, please specify partition predicates." (aliyun.com)ODPS二级分区表，两个分区字段都是string类型，数据集上勾选了全表扫描，数据集预览仍旧报错。以往的一级分区表分区字段也是string类型，只要勾选全表扫描，预览就正常。Table(group3_data_workspace,test_realtime_api_3) is full sca...

2021-10-22 15:07:21 1698

原创开源数据实时采集和ETL工具 streamsets

如何在CDH中安装和使用StreamSets - 云+社区 - 腾讯云

2021-09-17 16:52:38 944

原创开源数据仓库建模软件pdman

PDMan数据库建模下载地址：Windows/Mac/Linuxchiner Releases - Gitee

2021-09-17 16:35:31 568

原创 DataX执行报错error occurred during initialization of vm.could not reserve enough space for object heap

使用了最新python3.9.导致报错。然后以为是给的内存条少了。但是这里给了1g内存。调大到4g还是同样的错误。怀疑是python版本太高了。卸载掉python3.9 使用3.6.发现使用下列2种都报错。python datax.py .\job\job.jsonpython datax.py ./job/job.json使用绝对路径才可以python datax.py D:\app\datax\job\job.json...

2021-07-30 16:25:02 898

原创 Windows10安装DataX

datax下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

2021-07-30 14:24:05 448

原创 oracle goldengate (ogg)高版本&历史版本下载地址

高版本：https://www.oracle.com/middleware/technologies/goldengate-downloads.html历史版本：http://edelivery.oracle.com/osdc/faces/Home.jspx一些低版本的需要在第二个网址里面才能找到。下载之前都登录Oracle账号。

2021-07-28 15:30:36 4084

原创 OGG报错编号以及解决方法--官方英文

网址：https://docs.oracle.com/goldengate/1212/gg-winux/GMESG/oggus.htm#GMESG110

2021-07-28 11:00:24 520

转载 GOLDENGATE运维手册

OGG常用监控命令说明对GoldenGate实例进行监控，最简单的办法是通过GGSCI命令行的方式进行。通过在命令行输入一系列命令，并查看返回信息，来判断GoldenGate运行情况是否正常。命令行返回的信息包括整体概况、进程运行状态、检查点信息、参数文件配置、延时等。除了直接通过主机登录GGSCI界面之外，也可以通过GoldenGateDirectorWeb界面登录到每个GoldenGate实例，并运行GGSCI命令。假如客户部署了很多GoldenGate实例，如果单独登录到每个实例的GG..

2021-07-24 14:48:16 2684

转载 OGG常见故障排除

故障（1）错误信息：OGG-00446 Could not find archived log for sequence 53586 thread 1 under alternative destinations. SQL . Last alternative log tried /arch_cx/1_53586_776148274.arc., error retri eving redo file name for sequence 53586, archived = 1, use_alter

2021-07-24 14:40:37 2606

转载 OGG基础知识整理

一、GoldenGate介绍GoldenGate软件是一种基于日志的结构化数据复制软件。GoldenGate能够实现大量交易数据的实时捕捉、变换和投递，实现源数据库与目标数据库的数据同步，保持亚秒级的数据延迟。GoldenGate能够支持多种拓扑结构，包括一对一，一对多，多对一，层叠和双向复制等等。GoldenGate基本架构...

2021-07-24 13:42:35 1120

原创基于日志的CDC（变化数据捕获）

场景：源端往目标端同步数据，如果源端数据记录被删除，如何保证目标端数据和源端数据一致？在这里使用常规的etl工具做抽取是不行的，只能插入和更新已有的记录。这里使用基于日志的变化数据捕获---oracle golden gate. 坏处是这个软件不如etl工具容易使用，不好维护。...

2021-07-19 21:56:57 802

原创 tableau prep builder etl工具使用注意事项

server版本号：2020.4.01.使用本地的tableau prep builder来做etl流程，不要图方便在server网页端开发流程，会产生很多莫名其妙的报错。比如数据缓存问题。流程在不断的更改迭代，但最终的输出数据却没变，重启server端有时候也没有用。tableau 的内部机制不适合于边修改流程边测试。2.流程的数据库连接每次编辑流程都需要重新输入密码，发布流程后要运行还是需要重新输入数据库密码，很烦人。3.流程依赖问题，b流程依赖于a流程的输出。如果a流程更改了流程里面的环节

2021-05-25 21:11:24 1588 2

原创计算机工作者使用电脑的一些感悟

1.用户名一定要用英文否则有些软件安装报错。按照网上的方法把中文用户名改为英文用户名的过程中，不知道为什么WIN10把原用户名下面的数据给删掉了。好气！2.软件安装在D盘，不要安装在默认的C盘。3.重要文件保存在网上一份，比如腾讯文档。...

2020-10-15 14:13:02 203

原创 Mysql 物化视图

myql最新的8.0不支持物化视图

2020-10-12 11:20:47 1516

原创商品id- item_id /条形码/skuid

商品id商品唯一标识条形码中国69开头 TM开头的代表是组合商品套装skuid最小存货单位

2020-09-27 11:19:56 2509

原创 Kettle-将不同表的数据输出到同一个xls表的不同sheet

如图所示：左边是数据表，右边是sheet名称。xls名称为Databank_UNO_month需要注意的是执行顺序是1.FAST指标 2.AIPL指标 3.。。。。。。依次类推使用【阻塞数据知道步骤都完成】控件控制执行顺序输出表配置1.因为FAST指标是第一个sheet.输出表配置如下2.AIPL指标是第二个sheet.输出表配置和第一个sheet FAST指标不一样。如下图所示。...

2020-09-18 11:19:57 2411 5

原创 Kettle 空字符串‘‘和Null不分的问题和解决

A表整个表往B表插入。报错某个字段为Null。实际上A表的这个报错字段并没有Null值，但是有空字符串''.需要在kettle.properties文件中增加一段代码。然后重启kettle就好了。KETTLE_EMPTY_STRING_DIFFERS_FROM_NULL=Y...

2020-08-24 17:39:02 1474

原创 mysql concat函数字符串连接null值后结果还是null值的问题解决

遇到一个问题：字符串与null值字符串连接不上。需要对有null值的列处理下，把null值替换为空字符串''.这样就可以了。

2020-08-04 15:39:16 780

原创阿里云DTS数据传输收费问题

这是购买订单信息。当时买的时候是买的DTS的数据同步功能。后来不小心使用了DTS的数据迁移功能,被收费了1200多。

2020-07-30 11:41:50 1089

原创提取sql查询语句中的表名 (from 和where 中间的table_name)

select substr(execute_sql,locate('from',execute_sql)+4,locate('where',execute_sql)-5) from table_name其中 execute_sql是列名,存储的是sql语句。另外需要注意的是 sql语句中from和表名表名和where只隔了一个字符串的距离.此sql才有效.如果不是，需要读者自己调试sql....

2020-06-16 15:56:50 2763