自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(217)
  • 资源 (27)
  • 收藏
  • 关注

原创 文本/代码编辑器notepad++ mac os上替代品 notepadnext 和 notepad--

地址: https://github.com/dail8859/NotepadNext/releases。

2022-12-14 14:35:03 3816 1

原创 产品价格变动带来的结算金额处理逻辑 lead/lag函数的使用

lead/lag 函数的使用场景

2022-10-28 15:49:21 632

原创 hive 任务日期设置(分区和业务日期)

回跑任务的时候需要输入参数,正常情况下是需要输入 20220808 2022-08-07 2个参数.但有时候忘记输入业务日期,那么第一个参数就是分区,第二个参数去分区日期的前一天[yyyy-mm-dd格式]# 参数1:dt是分区[yyyymmdd] 参数2:d是业务日期[yyyy-mm-dd]这段代码写在shell脚本 hive -e的前边。...

2022-08-08 15:02:44 1077

原创 hive转义问题详解

hive转义问题详解_一头秀发的刘大叔的博客-CSDN博客_hive 转义字符

2022-08-01 18:09:36 366

原创 mysql数据存了回车符(CRLF)导致hive数据错位

Mysql数据同步到hive表的时候,hive的数据错位,就是找不到原因。后来发现是mysql存的数据有回车符。需要把mysql数据导出来为.txt格式的文件,用Windows下面的notepad打开才能看到。notepad软件没有Mac系统的版本。如图一所示“/data/20210125/....”和“机审极速下款”的中间有CRLF字样。“/data/20210125/....”被移到了第38行。...

2022-07-15 18:06:51 902

原创 hive 整形(bigint)和decimal类型相加丢精度的问题

在hive中计算收入出现的一个问题:收入计算公式是若干个数据项相加,total_income = income_a+income_b+income_c+......有的数据项原本就是整形,不带小数点的,表结构里面此项是bigint类型。有的数据项就是带小数点的,设置的decimal(18,2)。当这些数据项相加的时候,总收入却是整形。bigint+decimal(18,2) --->bigint,而且不是把bigint强制转换为decimal后再和其他项相加之后再四舍五入得来的整形。所以这里需要注意的是如果

2022-06-22 11:47:17 1241

原创 一个忽视的计算错误---还款人数

用户会存在短时间内(一个小时/一天内) 多笔还款的行为,这种情况是正常的。产生这种现象的原因是1.用户提前还款2.资方回调了批量的还款记录。可能是因为允许用户一次性还剩下所有期数 的还款。所以还款人数需要去重处理。......

2022-06-13 11:25:10 109

原创 FAILED: ParseException line 93:74 mismatched input ‘<EOF>‘ expecting ) near ‘)‘ in subquery source

如图:报错提示是93行有问题这里的93行是我下图的151行经测试 是分号;导致的,即使是注释

2022-05-13 17:33:50 2018

原创 报错:Hive Runtime Error: Map local work exhausted memory

因为join的左表有orc格式的.解决方法:在脚本里面增加配置内容set hive.support.concurrency=false;

2022-04-18 15:02:34 1651

原创 Mac OS 读写NTFS的软件(实测OK)

「NTFS-Pro-Installer.pkg」,点击链接保存,或者复制本段内容,打开「阿里云盘」APP ,无需下载极速在线查看,视频原画倍速播放。 链接:https://www.aliyundrive.com/s/MMfqiGHKiZz

2022-04-17 18:31:00 481

原创 Azkaban停留在 Logging initialized using configuration in jar:file:/application/cloudera/parcels/XXXXXX

现象 Azkaban停留在Logging initialized using configuration in jar:file:/application/cloudera/parcels/CDH-5.16.2-1.cdh5.16.2.p0.8/jars/hive-common-1.1.0-cdh5.16.2.jar!/hive-log4j.properties 一直不动16-03-2022 05:00:12 CST tb_product_order_large_minutes INFO -..

2022-03-16 14:33:48 2781

原创 impala jdbc驱动jar包

官网打不开在github上面找到了​​​​​​Shmily/ImpalaJDBC41.jar at master · Shmilyqjj/Shmily · GitHub

2022-03-10 11:33:20 1885

原创 Mac os系统操作关闭miui12.5充电提示音bug(亲测可用)

1.打开终端 安装brew 安装后重启下终端或者根据提示source一下快速安装brew/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"2. brew 安装Android platform-toolsbrew install cask android-platform-tools3.验证是否连接成功adb devicesadb sh..

2022-02-26 16:37:28 943

原创 hue上sql运行的结果和Azkaban上运行的结果不一致.

Azkaban上是shell脚本调用sql内容hive -e "sql代码"把sql代码放在hue上运行和用Azkaban上运行。发现2者的运行结果不一样。原因如下。and event = '$AppClick' ---在hue上运行不需要加转义符\and event = '\$AppClick' ---在Azkaban上运行需要加转义符\因为$符号是特殊符号,shell脚本里面的sql代码里面需要做转义符处理。另外最好在Azkaban的运行日志里面把sql语句打印出来。如下

2022-01-21 14:23:46 1524

原创 mongodb源表到hive表的同步

mongodb源表--->group3_mongo.appbehaviorpoint(hive) --->ods.appbehaviorpoint(hive)group3_mongo.appbehaviorpoint 只是个mongodb到hive的映射ods.appbehaviorpoint 才是真正的同步目标表-----------------------------------------1.如果mongodb源表增加了字段,那么group3_mongo.appbeha

2022-01-09 15:19:46 974

原创 Azkaban报错

shell脚本里面用hive -e" xxxxxx " 来运行sql。 xxxxx是sql内容。shell脚本是在windows环境下用idea编写的。把sql内容单独放在hue上运行成功,但是用azkaban运行报错。查找报错原因又说是用了hive关键词,发现user是关键词。把user改为users. 但是仍然报错。报错如下所示:05-01-2022 18:34:25 CST rny_loan_officer_city INFO - Logging initialized usin

2022-01-05 18:47:15 1135

原创 调度工具-海豚调度

Apache DolphinScheduler | 首页

2021-12-31 11:17:22 1956

原创 dbeaver编辑表结构和调整字段的顺序

DBeaver怎么才能编辑表? - 知乎 (zhihu.com)同样一个账号,navicat可以设计表(编辑表结构),而dbeaver不可以。需要在数据库连接中修改配置。但不知道为什么hive还是不行,而且dbeaver不知道怎么调整字段的顺序,无法上移下移。...

2021-12-30 18:29:23 21311 4

原创 QuickBI 二级分区表预览失败解决

QuickBI数据集报错"xxx is full scan with all partitions, please specify partition predicates." (aliyun.com)ODPS二级分区表,两个分区字段都是string类型,数据集上勾选了全表扫描,数据集预览仍旧报错。以往的一级分区表分区字段也是string类型,只要勾选全表扫描,预览就正常。Table(group3_data_workspace,test_realtime_api_3) is full sca...

2021-10-22 15:07:21 1485

原创 开源数据实时采集和ETL工具 streamsets

如何在CDH中安装和使用StreamSets - 云+社区 - 腾讯云

2021-09-17 16:52:38 860

原创 开源数据仓库建模软件pdman

PDMan数据库建模下载地址:Windows/Mac/Linuxchiner Releases - Gitee

2021-09-17 16:35:31 516

原创 DataX执行报错error occurred during initialization of vm.could not reserve enough space for object heap

使用了最新python3.9.导致报错。然后以为是给的内存条少了。但是这里给了1g内存。调大到4g还是同样的错误。怀疑是python版本太高了。卸载掉python3.9 使用3.6.发现使用下列2种都报错。python datax.py .\job\job.jsonpython datax.py ./job/job.json使用绝对路径才可以python datax.py D:\app\datax\job\job.json...

2021-07-30 16:25:02 803

原创 Windows10安装DataX

datax下载地址:http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

2021-07-30 14:24:05 298

原创 oracle goldengate (ogg)高版本&历史版本下载地址

高版本:https://www.oracle.com/middleware/technologies/goldengate-downloads.html历史版本:http://edelivery.oracle.com/osdc/faces/Home.jspx一些低版本的需要在第二个网址里面才能找到。下载之前都登录Oracle账号。

2021-07-28 15:30:36 3617

原创 OGG报错编号以及解决方法--官方英文

网址:https://docs.oracle.com/goldengate/1212/gg-winux/GMESG/oggus.htm#GMESG110

2021-07-28 11:00:24 469

转载 GOLDENGATE运维手册

OGG常用监控命令说明对GoldenGate实例进行监控,最简单的办法是通过GGSCI命令行的方式进行。通过在命令行输入一系列命令,并查看返回信息,来判断GoldenGate运行情况是否正常。命令行返回的信息包括整体概况、进程运行状态、检查点信息、参数文件配置、延时等。除了直接通过主机登录GGSCI界面之外,也可以通过GoldenGateDirectorWeb界面登录到每个GoldenGate实例,并运行GGSCI命令。假如客户部署了很多GoldenGate实例,如果单独登录到每个实例的GG..

2021-07-24 14:48:16 2459

转载 OGG常见故障排除

故障(1)错误信息:OGG-00446 Could not find archived log for sequence 53586 thread 1 under alternative destinations. SQL . Last alternative log tried /arch_cx/1_53586_776148274.arc., error retri eving redo file name for sequence 53586, archived = 1, use_alter

2021-07-24 14:40:37 2518

转载 OGG基础知识整理

一、GoldenGate介绍GoldenGate软件是一种基于日志的结构化数据复制软件。GoldenGate能够实现大量交易数据的实时捕捉、变换和投递,实现源数据库与目标数据库的数据同步,保持亚秒级的数据延迟。GoldenGate能够支持多种拓扑结构,包括一对一,一对多,多对一,层叠和双向复制等等。GoldenGate基本架构...

2021-07-24 13:42:35 1056

原创 基于日志的CDC(变化数据捕获)

场景:源端往目标端同步数据,如果源端数据记录被删除,如何保证目标端数据和源端数据一致?在这里使用常规的etl工具做抽取是不行的,只能插入和更新已有的记录。这里使用基于日志的变化数据捕获---oracle golden gate. 坏处是这个软件不如etl工具容易使用,不好维护。...

2021-07-19 21:56:57 749

原创 tableau prep builder etl工具使用注意事项

server版本号:2020.4.01.使用本地的tableau prep builder来做etl流程,不要图方便在server网页端开发流程,会产生很多莫名其妙的报错。比如数据缓存问题。流程在不断的更改迭代,但最终的输出数据却没变,重启server端有时候也没有用。tableau 的内部机制不适合于边修改流程边测试。2.流程的数据库连接每次编辑流程都需要重新输入密码,发布流程后要运行还是需要重新输入数据库密码,很烦人。3.流程依赖问题,b流程依赖于a流程的输出。如果a流程更改了流程里面的环节

2021-05-25 21:11:24 1475 2

原创 计算机工作者使用电脑的一些感悟

1.用户名一定要用英文 否则有些软件安装报错。按照网上的方法把中文用户名改为英文用户名的过程中,不知道为什么WIN10把原用户名下面的数据给删掉了。好气!2.软件安装在D盘,不要安装在默认的C盘。3.重要文件保存在网上一份,比如腾讯文档。...

2020-10-15 14:13:02 190

原创 Mysql 物化视图

myql最新的8.0不支持物化视图

2020-10-12 11:20:47 1469

原创 商品id- item_id /条形码/skuid

商品id商品唯一标识条形码中国69开头 TM开头的代表是组合商品套装skuid最小存货单位

2020-09-27 11:19:56 2289

原创 Kettle-将不同表的数据输出到同一个xls表的不同sheet

如图所示:左边是数据表,右边是sheet名称。xls名称为Databank_UNO_month需要注意的是执行顺序是1.FAST指标 2.AIPL指标 3.。。。。。。 依次类推使用【阻塞数据知道步骤都完成】控件控制执行顺序输出表配置1.因为FAST指标是第一个sheet.输出表配置如下2.AIPL指标是第二个sheet.输出表配置和第一个sheet FAST指标不一样。如下图所示。...

2020-09-18 11:19:57 2226 5

原创 Kettle 空字符串‘‘和Null不分的问题和解决

A表整个表往B表插入。报错某个字段为Null。实际上A表的这个报错字段并没有Null值,但是有空字符串''.需要在kettle.properties文件中增加一段代码。然后重启kettle就好了。KETTLE_EMPTY_STRING_DIFFERS_FROM_NULL=Y...

2020-08-24 17:39:02 1411

原创 mysql concat函数字符串连接null值后结果还是null值的问题解决

遇到一个问题:字符串与null值字符串连接不上。需要对有null值的列处理下,把null值替换为空字符串''.这样就可以了。

2020-08-04 15:39:16 760

原创 阿里云DTS数据传输收费问题

这是购买订单信息。当时买的时候是买的DTS的数据同步功能。后来不小心使用了DTS的数据迁移功能,被收费了1200多。

2020-07-30 11:41:50 1026

原创 提取sql查询语句中的表名 (from 和where 中间的table_name)

select substr(execute_sql,locate('from',execute_sql)+4,locate('where',execute_sql)-5) from table_name其中 execute_sql是列名,存储的是sql语句。另外需要注意的是 sql语句中from和表名表名和where只隔了一个字符串的距离.此sql才有效.如果不是,需要读者自己调试sql....

2020-06-16 15:56:50 2689

原创 数据库导出csv文件数值格式精度丢失的解决方法

在会精度丢失的字段做如下处理concat("\t",column name)

2020-05-27 22:02:40 3619

原创 Kettle 参考书【Pentaho Kettle 解决方案:使用PDI构建开源ETL解决方案】

关于Kettle的书 找半天找到一本 【Pentaho Kettle 解决方案:使用PDI构建开源ETL解决方案】

2020-05-17 20:27:55 897 1

FarsightWatch原理图

FarsightWatch原理图

2016-12-14

fs4412 系统移植手册

fs4412 系统移植手册

2016-12-14

华清远见智能手表手册

华清远见智能手表手册用户手册

2016-12-14

Allwinner_H8_User_Manual

Allwinner_H8_User_Manual

2016-12-14

Allwinner A80 User Manual Revision1.1 20140929

Allwinner A80 User Manual Revision1.1 20140929

2016-12-14

ODROID-Magazine-201407.pdf

ODROID-Magazine-201407.pdf

2016-08-09

ODROID-Magazine-201403

ODROID-Magazine-201403

2016-08-09

ODROID-Magazine-201402.pdf

ODROID-Magazine-201402.pdf

2016-08-09

ODROID-Magazine-201401.pdf

ODROID-Magazine-201401.pdf

2016-08-09

odroid-c1-user-manual.pdf

odroid-c1-user-manual.pdf

2016-08-09

ODROID-Magazine-201405.pdf

ODROID-Magazine-201405

2016-08-09

exploring raspberry pi

Exploring_Raspberry_Pi.pdf 和exploring beaglebone 一个作者。

2016-08-09

STC89C52 中文手册

宏晶单片机STC89C52系列单片机 中文手册

2015-05-30

odroid magazine -201504

韩国 hardkernel 出品的odroid 系列开发板的杂志 2015年4月

2015-05-30

MTK6572 datasheet

mtk6572 datasheet MT6572是联发科技新一代采用28纳米制程的芯片产品,基于Cortex-A7架构,内建Mali-400图形处理器,MT6572也是联发科首个采用Mali-400 GPU的智能手机芯片。

2015-05-30

odroid-u3 原理图 v05

odroid u3 原理图 注意硬件版本是v05 还有一个版本是v02 原理图26页

2015-05-02

邪恶天才的精神表演项目

邪恶天才的精神表演项目 Mind.Performance.Projects.for.the.Evil.Genius.19.Brain-Bending.Bio.Hacks

2015-04-29

learning python,5th edition

learning python,5th edition

2015-04-20

getting started with processing

getting started with processing

2015-04-20

嵌入式Linux基础教程(embedded Linux primer)

embedded Linux primer 的中文版。由华清远见翻译。

2015-04-17

respberry pi home automation with arduino

respberry pi and arduino

2015-04-16

respberry pi mechatronics projects

respberry pi 的一本英文书。12个有趣的项目。

2015-04-15

odroid-U2 schematics

韩国hardkernel出品的开发板odroid-u2的原理图

2015-04-15

odroid-x schematics

韩国hardkernel 出品的odroid-x 开发板的原理图

2015-04-15

Android fot the beaglebone black

android for the beaglebone black

2015-04-15

Getting Started with Electronic Projects

LM555 zigbee beaglebone

2015-04-13

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除