qq_52360873-CSDN博客

原创 Hive Sql （一）

1.HIVE的数据类型1.1.基本数据类型类型注释 STRING 文本型，数值也可以定义为该类型，并且可以运算，要注意的是排序会按照文本排序（如，9、10升序，因为10的第一个文本是1，因此10在9前面） INT/INTEGER 整型 DATE 日期型 2.2.复杂数据类型类型注释例子 ARRAY 一组有序字段，类型必须相同 ARRAY(1,2) MAP 一组无序的键值对，键的类型

2021-08-08 19:01:46 251

原创 Hive Sql（二）

HQL 与 SQL的区别查询语言 HQL SQL 数据存储位置 HDFS 块设备或者本地文件数据格式用户定义系统决定数据更新不支持支持索引无有执行 mapredurce executor 执行延迟高低可扩展性高低数据规模大小分区如果该表是个分区表，那么需要在where加上分区的限制如，该表的分区是 date，那么..

2021-08-08 18:56:07 840 1

原创 kettle 整体数据库迁移路径

具体迁移教程详见kettle 通过配置文件实现跨数据库全量同步表数据_qq_52360873的博客-CSDN博客kettle 通过配置文件实现跨数据库增量同步表数据_qq_52360873的博客-CSDN博客

2021-08-04 17:22:40 181

一、需求背景将数据库ORA中的ACCOUNT、OWNERS表增量迁移到数据库ORA2的ACCOUNT_KETTLE、OWNERS_KETTLE表中。（增量迁移指：仅更新上次同步时间至今所新增的数据，非重新更新全部数据）二、分析本次是在单表增量同步上多加了“配置文件、设置多个变量、循环”的步骤配置文件、设置变量指：事先将需求表相关信息记录在excel表中，目的是将相关表信息设置为变量便于做循环同步相关信息有：目标数据表名、源数据表名、主键、同步表名、时间键、有效键循环包括..

2021-08-04 17:03:37 844 1

原创 kettle 通过配置文件实现跨数据库全量同步表数据

一、需求背景现有数据库ORA(SOURCE_TABLE)，ORA2(TARGET_TABLE)；ORA里有EMP、DEPT表，ORA里有EMP1、DEPT1表；现需要将ORA的表全部同步到ORA2的表中。如图，该表记录了源表和目标表的表名（需要事前准备好）二、总体路径大job的路径小job的路径（循环同步数据）1、先从excel表获取源表和目标表的表名（转换）2、然后再循环同步每个表的数据（大JOB里嵌套的小JOB）三、步骤1、exce...

2021-08-04 13:55:37 1279 1

原创 kettle比较不同数据库表并更新

一、需求：存在两个不同的数据库 ORA 和 ORA，ORA有T_OWNERS表，ORA2有OWNERS表，先需要将T_OWNERS有但OWNERS没有的数据行更新到OWNERS中（如果是同一个数据库，使用写left join SQL语句即可）二、表结构T_OWNERS （更新的数据来源表）OWNERS（需要更新的表）三、主要路径四、步骤1、表输入-T_OWNERS2、表输入-OWNERS3、合并排序：注意连接方...

2021-08-04 00:43:28 3834 1

原创 kettle 用JIDN连接多数据库JOIN到同一张表

一、需求背景：现有两个数据库 ORA 和 ORA2 ；ORA数据库有EMP表，ORA2数据库有DEPT、EMP_DEPT表；需要将EMP和DEPT联结JOIN到EMP_DEPT表中（如果是在同一个数据库中，只需要写一个join的sql语句即可）二、表结构如下ORA 的EMP表ORA2 的DEPT表ORA2 的EMP_DEPT表（需要提前按需建表）三、JIDN连接方式前的文件配置这里用到JIDN的方式连接数据库，前提是要配置好文件（在文件里面插入要用...

2021-08-03 23:47:29 1089

原创 kettle同步错误原因到数据库的同步日志

需求背景：在源表ACCOUNT基础上对目标表T_ACCOUT做增量迁移；如果发生错误，则将错误原因更新到同步orcale的同步日志表t_tbrz中这里只展现如何同步错误原因到日志中，关于增量迁移的具体方法详见https://blog.csdn.net/qq_52360873/article/details/119335847总体路径：1、在第二个转换中，右键 ‘插入/更新’ 选定义错误处理2、填写错误描述列名3、新增 ‘样本行’ ，并联结，右键选择 ‘错误处理步骤’.

2021-08-03 22:55:05 1521

原创 kettle增量迁移

总体路径：转换1：转换2：转换3：

2021-08-02 22:55:06 307

原创 kettle全量迁移

需求：将t_account表的全部数据迁移到account表方法一（简单粗暴版，全部照搬迁移）步骤：1.新建转换→添加表输入和表输出→连接2.编辑表输入新建→数据库连接（记得先测试）→ 写入sql语句3.编辑表输出（填写红框部分即可）4.点击执行就可以啦方法二（利用字段选择插入/更新功能进行个性化迁移）步骤：1..新建转换→添加表输入、（字段选择）和插入/更新→连接注：字段选择（可选）根据需要添加2.编辑表输入、插...

2021-08-02 11:15:14 336

原创 oracle语法

1.数据迁移和备份环境——开发环境（测试环境），非生产环境目的——避免损失：避免ETL对生产环境中的数据误操作而造成企业损失动作——开发上线、调度：定时从开发库导出数据并导入到生产库案例1需求——将员工表导出导入cmd命令——导出—— >exp 用户名/密码 tables=emp rows=y file=F:\emp.dmp log=F:\emp.log导入—— >imp 用户名/密码 fromuser=用户名 touser=用户名 file=F:\emp.dmp comm

2021-08-01 15:58:57 116

原创数据库MYSQL笔记9——存储过程和存储函数

1.存储过程和存储函数概述存储过程和函数，是事前经过编写和存储在数据库中的SQL语句的集合；作用：不仅可以通过调用存储过程减少开发人员的工作，而且还减少了数据库和应用服务器之间的传输，从而提高工作效率。区别：存储函数：有自动返回值存储过程：无返回值，需要调用2.创建存储过程CREATE PROCEDURE procedure_name ([pro_parameter])BEGIN SQL语句END;3. 调用存储过程CALL procedure_n

2021-07-26 12:28:41 204

原创数据库MYSQL笔记9——条件控制语句

目录条件控制语句CASE WHENIFIFNULL条件控制语句CASE WHEN简单：CASE 字段 WHEN 预期值 THEN 结果1 ELSE 结果2 END条件表达式：CASEWHEN score>=90 THEN ‘优秀’WHEN score>=80 THEN ‘良好’WHEN score>=60 THEN ‘及格’ELSE ‘不及格’ END综合聚合函数使用取数—— MAX（CASE WHEN …THEN 字段数值 ELSE 0 END…）计数、加总—

2021-07-14 01:22:55 442

原创数据库MYSQL笔记8——函数

数值型数学计算绝对值ABS指数函数EXP四舍五入ROUND( , 保留位数)圆周率PI余数MODMOD(5,2)=1向上取整CEILCEIL(5.1)=6向下取整FLOORFLOOR(5.1)=50-1之间随机函数RAND幂运算POWERPOWER(2,3)=8平方根：SQRT数值型聚合计算计数COUNT(*)/(任意常数)——计算表的行数，包括NULL......

2021-07-14 01:13:39 1418

原创数据库MYSQL笔记7-数据备份与还原

1.备份的意义防丢失，防盗2.备份方式数据表备份, 单表数据备份, SQL备份, 增量备份.3.数据表（库）备份3.1备份结构（右键转储SQL文件）在navicat中对备份的数据表或者库右键点击“转储SQL文件”可进备份结构，也可以同时备份数据3.2备份数据（右键导出向导，txt文件）3.3 navicat，右键’备份’—新建备份（nb3文件）4.还原数据方案1: 使用SQL指令还原1.use选择数据库； 2.Source 备份文件所在路径;方案2：navicat，右键运行S

2021-07-13 23:24:44 138

原创数据库MYSQL笔记6—连接查询

目录连接查询分类交叉连接内连接外连接sub query子查询连接查询分类内连接,外连接,自然连接和交叉连接交叉连接交叉连接: cross join, 从一张表中循环取出每一条记录, 每条记录都去另外一张表的所有记录逐个进行匹配，并保留所有记录，最终形成的结果叫做笛卡尔积.语法：左表 [cross] join 右表。其中cross可以省略内连接三种形式SELECT ... FROM 表1 JOIN 表2 ON 连接条件;SELECT ... FROM 表1 JOIN 表2 WHE

2021-07-13 22:44:05 119

原创数据库MYSQL笔记5—DML增删改查

目录新增数据更新数据删除数据查询数据完整语法DISTINCT 去重CONCAT 、CONCAT_WS 字符拼接AS 别名FROM 数据来源Where筛选GROUP BY分组GROUP BY目的：聚合函数/去重Having筛选ORDER BY排序LIMIT限制个数新增数据插入方法一：单行Insert [ignore] into 表名（字段1,字段2,…） values (值1,值2,…), (值1,值2,…); 加上ignore后，会插入不存在的记录，当主键冲突（重复）时候，数据库会忽略这条数

2021-07-13 15:33:38 116

原创数据库MYSQL笔记4—数据表关系和范式

目录1.表之间的关系1.1. 一对一1.2. 一对多1.3. 多对多2. 范式Normal Format1.表之间的关系1.1. 一对一一张表的一条记录一定只能与另外一张表的一条记录进行对应; 反之亦然.举例：用户表: 姓名,性别,年龄,籍贯，职业,爱好,收入解决方案:将常用的和不常用的信息分离存储,分成两张表：表一：姓名,性别,年龄,籍贯表二：姓名,职业,爱好,收入1.2. 一对多一对多：一张表中有一条记录可以对应另外一张表中的多条记录; 但是返回过, 另外一张表的一条记录只能

2021-07-13 01:01:31 109

原创数据库MYSQL笔记3—索引

目录1.索引介绍和作用2.使用索引3.创建索引4.添加索引5.查询索引6.删除索引1.索引介绍和作用Mysql中提供了多种索引主键索引: primary key、唯一索引: unique key、全文索引: fulltext index、普通索引: index、全文索引: 针对文章内部的关键字进行索引索引，通俗来讲的话，好类比字典目录里面的拼音、偏旁一样，能根据拼音查找字词及更多的解释，而索引也一样，通过一种形式简单、搜寻高效的方法来找到想要的信息索引作用：可以提升查询效率、约束数据有效性前提条

2021-07-12 23:01:51 63

原创数据库MYSQL笔记2—字段

数据库MYSQL笔记2—字段目录数据库MYSQL笔记2—字段1. 主键primary key1.1. 创建方法1.2. 主键约束1.3. 更新主键 & 删除主键1.4. 使用逻辑主键2. 增自增长3. 唯一键unique key3.1. 创建方法3.2. 主键约束3.3. 更新主键 & 删除主键1. 主键primary key主键设置属于字段的约束之一1.1. 创建方法1、建表的时候加primary key约束（可多个主键）2、修改表字段的时候修改字段属性为primary

2021-07-12 22:43:33 93

原创数据库MYSQL笔记1—DDL和编码

数据库MYSQL笔记1—DDL和编码提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录数据库MYSQL笔记1—DDL和编码1. SQL分类1.1. DDL(Data Definition Language)1.2. DML(Data Manipulation Language)1.3. DCL(Data Control Language)1.4. DQ

2021-07-12 19:19:20 165

原创 python数据分析、可视化错题总结

行[0] 列[1]dataframe[ ['','','' ] ].groupby( , , )dict({})

2021-06-14 01:11:01 494 2

原创 python notes基础系列

目录1.day011.1. 算数运算符1.day011.1.算数运算符运算符描述优先级 + 加 3 - 减 3 * 乘或重复效果 2 ** 幂/次方 1 / 除 2 // 取整除 2 % 取余数 2 * 与str 结合示例：str="-" * 50print(str)输出结果：'-----------------...

2021-06-12 00:07:48 409

原创 pandas、numpy & mysql

pandas 和 mysql语法对比 ...

2021-06-12 00:07:13 261 2

qq_52360873的博客