- 博客(8)
- 收藏
- 关注
原创 DolphinScheduler1.3.9工作流内任务依赖执行源码解读
Dolphinscheduler 1.3.9的工作流内部依赖任务执行过程分析
2023-08-29 17:46:09 253
原创 Mybatis-Plus分页查询配置及实现
1.依赖<dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-plus-boot-starter</artifactId> <version>${mybatis-plus.version}</version></dependency><!-- https://mvnrepository.com/artifac
2021-06-03 16:08:46 943
原创 Mysql主从+Mycat读写分离搭建
一:MYSQL主从配置 1.1 部署环境 主(master_mysql): 172.20.94.206 从(slave_mysql): 172.20.94.207 1.2 配置文件 /etc/my.cnf[mysqld]user=mysql# Disabling symbolic-links ...
2018-12-06 11:30:53 252
原创 HiveSQL正则表达式的应用
最近工作中数据处理方面用到很多不是特别容易处理的数据,用正则表达式的话会让语句显得特别精简,也可以用各种字符串截取函数嵌套处理(必须要有一定规律),总结一下经常用到的几个。1.正则的通配符简介 1)正则表达式的符号及意义 ^ 表示开头 $ 表示结尾 . 表示任意字符 * 表示任意多个/ 做为转意,即通常在...
2018-10-22 17:08:50 25536 6
原创 JAVA基本算法------冒泡、插入、快速排序
一、冒泡排序1.原理冒泡排序顾名思义就是整个过程像气泡一样往上升,单向冒泡排序的基本思想是(假设由小到大排序):对于给定n个记录,从第一个记录开始依次对相邻的两个记录进行比较,当前面的记录大于后面的记录时,交换位置,进行一轮比较和换位后,n个记录的最大记录将位于第n位,然后对前(n-1)个记录进行第二轮比较;重复该过程,直到记录剩下一个为止。2.示例{2,9,1,5,4,6,8
2018-01-29 17:49:16 208
原创 sqoop增量导入及导入hive中分隔符自定义指定
核心参数–check-column 用来指定一些列,这些列在增量导入时用来检查这些数据是否作为增量数据进行导入,和关系型数据库中的自增字段及时间戳类似. 注意:这些被指定的列的类型不能使任意字符类型,如char、varchar等类型都是不可以的,同时–check-column可以去指定多个列–incremental 用来指定增量导入的模式,两种模式分别为Append和Lastm
2018-01-14 23:28:40 5208
转载 数据库三大范式
数据库的设计范式是数据库设计所需要满足的规范,满足这些规范的数据库是简洁的、结构明晰的,同时,不会发生插入(insert)、删除(delete)和更新(update)操作异常。反之则是乱七八糟,不仅给数据库的编程人员制造麻烦,而且面目可憎,可能存储了大量不需要的冗余信息。 范式说明 1.1 第一范式(1NF)无重复的列 所谓第一范式(1NF)
2018-01-12 22:25:06 263
转载 大数据ETL详解
ETL是BI项目最重要的一个环节,通常情况下ETL会花掉整个项目的1/3的时间,ETL设计的好坏直接关接到BI项目的成败。ETL也是一个长期的过程,只有不断的发现问题并解决问题,才能使ETL运行效率更高,为项目后期开发提供准确的数据。 ETL的设计分三部分:数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候也是从这三部分出发。数据的抽取是从各个不同的数据源抽取到ODS中(这个过程也
2018-01-12 22:24:11 21064 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人