- 博客(7)
- 资源 (3)
- 收藏
- 关注
原创 Greenplum批量操作,数据库里面作删除更新速度最快
这是记一次线上GP大数据库 大量重复问题解决方案 1 建临时表,把重复的数据备份,2 在备份库用查询条件去删除正式表最近在玩Greenplum 数据库, 一款分布式的数据库 ,MPP架构,但是有好的也有不如意的,总体感觉还是不错,底层数据库还是用PostgreSQL8.2版本, 因为我是GP4.2嘛, 最新版本的GP6.0是基本PostgreSQL9.2,在性能上提高了不少。先说下,...
2019-12-26 17:46:03 4213 1
原创 两个List进行比较,进行新增,删除,修改等操作
第一 两个list要进行 新增,删除,和修改的标记,然后到数据进行相应操作, 能够处理的情况有两种,第一种 是把两种结果相互比较,放到MAP里,取出为NULL说明是另一个LIST没有的KEY,第二种, 找到相同的ID值后, 标记出来,然后加到删除的list里第一种方式的代码 封装到map是为了减少循环次数 , 还是可以进行优化, 用SET去重,那就不需要封装两次LIST...
2019-12-24 10:03:29 6809
原创 Spring Boot1.5 使用 Swagger文档接口
Swagger 简介Swagger 是一套基于 OpenAPI 规范构建的开源工具,可以帮助我们设计、构建、记录以及使用 Rest API。Swagger 主要包含了以下三个部分:Swagger Editor:基于浏览器的编辑器,我们可以使用它编写我们 OpenAPI 规范。 Swagger UI:它会将我们编写的 OpenAPI 规范呈现为交互式的 API 文档,后文我将使用浏览器来查...
2019-12-19 16:17:48 2348 1
原创 mybatis批量插入和批量修改删除
第一, 是组装自己的的LIST 传入参数,再循环得到对象先贴 xml代码 update 的时候, mysql数据库, 一定要加上双线单引号,否则会报错,找不到数据库属性<!-- 增加SNMP --><insert id="insertAllSnmp" parameterType="java.util.List"> insert into tb_d...
2019-12-13 16:18:23 241
原创 List使用Stream 分组求和groupingBy, collect、reduce方法流数据处理
jdk8 流式数据处理太灵活,一下了还不太好掌握 ,下面记录一些操作,方便使用的时候参考 public void testCodeSum() { Foo foo1 = new Foo(1, 2, 5); Foo foo2 = new Foo(2, 23, 6); Foo foo3 = new Foo(2, 6, 7); ...
2019-12-06 22:13:00 6311
原创 kafka不同组消费同一主题topic生产者配置
因数涉及到数据的原子性,必须多个分组消费同一消费主题,写入数据库后, 可以自行回回滚数据,重新消费,不影响其它数据消费的目的,实现分批次拉取数据等,也是走了很多坑第一, 是环境兼容性问题,高版本可能更容易实现多分组消费同一主题topic依赖环境 springboot15.0+spring-kafka-1.1.1.RELEASE<parent> <group...
2019-12-06 11:30:46 7206
原创 kafka定时任务拉取数据
1 定时任务两种, 2 消费分组消费从哪里开始,不消费历史数据 定时主要是为了延迟拉消费,最简单方式 直接批量拉取之后, ack批量提交后, 线程挂起3秒,更好达到效果 if (kafuKfaUtils.insertFlowdata(jsonarray, map)) { ack.acknowledge(); ...
2019-12-04 20:42:56 7371 1
hadoop2.8.1+hadoop+winutils编译包
2018-09-01
android2.3源代码下载
2011-04-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人