- 博客(7)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Greenplum批量操作，数据库里面作删除更新速度最快
这是记一次线上GP大数据库 大量重复问题解决方案 1 建临时表，把重复的数据备份，2 在备份库用查询条件去删除正式表最近在玩Greenplum 数据库， 一款分布式的数据库 ，MPP架构，但是有好的也有不如意的，总体感觉还是不错，底层数据库还是用PostgreSQL8.2版本， 因为我是GP4.2嘛， 最新版本的GP6.0是基本PostgreSQL9.2，在性能上提高了不少。先说下，...
2019-12-26 17:46:03
4213
1
原创 两个List进行比较，进行新增，删除，修改等操作
第一 两个list要进行 新增，删除，和修改的标记，然后到数据进行相应操作， 能够处理的情况有两种，第一种 是把两种结果相互比较，放到MAP里，取出为NULL说明是另一个LIST没有的KEY，第二种， 找到相同的ID值后， 标记出来，然后加到删除的list里第一种方式的代码 封装到map是为了减少循环次数 ， 还是可以进行优化， 用SET去重，那就不需要封装两次LIST...
2019-12-24 10:03:29
6809
原创 Spring Boot1.5 使用 Swagger文档接口
Swagger 简介Swagger 是一套基于 OpenAPI 规范构建的开源工具，可以帮助我们设计、构建、记录以及使用 Rest API。Swagger 主要包含了以下三个部分：Swagger Editor：基于浏览器的编辑器，我们可以使用它编写我们 OpenAPI 规范。 Swagger UI：它会将我们编写的 OpenAPI 规范呈现为交互式的 API 文档，后文我将使用浏览器来查...
2019-12-19 16:17:48
2348
1
原创 mybatis批量插入和批量修改删除
第一， 是组装自己的的LIST 传入参数，再循环得到对象先贴 xml代码 update 的时候， mysql数据库， 一定要加上双线单引号，否则会报错，找不到数据库属性<!-- 增加SNMP --><insert id="insertAllSnmp" parameterType="java.util.List"> insert into tb_d...
2019-12-13 16:18:23
241
原创 List使用Stream 分组求和groupingBy， collect、reduce方法流数据处理
jdk8 流式数据处理太灵活，一下了还不太好掌握 ，下面记录一些操作，方便使用的时候参考 public void testCodeSum() { Foo foo1 = new Foo(1, 2, 5); Foo foo2 = new Foo(2, 23, 6); Foo foo3 = new Foo(2, 6, 7); ...
2019-12-06 22:13:00
6311
原创 kafka不同组消费同一主题topic生产者配置
因数涉及到数据的原子性，必须多个分组消费同一消费主题，写入数据库后， 可以自行回回滚数据，重新消费，不影响其它数据消费的目的，实现分批次拉取数据等，也是走了很多坑第一， 是环境兼容性问题，高版本可能更容易实现多分组消费同一主题topic依赖环境 springboot15.0+spring-kafka-1.1.1.RELEASE<parent> <group...
2019-12-06 11:30:46
7206
原创 kafka定时任务拉取数据
1 定时任务两种， 2 消费分组消费从哪里开始，不消费历史数据 定时主要是为了延迟拉消费，最简单方式 直接批量拉取之后， ack批量提交后， 线程挂起3秒，更好达到效果 if (kafuKfaUtils.insertFlowdata(jsonarray, map)) { ack.acknowledge(); ...
2019-12-04 20:42:56
7371
1
hadoop2.8.1+hadoop+winutils编译包
2018-09-01
android2.3源代码下载
2011-04-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人