自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

LMC技术人生专栏

技术人生,享受生活

原创 流量采集任务分配算法

任务分配算法,主要是轮询然后是 MAP利用数据结构, KEY里封装对象 再追加list 如 Map<String, List<String>> old_map = new HashMap(); old_map.get(same.getIsoCode()).add(n...

2020-02-25 19:20:41 174 0

原创 红包分配算法,总金额分配算法

最近要做一个 总数和分配几个点的数据, 但是又不能是平均值,所以写一个随机分配数,每个数的和加在一起等于总金额 类似于红包分配方式,解释说明都写在类里了 解释和说明 * 1 抢红包的期望收益应与先后顺序无关 2 保证每个用户至少能抢到一个预设的最小金额,人民币红包设置的最小金额一般是0.0...

2020-02-25 12:24:39 181 0

原创 redis+springboot1.5.6集群配置

线上碰到连接池无法获取问题 ,排查后,看到配置redis的地方有问题, RedisConnectionFailureException: Could not get a resource from the pool; nested exception is redis.clients.jedis...

2020-01-07 11:38:44 160 0

原创 Greenplum批量操作,数据库里面作删除更新速度最快

这是记一次线上GP大数据库 大量重复问题解决方案 1 建临时表,把重复的数据备份,2 在备份库用查询条件去删除正式表 最近在玩Greenplum 数据库, 一款分布式的数据库 ,MPP架构,但是有好的也有不如意的,总体感觉还是不错,底层数据库还是用PostgreSQL8.2版本, 因为我是GP4...

2019-12-26 17:46:03 463 0

原创 两个List进行比较,进行新增,删除,修改等操作

第一 两个list要进行 新增,删除,和修改的标记,然后到数据进行相应操作, 能够处理的情况有两种, 第一种 是把两种结果相互比较,放到MAP里,取出为NULL说明是另一个LIST没有的KEY, 第二种, 找到相同的ID值后, 标记出来,然后加到删除的list里 第一种方式的代码 封装到...

2019-12-24 10:03:29 215 0

原创 Spring Boot1.5 使用 Swagger文档接口

Swagger 简介 Swagger 是一套基于 OpenAPI 规范构建的开源工具,可以帮助我们设计、构建、记录以及使用 Rest API。Swagger 主要包含了以下三个部分: Swagger Editor:基于浏览器的编辑器,我们可以使用它编写我们 OpenAPI 规范。 Swagg...

2019-12-19 16:17:48 277 0

原创 mybatis批量插入和批量修改删除

第一, 是组装自己的的LIST 传入参数,再循环得到对象 先贴 xml代码 update 的时候, mysql数据库, 一定要加上双线单引号,否则会报错,找不到数据库属性 <!-- 增加SNMP --> <insert id="insertAllSnmp&qu...

2019-12-13 16:18:23 37 0

原创 List使用Stream 分组求和groupingBy, collect、reduce方法流数据处理

jdk8 流式数据处理太灵活,一下了还不太好掌握 ,下面记录一些操作,方便使用的时候参考 public void testCodeSum() { Foo foo1 = new Foo(1, 2, 5); Foo foo2 = new Foo(2, 23,...

2019-12-06 22:13:00 169 0

原创 kafka不同组消费同一主题topic生产者配置

因数涉及到数据的原子性,必须多个分组消费同一消费主题,写入数据库后, 可以自行回回滚数据,重新消费,不影响其它数据消费的目的,实现分批次拉取数据等,也是走了很多坑 第一, 是环境兼容性问题,高版本可能更容易实现多分组消费同一主题topic 依赖环境 springboot15.0+spring-...

2019-12-06 11:30:46 434 0

原创 kafka定时任务拉取数据

1 定时任务两种, 2 消费分组消费从哪里开始,不消费历史数据 定时主要是为了延迟拉消费,最简单方式 直接批量拉取之后, ack批量提交后, 线程挂起3秒,更好达到效果 if (kafuKfaUtils.insertFlowdata(jsonarray, map)) { ...

2019-12-04 20:42:56 613 0

原创 docker下读取txt文件找不到路径,必须copy到容器或者映射文件

今天遇到问题, 项目上传了一个GEO文件,但是在容器里运行的时候,找不到路径,因为容器里没有项目文件路径,只有一个JAR包, 这样的话,就要在容器里创建一个工作目录,然后打包容器的时候,把文件copy或者 add进容器里, 代码如下 1 第一步,docker 文件 createDockerF...

2019-11-28 13:13:31 1262 0

原创 kafka批量消费手动提交ACK

一次性拉取多条数据,消费后再手动提交ACK,因为要保存到数据库去, 这过程如果失败的话, 需要重新消费这些数据 所以 配置的时候,KAFKA不能自动提交 , 批量消费数据 设置ENABLE_AUTO_COMMIT_CONFIG=false,禁止自动提交 设置AckMode=MANUAL_I...

2019-11-27 21:08:52 672 4

原创 kafka-stream流式处理示例

一 首生是kafka -stream 版本号问题,然后是springboot1.5.6兼容问题,发现springboot2.0不支持kafka -stream1.0.2包 第一个是窗口聚合的初始值,第二个是进行聚合的聚合器,第三个就是窗口时间,第四个是类似于序列化的东西 KTable agg...

2019-11-15 15:32:59 71 0

原创 Logback异步日志输出的使用

<?xml version="1.0" encoding="UTF-8"?> <configuration scan="true" scanPeriod="60 seconds" debug=&quo...

2019-11-11 14:06:47 28 0

原创 两种轮询平均分配的算法

1 第二种简单轮询算法 1 定义一个变量保存索引值,然后每赋值一次, 就加1 用索引取值, 这样的话必须 是list才能取到里面的第几个 int f = 0; for (int j = 0; j < ziNode.size(); j++)...

2019-11-03 12:21:56 191 0

原创 JAVA + GeoLite2+ip定位,查询国家地理位置信息

最新要用到地理位置做区域划分,需要知道哪个ip属于哪个区,五大洲的区域划分,有两千个IP需要知道,并且查询频率比较高,每十分钟去查询一次, 最开始是用的第三方API去调用,比如淘宝,百度等,但是就怕请求太频繁了,哪天给我黑名单了, 那我线上程序就挂了,还有一个,在国内用的话,是比较方便...

2019-10-31 13:40:00 363 0

原创 list内部元素排序

自定义排序,降序排: Collections.sort(list, new Comparator<Record>() { @Override public int compare(Record o1, Record o2) ...

2019-10-25 15:19:18 24 0

原创 软著源代码快速提取java代码读写-mac

import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.File; import java.io.FileReader; import java.io.FileWriter; import java....

2019-10-22 18:51:43 74 0

原创 SourceTree 3.1.3安装过程,不需要注册

一、sourcetree的免注册安装过程 首先,下载windows版本的sourceTree。直接进入官网https://www.sourcetreeapp.com/下载 1.首先下载并安装好git程序。 2.接着下载并执行SourceTreeSetup-3.1.3.exe,会进入登录或...

2019-09-13 23:31:50 1361 0

原创 springboot+异步线程池使用

今天在调试流量采集信息的时候, 发现异步线程池不管用,无论怎么修改都无法启自定义的线程池,后来发现,springboot注解的方法,必须还是需要注入对象的方式调用,标准方式如下 * 一、异步方法使用static修饰 * 二、异步类没有使用@Component注解(或其他注解)导致spring无...

2019-06-26 22:16:41 1967 0

原创 MAC安装MYSQL

安装 Homebrew安装工具 官网https://brew.sh/index_zh-cn 输入下面命令去终端,然后按任意键继续 /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/i...

2019-06-19 18:23:38 554 0

原创 springboot启动后执行某个方法的三种实现方式,且不影响提供服务

第一种方式,应该也是最简单的方式 直接在方式上面注入,但是会影响服务提供,比如这个方法要执行五分钟 这五分钟之内是无法提供服务的,这个方法是在服务初始化后之前运行, 所以 此方法运行不结束,服务就无法初始化, 在这过程路也无法提供服务 @PostConstruct publ...

2019-06-18 17:57:04 13402 0

原创 springboot+redis+kafka集群配置 分布式

redis 配置 需要注意的地方是多服务器的时候,格式不一样 @Configuration @ConditionalOnClass({JedisCluster.class}) public class RedisConfig { @Value("${spring.r...

2019-06-13 11:21:42 707 0

原创 kafka生产环境集群搭建

三台服务器 准备工作 安装java环境 搭建zookeeper集群 搭建kafka集群 服务器配置 主机名 IP地址 硬件配置 kafka-1 192.168.1.162 24CPU、46G内存、600G存储 kafka-2 192.168.1.16...

2019-05-29 09:58:09 656 0

原创 git简单操作

1 先在界面 创建项目名 个人设置里添加公钥等 进入工程目录 cd $project_root(你的项目路径) 初始化git仓库 git init 添加文件到仓库 git add . 提交代码到仓库 git commit -m 'ini...

2019-05-16 17:32:04 23 0

原创 VMware下的Linux扩展磁盘空间(CentOS7)

主要的命令集放在一起, # fdisk -l # fdisk /dev/sda 1 后面是具体的操作步骤 [root@itcast01 /]# fdisk -l 磁盘 /dev/sda:53.7 GB, 53687091200 字节,104857600 个扇区 Units = 扇区...

2019-05-11 14:14:39 535 0

原创 docker日志挂载的问题

关键是本地服务器没有写入的权限 关键看这里吧(Permission denied), 一直没有看正方,以为是配置日志文件 找不到有问题,下面是部分异常 10:35:09,498 |-ERROR in ch.qos.logback.core.rolling.RollingFileAppende...

2019-04-25 10:54:39 990 1

原创 docker容器通过ping直接运行获取公网IP

通过容器获取本机的公网ip 可以用本地IP 多服务注册中心 把命令改居ping 执行可以拿到不同的服务器信息 public static String getIfconfigIP() { BufferedReader in = null; Stri...

2019-04-24 15:16:40 491 0

原创 druid+superset安装和简单使用

最近一直在折腾大数据框架,后续会把KYLIN框架也玩起来 首安装druid最开始是使用docker安装方式,因为配置文件认证的KEY报错,自己编译又没有通过,直接放弃,然后直接下载安装包,ZOOKEEPER我是用docker安装的,没有用官方数据 首先安装环境官方说明,我本机其实是4G内存...

2019-04-02 16:18:18 1383 0

原创 kylin单机版搭建OLAP

最近想尝试大数据框架,所以选择了kylin当然 druid框架也是很不错,不过他有自己特定的语言,不支持SQL,这样对后期改造项目不方便,另外是kylin团队是国内维护,中文文档全,所以就选它来试试手 首生下载 http://kylin.apache.org/download/ 2.6.1 下...

2019-03-22 18:41:06 616 0

原创 Docker之mysql容器数据库更改不生效的解决方法

用官方的mysql 镜像需要修改一些内容,比如配置文件的修改,DB数据文件的目录等,更改之后如果重新运行容器,改过的文件就无效了,新生成的容器不会有之前改变的内容 第一种是修改官方下载的镜像,修改之后 提交一个新的镜像文件 docker commit -m 等新生成的镜像信息, 第二种MYSQ...

2019-03-03 15:18:14 884 1

原创 虚拟机启动The VMware Authorization Service is not running

今天在使用虚拟机的时候,竟然发现不能启动,而且伴有启动虚拟系统报错: 弹出错误信息如下 The VMware Authorization Service is not running 然后想下,可能是之前优化系统的时候,把一些没必要的组件都给关掉了,所以去服务组件看下 解决故障步...

2019-03-02 13:22:44 164 0

原创 Spring Boot + Sharding-JDBC快速简单实现数据库读写分离

官网说明 ① Sharding-JDBC是一个开源的分布式数据库中间件解决方案。它在Java的JDBC层以对业务应用零侵入的方式额外提供数据分片,读写分离,柔性事务和分布式治理能力。并在其基础上提供封装了MySQL协议的服务端版本,用于完成对异构语言的支持。 ② Sharding-JDBC是基...

2019-03-01 19:11:02 128 0

原创 Java String.intern的深入研究分析

  String.intern方法在jdk1.7之前和之后的区别: 简单的说其实就一个:在jdk1.7之前,字符串常量存储在方法区的PermGen Space。在jdk1.7之后,字符串常量重新被移到了堆中。   Back---重回String设计的初衷: Java中的String被设计...

2019-02-15 18:12:10 143 1

原创 Elasticsearch分组 聚合 排序

1 elasticsearch分组,ES分组 es聚合查询 ES排序 如果需要精确查询的,必须加上 xxx.keyword;属性 1 求最大值 ,取第一条 POST /tms_site_index/_search { "size":1, "query&...

2019-01-09 19:07:43 4497 0

原创 elasticsearch Mapping、字段类型Field type详解

     其中string类型 ELasticsearch 5.X之后的字段类型不再支持string 由text或keyword取代。 如果仍使用string,会给出警告。 字段类型概述 一级分类 二级分类 具体类型 核心类型 字符串类型 text,keyword 整数类型 integer,...

2019-01-04 16:46:17 7595 1

原创 Spring Boot 集成 websocket,使用RabbitMQ做为消息代理

  Spring Boot 集成 websocket,使用RabbitMQ做为消息代理 &lt;!-- rabbitmq --&gt;         &lt;dependency&gt;             &lt;groupId&gt;...

2019-01-03 19:54:45 1644 4

原创 JAVA8 Stream接口流式方法 map操作 filter操作以及flatMap操作

关于stream流式操作,在rt.jar包里面,ReferencePipeline管道方式操作数据 下面集成所有操作方法,利用这些流,处理大数据的方式,效率提升明显,并且很多语言都支持这种操作,相当于统一了这种编程方式。 我们先来看看这三个操作过滤的是什么数据, 过滤之后仍然可以循环数据 ...

2018-12-26 17:39:58 10560 1

原创 JAVA8 Stream 和Lambda表达式使用

Lambda也叫函数式编程 包括此方法都是(Function<? super R, ? extends V> after) 1 首生Lambd表达式简化了方法的定义,匿名的方法直接实现逻辑 使用方式 (x, y)-> x + y;返回x+y之和,有参数的匿名 ,无参方法, ()...

2018-12-26 16:53:00 360 0

原创 mybatis+Mapper实现默认对象增删改查

mybatis利用Mapper接口实现了,选择性的对象增删改查功能。有时候我们没有特殊要求,直接保存或者查询,就可以直接用已经存在的方法,选择性的执行,如果对象里有数据的就新增,没有的话就忽略,要用到此方法,必须实现Mapper接口并且继承相关类,下面看代码 1 第一步,DAO接口层 pub...

2018-12-25 12:06:28 346 0

提示
确定要删除当前文章?
取消 删除