- 博客(49)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Kafka介绍(一)
Apache Kafka 是一个开源分布式事件流平台（通俗点说其实就是一个类似中介的东西，房东将信息放入中介，客户咨询中介或者中介推送信息给咨询过的客户，获取消息），它的核心能力有，高吞吐量低延迟、可扩展、永久存储、高可用。，在上面我们了解到写入时先写到页缓存，kafka在读取时先从操作系统的页缓存中读取数据，如果命中的话直接把页缓存的消息发送到网络上的socket上，在linux平台上利用了sendFile系统调用的。这种技术就是零拷贝技术(3.kafka写入操作采用了追加的方式，避免了随机写的操作。
2023-11-27 14:30:27
310
原创 JAVA 中集合取交集
日常工作 经常需要取两个数据集的交集。对常用的List 和Set集合做了一个测试。测试结果如下：数据量都是10万的情况下。set的性能是 164.6倍多。
2023-11-15 11:03:02
154
原创 mysql炸裂函数（lateral view是MySQL 8.0及以上版本支持）
我们有一张表user_like_eat记录了用户喜欢吃的东西, select distinct like from user_like_eat;这个时候我们可以使用炸裂函数lateral view explode(split(字段,','))变成如下表是否好统计呢。
2023-02-17 19:14:52
3579
8
原创 mysql 巧用时间戳默认值
alter table XXX add create_time timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP comment '创建时间'alter table XXX add update_time timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP comment '更新时间'1.插入时存入当前时间戳 2.更新时更新 update_time .
2022-03-16 15:25:54
888
转载 基于docker创建mysql主从模式(转载)
基于Docker的Mysql主从复制搭建 - CoderFocus - 博客园为什么基于Docker搭建？ 资源有限 虚拟机搭建对机器配置有要求，并且安装mysql步骤繁琐 一台机器上可以运行多个Docker容器 Docker容器之间相互独立，有独立ip，互不冲突 Dockerhttps://www.cnblogs.com/songwenjie/p/9371422.html基于Docker的Mysql主从复制搭建为什么基于Docker搭建？资源有限 虚拟机搭建对机器配置有要求，并且安装mys.
2022-03-11 14:40:47
110
转载 docker 启动 gitlab中文版
https://segmentfault.com/a/1190000019721220https://segmentfault.com/a/1190000019721220参考以上链接
2022-03-11 11:43:40
153
原创 多个excel合并成一个excel的sheet
1.方案一：使用POI的API缺点是：数据量稍微大一点生成特别耗时。数据量在3000条记录的样子优点：不依赖第三方应用，使用POI自己的API完成建议：小数据量可以满足要求，public class ExcelMergerUtils { public static void main(String[] args) { List<String> list = Arrays.asList( new File("D:\\test
2022-02-09 19:29:14
1976
原创 mysql 表天数据与月数据排序问题
需求：天数据与月数据一起展示，月数据排在天数据最新的日期前面表结构：statDate，timeType存储样式：statDate timeType 2021-09-01 by_day 2021-09-01 by_month 2021-09-02 by_day
2021-11-03 15:21:03
201
原创 spring mvc @RequestBody使用与不使用的区别
解决问题的答案：https://segmentfault.com/q/1010000006887011不使用@RequestBody注解时接收Content-Type为application/x-www-form-urlencoded/或者text/html 类型的请求所提交的数据，数据格式：localhost:8080/controller?aaa=111&bbb=222使用@RequestBody注解时用于接收Content-Type为application/json类型的请
2021-09-07 17:21:14
474
转载 ubuntu 安装 docker（来源菜鸟网络）
菜鸟网络使用官方安装脚本自动安装安装命令如下：curl -fsSL https://get.docker.com | bash -s docker --mirror Aliyun也可以使用国内 daocloud 一键安装命令：curl -sSL https://get.daocloud.io/docker | sh手动安装卸载旧版本Docker 的旧版本被称为 docker，docker.io 或 docker-engine 。如果已安装，请卸载它们：$ sudo
2021-08-30 11:35:26
318
原创 LinkedList 面试
1.线程不安全2.数据结构双向链表 /** * Pointer to first node. * Invariant: (first == null && last == null) || * (first.prev == null && first.item != null) */ transient Node<E> first;//头结点 的前继结点伟Null /**
2021-05-08 10:01:00
132
原创 vector面试
1.线程安全方法中使用synchronized来保证线程安全2.默认容器大小--通过构造器直接初始化大小//无参构造器 默认大小是10public Vector() { this(10);}//指定初始化容器大小 public Vector(int initialCapacity) { this(initialCapacity, 0); }//初始化容器大小，以及每次扩容的大小public Vector(int initialCapacity.
2021-05-08 09:07:58
142
原创 ArrayList面试重点
1.数据结构 Object[] elementData; 数组2.默认大小private static final int DEFAULT_CAPACITY = 10;3.扩容机制（能被2整除则是1.5倍，不能整除的会小于1.5倍）int newCapacity = oldCapacity + (oldCapacity >> 1);如原先是10 则扩容后 10+10/2=15如原先是15则扩容后 15+15/2=15+7=224.add 方法publ
2021-05-08 08:45:11
58
原创 http请求时参数base64加密后传输bug
问题回顾：客户端调用服务端接口：参数需要使用base64加密传输bug：传输的中文服务端解析老是最后一个字乱码！！解决：使用了各种编码测试依然不行last：看了一下客户端上传的base64编码：居然最后的+号，被请求过滤处理为空格。Base64和URL传参问题标准的Base64并不适合直接放在URL里传输，因为URL编码器会把标准Base64中的“/”和“+”字符变为形如“%XX”的形式，而这些“%”号在存入数据库时还需要再进行转换，因为ANSI SQL中已将“%”号用作通配符。.
2021-04-12 09:25:32
866
原创 mysql 大表巧妙处理（有局限性）
大表不用删数据，重新建表，旧表备份(自己用 勿喷。还有啥好方案。请大家留言)create table abc_new like abc;//依据abc表的结构创建表abc_newRENAME TABLE abc TO abc_back,abc_new TO abc; 将abc表 改名 abc_back ，将abc_new 改名为abc...
2021-03-03 09:56:42
98
原创 Mybatis源码阅读--plugin原理
mybatis插件相关的类及接口mybatis配置类Configuration（只保留了与插件相关的属性与方法）public class Configuration { //插件集合 在加载XMl配置时通过解析<plugin/>标签指定的插件存入到interceptorChain中 protected final InterceptorChain interceptorChain = new InterceptorChain(); public Parameter
2021-01-20 16:41:55
87
原创 跨域问题
1.什么时候会产生跨域问题？看一下我们的url组成：https://mp.csdn.net/editor/html?spm=1001.2101.3001.4504协议://域名:端口号 ?参数主要又四者组成其中 协议的切换，域名的切换，端口号的切换都会造成跨域问题类似如下：解决方案前端解决方案使用JSONP方式实现跨域调用； 使用NodeJS服务器做为服务代理，前端发起请求到NodeJS服务器， NodeJS服务器代理转发请求到后端服务器；后端解决方案nginx.
2020-12-08 09:39:24
504
转载 spring 跨域问题解决方案
注解@CrossOrigin 出于安全原因，浏览器禁止Ajax调用驻留在当前原点之外的资源。例如，当你在一个标签中检查你的银行账户时，你可以在另一个选项卡上拥有EVILL网站。来自EVILL的脚本不能够对你的银行API做出Ajax请求（从你的帐户中取出钱！）使用您的凭据。 跨源资源共享（CORS）是由大多数浏览器实现的W3C规范，允许您灵活地指定什么样的跨域请求被授权，而不是使用一些不太安全和不太强大的策略，如IFRAME或JSONP。一、跨域(CORS)支持： Spring Fram
2020-11-12 15:53:04
394
原创 ElasticSearch 客户端不使用分词器 减少搜索力度
public static void main(String[] args) throws Exception { Client client =null; try { Settings settings =Settings.settingsBuilder().put("cluster.name","Cluster").put("client.transport.sniff", true).build(); client =TransportClient.builder().settin.
2020-08-27 08:35:58
1102
1
转载 mycat自动重启
前言mycat是一个非常著名的分库分表中间件，但是很多使用过这个中间件的人都会遇到一个共通的问题，那就是mycat的进程总是会重启，同时重启的时候应用的代码里面也会报出 Java.lang.NullPoint_er_Exception，今天就来分析一下这个问题，以及解决办法！原理这个mycat的重启问题可能一部分人遇到了，一部分人没有遇到过，这是为什么呢？ 实际上这段mycat的bug代码是出现在了跨库结果集合并后，释放堆外内存的代码上面 ...
2020-08-21 14:01:46
640
原创 vagrant安装时的的报错问题
1.vagrant安装后在命令行窗口验证安装情况报错第一次报：找不到windows powerShell 错误解决办法：将C:\Windows\System32\WindowsPowerShell\v1.0加入系统变量 问题解决第二次报错：Minimum required version: 3 版本问题https://github.com/PowerShell/PowerShell/releases下载高版本的powerShell...
2020-07-27 10:37:35
682
原创 Docker系列二 windows 安装
菜鸟教程这里写的比较详细。https://www.runoob.com/docker/windows-docker-install.html
2020-05-19 10:07:14
113
原创 Docker系列一 什么是Docker？
Docker 官网地址是一个开源的应用容器引擎，基于Go 语言并遵从 Apache2.0 协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口（类似 iPhone 的 app）,更重要的是容器性能开销极低。什么是容器：容器是软件的标准单元，它将代码及其所有依赖项打包起来，因此应用程序从一个计算环境快速可靠地运行到另一个计算环境。Docker容...
2020-05-19 10:03:53
108
原创 springboot admin 1.5.7版本问题
由于我的springboot项目是放在tomcat里运行的故配置client端需要发生变化客户单配置#adminserverurlspring.boot.admin.url=http://192.168.10.100:9090spring.boot.admin.client.service-base-url=http://192.168.10.100:8080management.security.enabled=falsemanagement.endpoints.web.exposure
2020-05-18 14:36:36
410
1
原创 maven Project read error
原因:由于TLSv1.1 协议不安全, 出于PCI 安全标准的原因, 从2018-06-18起, mavenSonatype 中央仓库不再支持 TLSv1.1 以及以下的协议版本,原文参见no longer supports TLSv1.1 and below 官方说明方案1: 升级 jdk 到1.8jdk1.8 TLS 1.2 默认是 enable ,不会出现这个异常方案3: 通过添加-Dhttps.protocols=TLSv1.2 , 配置 java ...
2020-05-18 10:49:58
447
原创 转载备用 springcloud alibaba seata
本篇实战所使用Spring有关版本：SpringBoot:2.1.7.RELEASESpring Cloud:Greenwich.SR2Spring CLoud Alibaba:2.1.0.RELEASE1. 概述在构建微服务的过程中，不管是使用什么框架、组件来构建，都绕不开一个问题，跨服务的业务操作如何保持数据一致性。2. 什么是分布式事务？首先，设想一个传统的单体应用，无论多少内部调用，最后终归是在同一个数据库上进行操作来完成一向业务操作，如图：随着业务量的发展，.
2020-05-15 13:54:57
153
原创 sentinel 控制台监控空白的问题
1.可以检测到服务。但是就是没有实时监控信息此处耗费了一些时间：最终在官网看到解决方案官网链接解决方案： 保证服务本机与sentinel所在的服务器 时间一致最终显示结果
2020-05-14 11:12:40
7265
15
原创 sentinel 启动 命令
java -Dserver.port=8081 -Dcsp.sentinel.dashboard.server=127.0.0.1:8081 -Dproject.name=sentinel-dashboard -jar sentinel-dashboard-1.4.0.jar
2020-05-13 15:12:16
5058
原创 Nacos 集群搭建（备用）
1. 预备环境准备请确保是在环境中安装使用:64 bit OS Linux/Unix/Mac，推荐使用Linux系统。 64 bit JDK 1.8+；下载.配置。 Maven 3.2.x+；下载.配置。 3个或3个以上Nacos节点才能构成集群。2. 下载源码或者安装包你可以通过两种方式来获取 Nacos。从 Github 上下载源码方式unzip nacos-source.zipcd nacos/mvn -Prelease-nacos clean install -U
2020-05-13 10:48:39
417
原创 HystrixDashBoard Unable to connect to Command Metric Stream 问题
在使用springcloud2.2版本中。hystix仪表盘不能展示数据的问题。在需要监控的微服务的中加入如下配置（我是放在主启动类这里。也可以另外建一个配置类。）@Bean public ServletRegistrationBean getServlet(){ HystrixMetricsStreamServlet streamServlet = new HystrixMetricsStreamServlet(); ServletRegistration
2020-05-09 09:52:28
250
原创 springboot从properties或者yml读取配置时的方法
方法一：直接在配置类上加上@Configuration注解然后在类的属性里使用@Value("${AA.BB.CC}")自动注入值#redis配置******************************************************************************************# Redis数据库索引（默认为0）spring.redis....
2020-04-28 10:01:23
124
原创 SrpingBoot1.5.9+swagger2.7生成restApi文档
1.swagger2.7Maven依赖<dependency> <groupId>io.springfox</groupId> <artifactId>springfox-swagger2</artifactId> <version>2.7.0<...
2020-01-07 14:31:14
138
原创 java线程池大小设定
线程池究竟设置多大要看你的线程池执行的什么任务，1.CPU密集型2.IO密集型3.混合型任务类型不同，设置的方式也不一样1、CPU密集型尽量使用较小的线程池，一般Cpu核心数+1因为CPU密集型任务CPU的使用率很高，若开过多的线程，只能增加线程上下文的切换次数，带来额外的开销2、IO密集型可以使用较大的线程池，一般CPU核心数 * 2IO密集型CPU使用率...
2019-12-10 09:33:53
264
原创 SpringCloudBus +kafka配置不更新
1.目的使用Springcloudbus 去动态更新服务配置。2.故障：刷新配置服务的端点/bus/refresh 字段属性始终不更新3.解决：使用此注解@RefreshScope希望能对大家有所帮助。节省大家的宝贵时间...
2019-11-29 17:11:40
229
原创 Kafka windows 启动报错
在配置好kafka的server.properties文件后，cmd进入命令窗口输入命令：.\bin\windows\kafka-server-start.bat config\server.properties提示错误：解决方式如下：在kafka安装目录中找到bin\windows目录中的kafka-run-class.bat找到为%CLASSPATH%加上双引号修改前：s...
2019-11-27 12:51:10
681
原创 使用ES时节点宕机后重启不重新分配分片的问题
问题描述：三台机器搭建的es集群。其中一台宕机后，再重启不分配分片问题解决：在配置文件中使用以下配置## Block initial recovery after a full cluster restart until N nodes are started:gateway.recover_after_nodes: 3使用后该节点分配到了分片...
2019-11-15 10:18:37
1147
原创 springMvc返回中文乱码问题
0.tomcat已配置：1.web.xml已配置过滤器<!-- 配置请求过滤器，编码格式设为UTF-8，避免中文乱码 --> <filter> <filter-name>encoding</filter-name> <filter-class>org.springframework.web.filter.Chara...
2019-11-01 12:53:04
165
原创 手写一个简单的 java微服务，带你了解底层
在公司里使用微服务后觉得自己不应该只会用。还要了解一下底层的东西。所以就手写了一篇最简单的微服务。作为介绍微服务的开始。代码主要分以下结构启动顺序：1.先启动Server服务端将服务注册到注册中心ReqsterService，并对外暴露服务2.启动App客户端即可完成调用。package io.mytest.service;import java.u...
2019-10-30 17:31:57
519
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人