- 博客(25)
- 收藏
- 关注
RSS订阅原创 ELK日志监控平台搭建记录
1：前提：服务器已搭建java环境 1.82:elk步骤:首先搭建ES做数据存储，然后搭建Kibana做数据可视化。最后搭建Logstash做数据流转：：1：搭建ES 1:在服务器根目录下 创建名为ELK文件夹 1:cd / 2: mkdir elk 3:cd elk 2: 下载ES包：wget https://artifacts.elastic....
2020-01-19 12:36:35
604
原创 mysql数据同步到es
线上环境使用了logstash做mysql和es的数据同步。数据量过大时。可能会出现同步延时的问题。一般同步方案有三种：1：logstash等工具同步2：数据库ES双写3：消息机制第一种有点low了，第二种的话双写需要入侵业务代码。第三种最为合理于是在码云上找了个轮子https://gitee.com/OrgXxxx/SyncMysqlToElasticsearch。本地起...
2019-10-27 16:05:29
3144
原创 es demo
公司早就用到了es，只是这款不是自己负责的。就一直没有去了解。最近需求提前做完了。抽个时间做个demo(仅限查询业务)。其他如数据同步，更新均是走数据库，然后通过binlog同步到es。esdemo是基于springboot+jestClient。ES安装的是2.4.4版本。SpringBoot版本2.0.2RELEASE。完整pom文件如下<?xml version="1.0" ...
2019-10-25 16:34:22
382
原创 一次优化记录
背景业务：新人优惠券生效当天/快过期（3天）时给用户做提醒，时间：每天十点定时：个人更加熟悉xxl-job。但目前项目用的quartz。所以用quartz实现。基本思路：先查所有用户优惠券实体。是否时生效当天或者是否快过期判断放到java业务里而不是sql里业务表：优惠券用户表数据量：1200W数据且持续增长。暂未作分区表和数据归档（后面会做）。未记录优惠券生效等状态 至于生效时间...
2019-10-22 19:03:32
163
原创 启动监听ApplicationListener与CommandLineRunner
需要在项目启动时做一下其他工作。于是新写一个监听继承了ApplicationListener接口。实现其onApplicationEvent方法@Componentpublic class InitListener implements ApplicationListener<ApplicationReadyEvent> {//public class InitListene...
2019-09-25 20:58:12
1893
1
原创 redis 缓存击穿事件记录
记录：今天发生一起严重线上事故 数据库崩溃导致服务不可用。排查时发现10：16左右数据库达到6700qps。检查后发现：运营配置了活动10：17的秒杀活动。导致流量倍增。本身这里是用了缓存的。3分钟的缓存。在缓存失效后第一个请求的结果没有写入到redis之前。这段时间的6000+请求量全部涌入到数据库.导致数据库瘫痪。解决方案（个人，可能会有遗漏）：1：本次活动时前n名免单...
2019-08-18 16:06:30
97
原创 xxl-job demo
个人服务器总算搭起来了，把xxl-job的丢上去了。先放着，以后再改。不要问为什么不自己做点东西放上去 。问就是不会vue0.0 (不会前端)http://118.89.189.110:6666/snnnn-job/账号 admin密码 123456没有域名，域名还没有备案。已经申请幕布了。应该快到了大概这样把...
2019-06-19 15:56:27
299
原创 重构决定！
1重构原因：1：初版需求很紧急，多人开发。代码风格很乱。较多魔法数字，不便阅读。2：数据库结构不合理，导致sql繁琐，不必要的联表查询过多，查询效率低，尽管已经做了分区表，但是还是有一定影响。3：公司业务发展，原有定时任务服务（主要功能为派单）必然会出现性能问题何管理问题。简单的做分布式多节点会出现数据不一致的问题。决定用xxl-job来管理。2：大致方案1：采用xxl-...
2019-06-09 22:27:07
123
原创 分布式任务调度平台xxl-job demo
1.项目要用到xxl-job，写了demo，记录一下1.git 上拉源码，源码地址 https://github.com/xuxueli/xxl-job.git，项目结构如下2.执行sql脚本，官方提供脚本路径是xxl-job\doc\db，将sql脚本在数据库执行即可 。3.修改数据库链接信息，在xxl-jon-admin里的配置文件将数据库链接替换为自己文件。然后启动，访问lo...
2019-06-01 11:38:04
549
1
原创 Mysql分区表 sql优化
随着公司业务发展，数据量越来越大，查询效率变低，BI组优化了订单表结构为分区表，以订单的支付时间作分区字段，一天为周期做了分区。通过查询条件加上分区条件，减少扫表行数，性能有了很大的提升。示例： SELECT * FROM `order` WHERE receiverName="李"这条语句用explain解释 ：扫表34W行+。查询时间30ms,数据传输时间5535ms...
2019-05-21 10:03:54
463
原创 socket转http 简单的认证功能
很久没有更新博客，因为不知道有什么可以写的。虽然近期学了也用到了kafka,redis这些技术。但是终究停留在会用的层次 。这次做了把原有业务socket协议转为http的需求 。记录一下。 现有业务时拣货员，配送员使用小程序来拣货，配送。完成订单状态变更。但是可能由于网络问题，老是掉线。影响工作效率。原来使用了netty的socketid框架。大家都不太熟悉。后来老大建议转h...
2019-05-14 09:08:29
1345
原创 自定义注解经验
按照上篇博客的方法做了一个demo。本以为没什么好说的，发现了一个bug:org.aspectj.apache.bcel.classfile.ClassFormatException: Invalid byte tag in constant pool: 18 网上查资料得知是依赖版本的问题 aspectjweaver版本过低会导致该异常 。但是该异常不影响实际运行如图所示...
2019-02-23 20:52:34
107
转载 转载：springboot自定义注解
看了这位大佬的博客 感觉很牛皮https://blog.csdn.net/u012740706/article/details/82079904 学习了。特此记录，上班中。稍后一定自己写个demo玩
2019-02-23 16:13:42
544
原创 字符串直接转list集合方法
原来一直转数组，用数组操作。list比较方便，找了一个快速转list的方法 代码如下 String secret="snnnn1998" ; List<Character> list= Arrays.asList(ArrayUtils.toObject(secret.toCharArray())); list.forEach((C...
2019-02-17 20:19:03
10273
原创 springcloud 小结
公司项目转springcloud有段时间了。从入门到现在收获了不少东西。总结一下1.eureka:服务注册2.feign :服务间接口调用，继承了ribbon 自带负载均衡3.hystrix ：熔断，防止因某一模块挂掉 导致整个系统崩溃。也可以做降级处理springcloud 入门 ，要学的东西还很多很多。路还长 加油！...
2019-01-18 21:36:05
126
原创 @Transactional注解乱用引发的异常
Service层加入事务注解，若引发未被捕获的异常，则全部回滚 最近做一个功能，导入excel，并根据excel的内容，通知第三方（有赞）更改数据。（excel表的读取是队友做的，读完后写入数据库）。我查数据库，并遍历。轮询推送给有赞。再service层不小心加了@Transactional注解。导致出现异常（如excel表数据有错导致查库查不到，数据全部回滚） 。后来发现加了@Trans...
2018-12-10 20:57:15
1274
原创 有赞预售订单初版
1.从有赞商品接口获取预售商品的预售信息，取发货时间 public static String getEdtStartTimeByItemId(Long itemId){ YZClient client = new DefaultYZClient(new Token("xxxxxx")); //new Sign(appKey, appSecret) Y...
2018-11-27 22:08:06
555
原创 mysql有则更新 没有则插入
关键词 ：ON DUPLICATE KEY UPDATE举例INSERT INTO itemlocation(outer_item_id,locationnumber) VALUES('4891338000918','F-4-24') ON DUPLICATE KEY UPDATE locationnumber= "F-4-24"上图意思就是向item_location插入一条数据...
2018-11-26 22:03:02
1185
原创 @Transactional注解导致service注入失败及解决办法
今天写完代码做单元测试的时候，service老注入不进去 public static void main(String[] args) { ApplicationContext context = new ClassPathXmlApplicationContext("classpath*:applicationContext-*.xml"); ItemL...
2018-11-19 17:19:02
6187
1
原创 预约单
好久好久了 终于基本做完预约单的需求了 总结一下一：基本逻辑：1.从有赞收到订单后，根据delivery_start_time判断，如果该字段不为空，则判定为预约单，主表设置其不可派单，设置其expressType=99作为预约单标志 if(addressInfo.getDate("delivery_start_time").toString()!="") {...
2018-11-14 17:52:34
858
原创 Spring boot学习日记 -HelloWorld
Spring Boot的helloworld ==边做边学第一次接触springboot 个人理解就是帮你写一大堆需要的配置文件，感觉很牛皮，跟着网上的傻瓜教程做了一个springboot的helloworld ,启动却遇到了一个bug：If you want an embedded database (H2, HSQL or Derby), please put it on the cl...
2018-11-06 22:48:28
92
原创 Timer--预约单
每两分钟执行一次findBookingOrderNeedDispatchAndDispatch()方法 public void findBookingOrderNeedDispatchAndDispatch(){ List<BookingOrder> list=bookingOrderMapper.findBookingOrderNeedDispatch()...
2018-11-05 23:37:02
189
原创 2018.10.18-----2018-11-2小结
因为薪资，从上家辞职了，忙着面试，进入新公司后忙死（好久没有12点以前下班了qaq）这段时间做了蛮多东西 一直没时间整理 ，今天抽时间写一写，记录一下公司背景：公司是创业公司（今年9月注册的） 类似于盒马鲜生的模式 ，用的是有赞的接口，但是有自己的自研小程序（给拣货员和骑手使用：从有赞那那边接收订单消息（供拣货员准确的拣货）和用户信息（供配送员精准的配送））个人背景：实习俩月 SSM都...
2018-11-02 22:44:44
110
原创 快速获得一个文件夹的所有文件的名称技巧
项目临近结尾，需要整理出产品说明。其中有个要求是列出项目所有jar包。老大发我一个所有jar包的link文件，然后让我把所有jar包整出来，并列出所有jar包名称。一看60多个，复制名字再粘贴得弄到什么时候去。就百度了一下 果然找到了一个快捷方法，具体如下： 1.在文件夹里新建一个txt，命名为文档列表 2.打开该txt 输入: dir *.* /b> 文档列表.txt3....
2018-08-30 19:40:14
1473
原创 eclipse常见错误总结（实习期总结）
今天是2018.8.22日，从7.10日到现在已经实习差不多1个半月了。期间遇到了一些很奇怪的问题，或者因为一些细节耽误了很久才解决的问题，今天汇总总结一下，供以后参考1.修改代码后页面无变化： 详情：无论怎么修改代码，都没有发生变化。经很久很久检查，发现是clean工程的时候不小心取消了了clean下面的Build Automatically。解决方式：project--->Buil...
2018-08-22 21:51:03
509
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人