- 博客(52)
- 收藏
- 关注
RSS订阅转载 spring boot logback无感配置
spring boot1.5.x版本的日志配置一直有一个问题，就是不能直接通过yml配置文件进行日志文件大小进行动态和方便的配置。怎么解决？直接在springboot项目的maven工程中的src/main/resources的目录下加入如下logback-spring.xml文件，logback-spring命名的logback配置文件在spring boot中加载的优先级...
2019-09-24 09:15:00
237
转载 sentinel与hystrix对比
近期有同事再提要不要使用sentinel。所以我就对现在已经用hystrix。先看两者的线程模型。大部分对比项是sentinel开源工程对比的，本人做了一些修改以及增加了一些对比项和说明。从线程模型上看sentinel使用的是tomcat/jetty/other本身的线程池。hystrix使用的是自己创建的线程池ItemsSentinel...
2019-09-06 13:44:00
694
转载 docker使用的一些需要注意事项
1、程序需要前台运行程序必须前台执行，如果是java进程的话 不要有nohup 或者使用service的方式进行后台运行否则可能会出现频繁启动应用的问题原因就是docker只能管理运行中的镜像的一个进程（所以没有特殊需要不要一个镜像执行后出现两个进行的现象，尽量使用k8s的pod来解决）2、日志要前台打印日志直接c...
2019-07-24 16:38:00
322
转载 RocketMQ与MYSQL事务消息整合
1、基础理论知识篇“两阶段提交”如果你了解可以跳过这段，当然如果你想深入了解你可以购买相关书籍或去搜索相关资料阅读 两阶段提交分为 正常提交和异常提交或异常回滚 上面是正常提交的示意图，协调者发起预提交请求，参与者回复成功之后协调者再次发起commit请求，统一提交事物。事物结束。如果这两阶段提交过程当中有任何一个请求出现异常就会回滚，如下流程...
2019-07-09 20:01:00
462
转载 zookeeper客户端KeeperErrorCode = ConnectionLoss异常问题排查历险记
经过线报，说前方应用有异常，导致了可用性变差。咦！讨厌的异常，抛异常是程序猿最讨厌的事情之一。经过收集异常信息如下2019-06-24 10:57:41.806 ERROR [hades-afe-opw,,,] 67380 --- [erFactory-Timer] c.t.p.s.s.TBScheduleManagerFact...
2019-06-26 14:38:00
3111
转载 skywalking-agent 与docker组合使用
docker部署公司有使用docker部署的微服务可以直接使用 仓库/java:8-jdk-alpine-asla-shanghai-1-skyagent-2作为基础镜像这个镜像包是java8 北京东八区，附带相关的探针文件示例如下：https://github.com/zygfengyuwuzu/docker-mi...
2019-06-24 16:46:00
3337
转载 skywalking探针tomcat8.0.28报错解决
在部署skywalking agent的时候遇到一个异常环境如下：tomcat8.0.28catalina.out 日志报如下错误30-Apr-2019 10:25:57.664 INFO [localhost-startStop-1] org.apache.catalina.startup.HostConfig.deployDirectory Deployment...
2019-04-30 10:58:00
1078
转载 RocketMQ4.4.0新特性分享
rocketmq1、架构 MQ历史 由数据结构队列发展而来 MQ使用场景 异步处理 解耦 削峰填谷 数据同步2、队列3、使用 生产 同步（sync） 默认重试2次总共3次 默认等待超时时间为3s 异步（async） 总共重试2次 单向（oneway） Message topic：主题...
2019-04-26 11:18:00
449
转载 RocketMQ三主三从二命名服务平滑版本升级实操
本文介绍本次进行RocketMQ平滑过渡升级的实际操作前文已经介绍过了升级基本原理，主要思想就是先升级NameSrv（命名服务）然后在升级broker节点。broker节点先升级master节点然后再升级slave节点。我们先看下RocketMQ架构图这里介绍实际操作是怎么样。首先介绍我们使用RocketMQ实际架设的情况。主机一共6台分别是：...
2019-04-24 16:44:00
738
转载 drools规则引擎与kie-wb和kie-server远程执行规则（7.18.0.Final）
最近研究了一下规则引擎drools。这篇博客带你搭建并运行一个可在线编辑，在线打包，远程执行的规则引擎（drools）本篇博客同时参考https://blog.csdn.net/chinrui/article/details/79018351博客内容1、搭建Workbench （首先保证主机联网，有docker环境） docker run -p 8080:...
2019-04-15 15:52:00
380
转载 关于大龄程序员的感悟
好久不写博客，因为我的宝贝女儿出生了！哈哈！！！进入正题，今天有幸面试一个工作16年的程序员。心里预期是这个程序员混的应该不是特别好，因为这么大工龄了还在找工作。虽然谁的未来都是未知数，自己也不能排除那个年纪之后会不会找工作。、这个被面试的人员第一眼给人的感觉是超级内向。经过沟通之后属于那种任人安排的那种（这里并不是说不服从安排，大家不要喷我，我的表达可能不太确切）通...
2019-04-15 14:00:00
204
转载 RocketMQ知识整理与总结
1、架构 RocketMQ的master broker与master broker没有任何消息通讯，nameserver之间也同样没有消息通信 MQ历史 由数据结构队列发展而来 MQ使用场景 异步处理 解耦 削峰填谷 数据同步2、队列 rocketMQ一个主题（t...
2019-02-28 16:58:00
182
转载 Spring注解大全
注解本身没有功能的，就和xml一样。注解和xml都是一种元数据，元数据即解释数据的数据，这就是所谓配置。本文主要罗列Spring|SpringMVC相关注解的简介。Spring部分1.声明bean的注解 @Component 组件，没有明确的角色 @Service 在业务逻辑层使用（service层） @Repository 在数据访问层使用（dao层） ...
2019-02-12 14:21:00
83
转载 RocketMQ4.3.X关于设置useEpollNativeSelector = true报错问题
前一阵子刚整理完RocketMQ4.3.x版本的相关配置的工作，接下来就来测试一下改变参数会带来什么好的结果首先我就选中了useEpollNativeSelector 这个参数默认这个参数是 false这个参数的意思就是是否启用Epoll IO模型。Linux环境建议开启然后我就打开了这个参数试试看看会不会生效首先是namesrv 弄了一个配置文件指向启动然后...
2019-01-15 17:41:00
244
转载 RocketMQ4.3.x 史上配置最全详解，没有之一
最近整理了RocketMQ的配置参数一部分参考rocketmq技术内幕，一部分自己看源码猜测，有表述不清楚或不正确请广大网友指正 这里应该是最全的配置解析了，搞了2天。以后查询就好办了，仅此贡献给广大网友方便查询。 其中有很多我也没有搞明白，Rocket源码太多，读起来比较吃力，有很多都是见名知意。 NameServer配置属...
2019-01-11 16:34:00
1688
转载 RocketMQ4.3.x对顺序消息的理解
1、RocketMQ消息队列简单介绍 这里简单介绍一下RocketMQ的消息队列的模型 一个topic对应多个队列如下图： 生产者和消费者分别向队列中发送和消费消息，生产者和消费者都可以是多个，通过组名进行群组约束。由于负载因素造成生产消息会生产到各个queue中。 消费群组进行queue消费时首先因为负载因素，queue会分配给各自的消费实例中，如果消费...
2019-01-09 17:05:00
104
转载 RocketMQ从3.5.8升级到4.3.2版本实战记录
背景 我们在很早之前大约在2015年8月份左右我们开始使用Rocketmq作为公司消息中间件，那个时候RocketMQ还没有捐赠给Acaphe。 RocketMQ版本还是3.2.6，中间升级了一次版本，目前版本是3.5.8。 但是随着RocketMQ版本不断更新并且功能与稳定性也不断提高，所以打算升级为4.3.X版本 上一次升级停机了10分钟不到还是很快的，...
2018-12-19 17:27:00
434
转载 关于大表数据导出方案设想
本方案和需求都是本人设想仅代表个人观点，没有实际开发过，肯定有很多细节需要推敲，这里针对粗劣的需求提供解决方案。实际使用还请看实际需求和相关资源情况。背景很多时候我们需要系统做表格导出的功能，excel或csv，或记事本等等功能需求。本质上这种情况是我们产品功能不完善或不被信任或没有挖掘用户真正需求或很难针对性个性开发的表现。这样就出现了数据导出的需求，但是对...
2018-12-13 16:11:00
235
转载 总结即将过去的2018
本人很少写总结，一般都是在自己的脑子里回想，但是想着想着就忘了，这次专门在这里记录一下！即将过去的2018年在我身上发生了很多事情，对我的影响对比前些年还是很大的！本人年初的时候经过老领导的推荐想换工作的，自己也想换换环境，逆水行舟不进则退！但是从哪个时候开始就开启了我2018既幸运又悲催的一年。幸运的是我在一次事故中毫发无损，不幸的的是我没有成功跳槽。跳槽没有成功，...
2018-12-10 14:12:00
86
转载 使用docker swarm集群心得
本片关于使用docker swarm 集群心得，也是一些经验吧！过程描述可能简单！根据一些公司使用经历接收一下问题并针对问题作出应对策略1、docker swarm集群 主节点数必须是单数，也就是说主节点数控制一般是1、3、5、7.......为什么是单数，大家可能都知道很多集群都是这样设置主节点的 像zab paxos raft等分布式一致性协议都是以多数节点存...
2018-12-03 13:50:00
157
转载 docker容器日志收集方案汇总评价总结
docker日志收集方案有太多，下面截图罗列docker官方给的日志收集方案（详细请转docker官方文档）。很多方案都不适合我们下面的系列文章没有说。经过以下5篇博客的叙述简单说下docker容器日志采集方案docker容器日志收集方案（方案一 filebeat+本地日志收集）docker容器日志收集方案（方案二 filebeat+syslog本地日志收集）...
2018-11-26 08:25:00
429
转载 docker容器日志收集方案（方案N，其他中间件传输方案）
由于docker虚拟化的特殊性导致日志收集方案的多样性和复杂性下面接收几个可能的方案这个方案各大公司都在用只不过传输方式大同小异中间件使用kafka是肯定的，kafka的积压与吞吐能力相当强悍，其实kafka就是专门为传输日志设计的，链路当中可以对日志进行压缩等。这里与方案四不同的地方除了中间件不一样之外就是这里的日志输出是容器输出，不再是应用推送日志了！这样和应...
2018-11-26 08:24:00
144
转载 docker容器日志收集方案（方案四，目前使用的方案）
先看数据流图，然后一一给大家解释这个方案是将日志直接从应用代码中将日志输出到redis中（注意，是应用直接连接redis进行日志输出），redis充当一个缓存中间件有一定的缓存能力，不过有限，因为使用的是内存，内存使用完了就会出现阻塞失败等现象从而导致日志丢失。接下来logstash从redis中读取日志然后批量推送ES，logstash有一定的堆积能力，可以控制...
2018-11-23 16:13:00
588
转载 docker容器日志收集方案（方案三 filebeat+journald本地日志收集）
其实方案三和方案二日志采集套路一样，但是还是有点差别。差别就在于日志格式如下:为了方便对比吧日志贴上来Nov 16 10:51:58 localhost 939fe968a91d[4721]: 2018-11-16 02:51:58.892 INFO [demo1,fa9d2f274c9d3c59,fa9d2f274c9d3c59,false] ...
2018-11-23 15:04:00
557
转载 docker容器日志收集方案（方案二 filebeat+syslog本地日志收集）
与方案一一样都是把日志输出到本地文件系统使用filebeat进行扫描采集不同的是输出的位置是不一样的我们对docker进行如下设置sudo docker service update --log-driver syslog pbblyrmsof5t这样docker容器日志就会输出到宿主机操作系统的syslog文件中接下来我们打开...
2018-11-23 13:07:00
759
转载 docker容器日志收集方案（方案一 filebeat+本地日志收集）
filebeat不用多说就是扫描本地磁盘日志文件，读取文件内容然后远程传输。docker容器日志默认记录方式为 json-file 就是将日志以json格式记录在磁盘上格式如下：{"log": "2018-11-16 01:24:30.372 INFO [demo1,786a42d3b893168f,786a42d3b893168f,false] 1 --- ...
2018-11-23 11:57:00
1280
转载 企业业务数据处理用“work”还是“MQ”
近期公司在做架构梳理已经项目架构方向，不知不觉就引起了使用“work”跑数据还是用“MQ”进行跑数据的争论！对于争论这件事在各行各业都有，其实我觉得针对“争论”这个词的根源在于一件事情有很多解决方案，每个人的认知不同，给出的解决方案也不同。然而如果有一个对实际情况都了解和对解决问题有充足认知的情况下，我想他是会权衡利弊的。 我们先列举几个已经算是比较成熟的开源框架：...
2018-08-29 13:25:00
71
转载 spring cloud 实践之hystrix注意事项
当我们写类似下面代码时package demo1.demo1;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import org.springframework.web.bind.annotation.GetMapping;import org.springframework.web.bind.a...
2018-08-15 16:31:00
105
转载 微服务架构理论-扩展立方体篇
近几年的的微服务概念大火特火，随之框架也变得大火起来，尤其是spring boot，可能是因为spring cloud火起来的原因 搞得沉寂多年的dubbo也开始更新变得火起来。说起微服务对于不了解整个系统架构历史的小伙伴可能有些迷惑，怎么就突然一下子就微服务了，有点摸不着头脑，到底咋回事那？听我娓娓道来！ 很久很久以前的程序员都很牛逼一不开心就自己写个操作系统自己玩，玩着...
2018-08-13 14:37:00
371
转载 spring cloud 实践坑点记录
用spring cloud 微服务框架有一段时间了有一些坑点在这里给大家记录一下希望大家用得着1、当我们使用聚合性能监控的时候，我们采用 rabbitmq作为消息中间件来收集性能信息最后在使用TurbineStream将信息进行聚合 这个工具聚合是根据“应用名+方法名”进行求和汇总的 如下代码： @HystrixCommand(commandProperti...
2018-08-09 17:19:00
92
转载 服务监控信息到底是“主动推送”还是“被动扫描”？？？
随着软件架构的演进微服务逐渐变成各公司追求的目标，再加上敏捷开发，快速迭代，持续构建简直是如虎添翼想象未来就是美好的， 但是又有几个公司能都做到那，尤其这两年spring boot的迅猛发展，也给各企业的研发团队带来对微服务实践的有力武器！ 好了废话不多说马上切入正题 我们都知道有了成千上万的微服务监控就成了重中之重，我们一定要搞定它，既然要监控就需要有...
2018-08-07 10:11:00
491
转载 spring boot metrics信息推送开发
上一篇文章是关于 “spring boot +RabbitMQ +InfluxDB+Grafara监控实践” 主要讲spring boot应用新能监控信息的收集方案实践 实践是hystrix信息推送的mq而metrics信息需要扫描，文章的最后也有相应的思考metrics信息能不能是应用本身也推送到mq那？ 本篇文章就实践关于metrics信息的推送实现 ...
2018-07-27 14:31:00
289
转载 spring boot +RabbitMQ +InfluxDB+Grafara监控实践
本文需要有相关spring boot 或spring cloud 相关微服务框架的基础，如果您具备相关基础可以很容易的实现下述过程!!!!!!! 希望本文的所说对需要的您有所帮助 从这里我们开始进入闲聊阶段。 大家都知道 spring boot整合了很多很多的第三方框架，我们这里就简单讨论和使用 性能监控和JVM监控相关的东西。其他的本文不讨论虽然有些关联，所以开篇有说...
2018-07-23 15:36:00
146
转载 "敏捷革命"读书笔记
最近看可一本书 书名叫《敏捷革命》外国著作中文翻译 本来想自己总结读后感但是本书后面都有本章的总结，所以下面都已摘抄为主，以备之后快速浏览 第一章世界的运作方式已经打破 规划是有用的，而盲目遵循规划则是愚蠢的。 绘制无穷无尽的图表，的确具有很大的诱惑力。一个大项目中所有需要做的工作都可以逐一列出来， 供人审视，但当详细的...
2018-07-12 14:10:00
664
转载 对于搞技术的人怎样针对自己看什么书
今天有同事问我需要看什么书，其实我有点很难回答这个问题，其实之前我的同学圈也讨论过这个问题，其实我感觉这些人其实可能是最近比较迷茫了， 不知道人生的下一步该怎么走。然后我的回答就是，每个人的人生都是有差异的，都是不同的不能用别人的成功经验在套在自己的身上， 但是我们可以从他们的经验来学习，吸取适合自己的为自己所用。同时我的同学圈也会问网上的资料怎么看包括视频和文档资料，我...
2018-06-22 12:11:00
60
转载 HBase数据库相关基本知识
HBase数据库相关知识1、 HBase相关概念模型l 表（table），与关系型数据库一样就是有行和列的表l 行（row），在表里数据按行存储、行由行键（rowkey）唯一标识，没有数据类型统一为byte[]数组l 列族（column family），行里的数据按列族分组String类型，每个表必须至少有一个列族l 列限定符（column qualifier...
2018-06-21 17:42:00
97
转载 spring cloud 微服务日志跟踪 sleuth logback elk 整合
看过我之前的文章的就可以一步一步搭建起日志传输到搜索引擎 不知道的 看下之前的文章(1)记一次logback传输日志到logstash根据自定义设置动态创建ElasticSearch索引(2)关于” 记一次logback传输日志到logstash根据自定义设置动态创建ElasticSearch索引” 这篇博客相关的优化采坑记录(3)日志收集（ElasticSearch）串...
2018-06-11 15:51:00
532
转载 日志收集（ElasticSearch）串联查询 MDC
之前写过将应用程序或服务程序产生的日志直接写入搜索引擎的博客 其中基本过程就是 app->redis->logstash->elasticsearch 整个链路过程 本来想将redis替换成kafka的 无奈公司领导不让（不要问我为什么没有原因不想回答，哦也！就这么酷！！！） 然后又写了相关的优化，其实道理很简单 就是 部署多个redis 多个logsta...
2018-06-07 09:22:00
159
转载 关于” 记一次logback传输日志到logstash根据自定义设置动态创建ElasticSearch索引” 这篇博客相关的优化采坑记录...
之前写过一篇博客是关于记录日志的简单方式的 主要就是 应用->redis->logstash->elasticsearch 整个流程的配置方法和过程的https://www.cnblogs.com/zhyg/p/6994314.html记一次logback传输日志到logstash根据自定义设置动态创建ElasticSearch索引虽然我们部分线上应用...
2018-05-25 12:16:00
412
转载 对于zuul服务网关框架资料整理
本次博客只是整理了一些 看过的博客、源码等zuul入门（1）zuul 的概念和原理https://www.cnblogs.com/lexiaofei/p/7080257.html深入理解Zuul之源码解析http://blog.csdn.net/forezp/article/details/76211680转载于:https://w...
2018-02-07 16:52:00
105
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人