- 博客(19)
- 收藏
- 关注
RSS订阅原创 ElaticSearch学习笔记
ElaticSearch:分布式开源搜索和分析引擎ES简介:近实时存储、检索数据,集群可达百台,可处理PB级的数据,使用java并使用lucene做为基础,使用restAPI的形式来简化lucene的复杂.功能:分布式搜索引擎;全文检索;数据分析引擎(分组聚合);对海量数据进行实时更新;特点:安装方便;JSON格式;RestAPI操作;分布式,加入节点自动均衡;多租户,不同用户可建立不同索引;实时处理PB级数据;使用场景:搜索类:大网站搜索;日志分析:ELK组合,ES、logstas
2021-04-15 16:11:16
469
原创 RocketMQ学习笔记
使用场景:解耦、流量削峰、数据分发.部署架构:producer 生产者 与nameserver去连接建立连接,生产消息时是与broker连接,但只会向master发送消息consumer 消费者 与nameserver去连接,消费消息时与broker去消费信息.根据偏移量来决定去master还是slave1拉取消息broker 暂存和传输组件 通过broker Name来形成集群,并通过brokerid区分,broker id为0的为master,1和master为读写使用,其余都为备份
2021-03-28 19:32:08
694
1
原创 Kafka学习笔记
Kafka分布式日志系统分区、多副本、多生产者、多订阅者设计目标:时间复杂度为O(1)的处理能力 即使是TB级高吞吐率 垃圾机器也能秒/10万条信息传输消息分区、分布式,可设置独享或共享,分区内有序.离线处理能力,在线扩展Kakfa结构:Kafka优势:高吞吐量、高性能、持久化存储、分布式系统、可靠性、客户端状态维护、在线/离线场景、多客户端语言Kafka应用场景:日志收集消息系统 用户活动追踪:对用户操作行为进行记录.进行推荐算法执行运营指标 提供一些监控指标流式
2021-03-02 00:57:28
1406
原创 RabbitMQ学习笔记
RabbitMQ消息中间件的概念:消息中间件独特的优势就是可异步处理.而不需要定时去检查,redis也可以,但需要定时去查,一致性较差.消息队列则不存在,也不是绝对的,消息过多也会积压.消息中间件随之带来的问题: 如何选择同步和异步处理? 消息安全?丢失重复如何搞? 延迟如何降低 消息的顺序问题 是否重发?如何保证幂等性消息中间件的使用场景: 流量削峰,分流,限流,缓冲,队列机制,只能保证最终一致性的,消息驱动.MQ的选择:开源自己能修复.行业内流行的技术.社区活跃.问题好解决.
2021-02-23 01:48:39
994
3
原创 Redis学习笔记
Redis:单线程,高速读取和写入,数据存放在内存,缓存型的一种nosql数据库被广泛的应用在应用与数据库的中间缓存、分布式事务的一致性、统一认证等等等等.每秒可达到十万级以上的读取和万级以上的每秒写入.缓存的讲解:什么是缓存: 原指CPU内部的存储单元.后期泛指这种高速可读写的存储区. 就像你要掏出打火机,兜里的打火机肯定最快被拿出; 而包里的就稍微慢一点; 那么去商店买的话,就再慢一点. 空间换时间的概念.缓存的类别: 页面缓存: manifest缓存也面文件 浏览器缓
2021-02-17 12:10:25
279
原创 MongoDB学习笔记
MongoDB:noSql数据库四大分类 列存储 Hbase;键值对存储 Redis;图像存储 Neo4j;文档存储 MongoDB;C++编写, 可扩展、高性能、易部署.MongoDB体系结构:磁盘文件->实例->数据库->collection->document(Bson文档)->field数据结构与关系型数据库对比:什么是BSON:类JSON的二进制存储格式, Binary JSON俗称,有数据类型,(JSON 没有全是字符串)可做为网络
2021-01-17 03:43:52
723
原创 MySQL分布式相关笔记
MySQL高级(下):分库分表:可根据用户ID或者手机号hash计算来决定存储在哪个库,插入时,利用手机号进行hash算法,根据hash环来定位存储库可根据时间维度,根据时间来确定存储在哪个库,比如一些流水数据.可根据业务来进行分库存储.比如根据不同的记录对应的其他记录,可插入同一数据库主键的选择: UUID:性能较差 雪花SNOWFLAKE:比较优秀数据一致性: 强一致性:XA 最终一致性:TCC,SAGA,SEATA扩容: 平滑扩容,X2式扩容业务层改造: 重点: 分布式
2021-01-09 23:03:30
181
1
原创 MySQL深入的学习笔记
MYSQL高级:MySql架构演变,这个很重要,软件的环境是如何从单应用算法极致优化的方向,到分布式的进化,这个时代,就会淘汰好多单体应用的coder,比如我自己...哈哈哈哈1.0时代:单机单库 单应用,单数据库.快速,方便.好维护. 并发量小,拓展性差,数据量大无法承受,数据库崩溃直接导致数据丢失.运算能力差2.0主从复制: 一个主数据库,多辅助数据库,主库崩溃,从库立即顶上,保持可用性,进行读写分离,保证性能平均,也有缺点.数据量大的问题还是没有解决.主从复制数据是一样.写入的操作还是比较慢,因
2021-01-03 22:33:19
297
2
原创 SpringCloud第二部分以及SpringCloudAlibaba笔记
Spring cloud 链路追踪: sleuth、zipkin链路追踪的概念: 当我们的微服务结构逐渐庞大,微服务的数量就会大量的增加,这时,微服务之间的调用关系和故障定位,以及性能分析的难度都大大增加,我们迫切的需要一个集中监控和记录这些应用之间的调用记录和调用关系,并监控他们的时间,这样就可以实现故障快速定位与排除,整体性能监控等工作,来保证整体微服务的可用性. 要做到这种链路追踪,需要做到一些什么呢? 一个完整的链路调用关系称之为trace 我们应该有一个唯一的ID在整条调用链路内.
2020-12-08 02:30:23
349
转载 Nacos:server is DOWN now, please try again later!
近期学习nacos,初次启动完美,服务注册都很和谐.今天再次启动发现该错误.总以为是IP错误,直到发现该贴,分享给学习nacos的同志,希望能得到帮助.nacos是使用这个URL去注册中心进行拉取,提示如下,异常信息不列举了,spring boot启动就会报错.解决办法:搬运github原文链接:https://github.com/alibaba/nacos/issues/4210...
2020-12-07 15:07:16
959
原创 Spring MVC笔记
Spring mvc 是简化web开发的一个框架mvc是什么?model+view+controller 设计模式java ee当前流行的架构为 控制层 业务层 持久层Spring mvc三大件视图解析器处理器映射器处理器适配器九大组件HandlerMapping 处理器映射器 接收了dispatherServlet的分发后 根据url选择具体的handler,然后返回选好的handler和inertceptor(拦截器就是在这用的)HandlerAdapter处理器适配器
2020-11-30 15:28:56
109
原创 spring cloud 1代笔记
微服务架构:微服务的概念: 微服务架构的核心思想就是"微",功能单一,服务细小,耦合更低,可快速的单独部署.不影响其他的服务.维护性更好.每个服务可用不同语言开发.模块之间组装容易,每个服务可快速升级,不用考虑其他服务. 缺点显而易见,拆分后导致结构复杂.出现错误很难定位到出处.链路跟踪难.微服务的一些概念: 熔断概念: 被调用的服务出现性能压力很慢,这样会影响调用方的性能,这样就会导致更上层的调用服务整体缓慢导致系统的可用性下降,这时我们就可以切断下游(被调用方)的服务来保证上层的性能稳定来
2020-11-25 03:16:19
212
原创 Dubbo的笔记
Dubbo:近期学习dubbo,在此记下一下dubbo的个人理解以及一些要点,具体的内容呢,dubbo官网已经非常清晰的介绍了,所以在此不啰嗦太多.只记录一些知识点.dubbo官网: http://dubbo.apache.org/zh-cn/简介: 阿里巴巴的开源RPC框架,2012年鼎盛 2014年停更,2017年重启更新 2018年捐献给apache组织,ali的duboo版本停止在2.6版本,后期都为apache的版本三大特性: 面向接口的rpc框架、优秀的负载均衡和容错性、服务注册自
2020-11-09 10:32:32
122
原创 分布式概念与IO模型协议笔记
分布式优势:处理高并发需求,大量的业务需求可以高效率的处理根本问题:网络传输会造成根本问题.我们无法保障网络始终为高效率,因为影响因素很多.分布式的一致性: 强一致性:永远保证各个节点的数据为相同的,不相同要等待相同后才能访问. 弱一致性: 读自写一致性:某个节点应用修改了数据后,它一定查询到最新的数据,其他节点可能读不到最新的数据 单调读一致性:不能读取比上一次旧的数据,应用不会访问到其他节点的旧数据 因果一致性:A应用是被B应用依赖的,所以当A应用修改数据时,B应用就要等到A应用处
2020-10-17 22:15:45
374
4
原创 分布式环境的一些概念和问题处理
先了解分布式和集群的概念:分布式是单系统拆分成多模块系统,集群是单个应用分成多个应用协同工作,分布式因为拆分成多个应用协同工作,所以也是集群,但集群的应用不一定拆分成模块系统,所以不一定是模块系统.一致性hash算法:hash算法的使用范围:数据加密,数据存储和查找时 序列用的就是hash和b树hash存储方式 根据你的数据产生一个固定的hash码 比如1 hash码就是1, 然后再查找时就根据你输入数据的hash码进行查询, 有值就是存在,没有就是空.hash冲突:当两个数据通过计算得出的has
2020-10-15 12:54:06
1010
原创 Tomcat的一些笔记与自我总结
tomcat服务器tomcat目录:bin:tomcat的执行文件，startup、shutdown、catalinaconf：配置文件logging.peoperties server.xml(重点,服务器配置) tomcat-user tomcat用户管理 web.xml tomcat的web配置文件tpmp:存放临时文件的webapps:放入web应用程序work:编译JSP的过程文件tomcat访问原理浏览器发起http请求，tomcat就是socket通信建立连接浏览器发送tcp
2020-10-09 16:21:02
317
原创 Spring boot 笔记
用了Spring boot 2年多,感觉对它还是不太了解,这次学习也算是加深了印象,重新认识了一下spring bootSpring boot笔记spring boot 热部署配置(IDEA的自动部署 )1:引入jar包 spring-boot-devtools2:设置IDEA->Build->compiler->Build project automatically2:Ctrl+Shift+Alt+/ 打开Maintenance选项 Registry 找到compiler.au
2020-09-28 16:59:27
134
原创 Spring学习的自我笔记
工作了几年,一直使用着spring的框架,但是却从没有真正的掌握它,只是简单的会用,却从不考虑它是如何实现的以及底层的原理.这次在拉勾java高薪训练营 重新的深度认识了spring框架,更进一步的理解的spring IOC 与 AOP的机制 以及那精妙的逻辑设计,Spring 不愧是迄今最好的IOC框架,非常值得我们去深入理解,从中可以学习到很多设计算法,在今后的工作中也可以如虎添翼!记录一下自己在这段spring学习时 记录的一些知识要点,方便以后查阅温习!Spring的总结Spring是个一个
2020-09-15 10:35:09
116
原创 微信支付返回支付签名验证失败
微信支付返回支付签名验证失败相信大家已经深深的被微信JSAPI支付的坑所深深的伤透了,在用了微信官方的签名校验工具,已经一个一个字母的校验后,还是返回了这个错误,这真的让人很是头疼,不如咱们检查一下后台,统一下单时出现的问题.这是正常的初始化微信支付类 WXPay wxPay = new WXPay(wxPayConfigImp);咱们看一下初始化的函数 public WXPay(fi...
2019-06-22 19:54:01
6107
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人