- 博客(44)
- 资源 (4)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 Redis 都有哪些数据类型？分别在哪些场景下使用比较合适？
直接基于 set 将系统里需要去重的数据扔进去，自动就给去重了，如果你需要对一些数据进行快速的全局去重，你当然也可以基于 jvm 内存里的 HashSet 进行去重，但是如果你的某个系统部署在多台机器上呢？比如可以通过 lrange 命令，读取某个闭区间内的元素，可以基于 list 实现分页查询，这个是很棒的一个功能，基于 Redis 实现简单的高性能分页，可以做类似微博那种下拉不断分页的东西，性能高，就一页一页走。这是最简单的类型，就是普通的 set 和 get，做简单的 KV 缓存。
2024-05-24 11:38:06
153
原创 Redis 和 Memcached 有什么区别？
Redis 选择使用单线程模型处理客户端的请求主要还是因为 CPU 不是 Redis 服务器的瓶颈，所以使用多线程模型带来的性能提升并不能抵消它带来的开发成本和维护成本，系统的性能瓶颈也主要在网络 I/O 操作上；多个 socket 可能会并发产生不同的操作，每个操作对应不同的文件事件，但是 IO 多路复用程序会监听多个 socket，会将产生事件的 socket 放入队列中排队，事件分派器每次从队列中取出一个 socket，根据 socket 的事件类型交给对应的事件处理器进行处理。
2024-05-24 11:36:44
368
原创 ES 在数据量很大的情况下（数十亿级别）如何提高查询效率啊？
举个例子吧，假如你每页是 10 条数据，你现在要查询第 100 页，实际上是会把每个 shard 上存储的前 1000 条数据都查到一个协调节点上，如果你有个 5 个 shard，那么就有 5000 条数据，接着协调节点对这 5000 条数据进行一些合并、处理，再获取到最终第 100 页的 10 条数据。里面了，就可以确保热数据的访问性能是很高的。举个例子，拿微博来说，你可以把一些大 V，平时看的人很多的数据，你自己提前后台搞个系统，每隔一会儿，自己的后台系统去搜索一下热数据，刷到。
2024-05-24 11:34:52
351
原创 ES 写入数据的工作原理是什么啊？
每隔 5s，将数据写入 translog 文件（这样如果机器宕机，内存数据全没，最多会有 5s 的数据丢失），translog 大到一定程度，或者默认每隔 30mins，会触发 commit 操作，将缓冲区的数据都 flush 到 segment file 磁盘文件中。translog 其实也是先写入 os cache 的，默认每隔 5 秒刷一次到磁盘中去，所以默认情况下，可能有 5 秒的数据会仅仅停留在 buffer 或者 translog 文件的 os cache 中，如果此时机器挂了，会。
2024-05-24 11:25:20
152
原创 ES 的分布式架构原理能说一下么（ES 是如何实现分布式的啊）？
有些订单是虚拟商品的订单，比如游戏点卡，话费充值。实际上你往 index 里的一个 type 里面写的一条数据，叫做一条 document，一条 document 就代表了 mysql 中某个表里的一行，每个 document 有多个 field，每个 field 就代表了这个 document 中的一个字段的值。，比如你数据量是 3T，3 个 shard，每个 shard 就 1T 的数据，若现在数据量增加到 4T，怎么扩展，很简单，重新建一个有 4 个 shard 的索引，将数据导进去；
2024-05-24 11:22:07
369
原创 如何解决消息队列的延时以及过期失效问题？
某些业务流程如果支持批量方式消费，则可以很大程度上提高消费吞吐量，例如订单扣款类应用，一次处理一个订单耗时 1 s，一次处理 10 个订单可能也只耗时 2 s，这样即可大幅度提高消费的吞吐量，通过设置 consumer 的 consumeMessageBatchMaxSize 返个参数，默认是 1，即一次只消费一条消息，例如设置为 N，那么每次消费的消息数小于等于 N。关于这个事儿，我们一个一个来梳理吧，先假设一个场景，我们现在消费端出故障了，然后大量消息在 mq 里积压，现在出事故了，慌了。
2024-05-24 11:16:30
438
原创 如何保证消息的可靠性传输？
(对原始消息的封装)，该消息对消费者不可见，MQ 通过 ACK 机制返回消息接受状态， 生产者执行本地事务并且返回给 MQ 一个状态(Commit、RollBack 等)，如果是 Commit 的话 MQ 就会把消息给到下游， RollBack 的话就会丢弃该消息，状态如果为 UnKnow 的话会过一段时间回查本地事务状态，默认回查 15 次，一直是 UnKnow 状态的话就会丢弃此消息。这样就可以保证 RabbitMQ 持久化 queue 的元数据，但是它是不会持久化 queue 里的数据的。
2024-05-24 10:00:00
460
原创 如何保证消息的顺序性？
如何保证消息的顺序性？其实这个也是用 MQ 的时候必问的话题，第一看看你了不了解顺序这个事儿？第二看看你有没有办法保证消息是有顺序的？这是生产系统中常见的问题。我举个例子，我们以前做过一个 mysql 同步的系统，压力还是非常大的，日同步数据要达到上亿，就是说数据从一个 mysql 库原封不动地同步到另一个 mysql 库里面去（mysql -> mysql）。常见的一点在于说比如大数据 team，就需要同步一个 mysql 库过来，对公司的业务系统的数据做各种复杂的操作。你在 mysql 里增删改一条数
2024-05-23 18:45:44
506
原创 如何保证消息不被重复消费？
假设你有个系统，消费一条消息就往数据库里插入一条数据，要是你一个消息重复两次，你不就插入了两条，这数据不就错了？但是你要是消费到第二次的时候，自己判断一下是否已经消费过了，若是就直接扔了，这样不就保留了一条数据，从而保证了数据的正确性。能不能避免重复消费？（定时定期），会把自己消费过的消息的 offset 提交一下，表示“我已经消费过了，下次我要是重启啥的，你就让我继续从上次消费到的 offset 来继续消费吧”。幂等性，通俗点说，就一个数据，或者一个请求，给你重复来多次，你得确保对应的数据是不会改变的，
2024-05-23 18:31:05
244
原创 如何保证消息队列的高可用？
实际上 RabbitMQ 之类的，并不是分布式消息队列，它就是传统的消息队列，只不过提供了一些集群、HA(High Availability, 高可用性) 的机制而已，因为无论怎么玩儿，RabbitMQ 一个 queue 的数据都是放在一个节点里的，镜像集群模式下，也是每个节点都放这个 queue 的完整数据。第二，这么玩儿，不是分布式的，就。，指定的时候是可以要求数据同步到所有节点的，也可以要求同步到指定数量的节点，再次创建 queue 的时候，应用这个策略，就会自动将数据同步到其他的节点上去了。
2024-05-23 18:21:53
573
转载 为什么使用消息队列？
那么 A 系统连续发送 3 条消息到 MQ 队列中，假如耗时 5ms，A 系统从接受一个请求到返回响应给用户，总时长是 3 + 5 = 8ms，对于用户而言，其实感觉上就是点个按钮，8ms 以后就直接返回了，爽！所以消息队列实际是一种非常复杂的架构，你引入它有很多好处，但是也得针对它带来的坏处做各种额外的技术方案和架构来规避掉，做好之后，你会发现，妈呀，系统复杂度提升了一个数量级，也许是复杂了 10 倍。但是问题是，要是 BCD 三个系统那里，BD 两个系统写库成功了，结果 C 系统写库失败了，咋整？
2024-05-23 18:14:13
6
原创 爆火AI美女跳舞制作全流程-SD插件Ebsynth_Utility（附带所有工具包）
Stable Diffusion XL 能够生成几乎任何艺术风格的高质量图像，是用来生成写实图像的最佳开放模型。Stable Diffusion是一个可以和MJ相媲美的AI出图工具，简称SD它是一个开源的、免费的项目，没有公司在经营，如果你想用，是需要安装到自己电脑上的，用自己的电脑来渲染出图，同时需要很多数据模型来训练这个工具，让它更加智能。它的优点很明显，免费！除此之外，如果你懂电脑技术，那SD的可定制化会更高，你可以通过训练自己的数据，更好的控制AI出图的构图和姿势。
2024-05-21 18:06:10
683
原创 ElasticSearch新手教程
一.ES原理分析 1.1 全文检索的一般过程 1.2 反向索引 1.3 和nosql相比 1.4 ES的优缺点分析: 1.5 ES的特点: 二.讲讲Segment 2.1 什么是segment 2.2 segment流程图 2.3 删除和更新 2.4 实时索引 2.5更新持久化 2.6 Segment合并 Segment 三.全文检索的基本原理 3.1 对数据分类 3
2017-12-09 22:18:06
6564
1
原创 maven简介
一、maven简介 1.什么是maven？ 2.什么是构建？ 3.ant，maven的比较 4.maven软件安装目录结构 5.maven项目的目录结构 6.maven的特点 7.插件介绍 8.名词解释 8.1 Pom 8.2 Artifact 8.3 Repositories 9. mvn常用参数 10.与前端项目管理工具的简单比较 二、maven基本原理 1.m
2017-12-09 22:02:27
447
转载 JavaWeb学习笔记之自定义数据库连接池
一、应用程序直接获取数据库连接的缺点 用户每次请求都需要向数据库获得链接，而数据库创建连接通常需要消耗相对较大的资源，创建时间也较长。假设网站一天10万访问量，数据库服务器就需要创建10万次连接，极大的浪费数据库的资源，并且极易造成数据库服务器内存溢出、拓机。如下图所示： 二、使用数据库连接池优化程序性能2.1、数据库连接池的基本概念 数据库连接是一种关键的有限的昂贵的资源,这一点
2016-06-18 11:59:47
2023
翻译 Javaweb学习之SpringMVC视图解析器的分析
在这篇博客中将接着介绍一下SpringMVC视图解析器。当我们对SpringMVC控制的资源发起请求时，这些请求都会被SpringMVC的DispatcherServlet处理，接着Spring会分析看哪一个HandlerMapping定义的所有请求映射中存在对该请求的最合理的映射。然后通过该HandlerMapping取得其对应的Handler，接着再通过相应的HandlerAdapter处理该H
2016-06-16 22:01:10
3073
转载 JavaWeb学习之HibernateDaoSupport使用
看到一篇很好描述HibernateDaoSupport类使用的例子，特此在这和大家分享一下 核心提示：1、 继承了HibernateDaoSupport类的类获取session时，已不可用SessionFactory.OpenSessioon的形式来获 取Session了，由于HibernateDaoSupport本身已有获取session的方法getSession(),所以直接用Session
2016-06-15 21:24:06
545
翻译 JavaWeb学习之Servlet3.0新特性详解
异步处理支持：有了该特性，Servlet 线程不再需要一直阻塞，直到业务处理完毕才能再输出响应，最后才结束该 Servlet 线程。在接收到请求之后，Servlet 线程可以将耗时的操作委派给另一个线程来完成，自己在不生成响应的情况下返回至容器。针对业务处理较耗时的情况，这将大大减少服务器资源的占用，并且提高并发处理速度。新增的注解支持：该版本新增了若干注解，用于简化 Servlet、过滤器（Fi
2016-06-15 20:52:13
3725
翻译 JavaWeb学习笔记之Mybatis实用sql语句汇总
一、批量插入/更新/删除批量操作主要使用的是Mybatis的foreach，遍历参数列表执行相应的操作，所以批量插入/更新/删除的写法是类似的，只是SQL略有区别而已。MySql批量操作需要数据库连接配置allowMultiQueries=true才可以。 （1）批量插入 insert into user (name, age,dept_code
2016-06-11 20:44:09
1241
原创 JavaWeb学习笔记之spring mvc处理方法支持如下的返回方式
一 返回值类型ModelAndViewModelModelMapMapViewStringvoid二 返回值详细讲解ModelAndView@RequestMapping("/show1") public ModelAndView show1(HttpServletRequest request, HttpServletResponse response) t
2016-06-11 20:20:53
341
原创 JavaWeb学习笔记之图解Struts和SpringMVC区别
个人心得：springmvc可以精确控制到方法上，controller可以单例开发，Struts2的action则是多例prototype开发，基于类进行拦截请求的。springmvc的速度一般比Struts2要快，主要是s标签的原因。所以建议使用jstl表达式。Struts2曾经爆出重大漏洞，就是ognl表达式URL注入的漏洞。目前springmvc还没有发现什么漏洞。怎么说呢，你需要去了
2016-06-11 17:29:55
1289
1
转载 Javaweb学习笔记之Spring的依赖注入方式
平常的java开发中，程序员在某个类中需要依赖其它类的方法，则通常是new一个依赖类再调用类实例的方法，这种开发存在的问题是new的类实例不好统一管理，spring提出了依赖注入的思想，即依赖类不由程序员实例化，而是通过spring容器帮我们new指定实例并且将实例注入到需要该对象的类中。依赖注入的另一种说法是“控制反转”，通俗的理解是：平常我们new一个实例，这个实例的控制权是我们程序员，而控制反
2016-06-11 17:19:36
978
翻译 JavaWeb学习笔记之Spring中bean的作用域
Bean简介： 在Spring中，那些组成你应用程序的主体(backbone)及由Spring IoC容器所管理的对象，被称之为bean。 简单地讲，bean就是由Spring容器初始化、装配及管理的对象，除此之外，bean就与应用程序中的其他对象没有什么区别了。 而bean定义以及bean相互间的依赖关系将通过配置元数据来描述。 Bean的作用域 创建一个bean定义，其实质是用该b
2016-06-11 17:15:05
850
转载 JavaWeb学习笔记之SSM三大框架整合详细教程
1、基本概念1.1、SpringSpring 是一个开源框架， Spring 是于 2003 年兴起的一个轻量级的 Java 开发框架，由 Rod Johnson 在其著作 Expert One-On-One J2EE Development and Design 中阐述的部分理念和原型衍生而来。它是为了解决企业应用开发的复杂性而创建的。 Spring 使用基本的 JavaBean 来完成以前
2016-06-11 16:58:42
6030
原创 JavaWeb学习笔记之SSM框架搭建配置文件
/WEB-INF/web.xml:-----------------<?xml version="1.0" encoding="UTF-8"?><web-app version="2.4" xmlns="http://java.sun.com/xml/ns/j2ee" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xs
2016-06-11 16:52:33
6379
原创 JavaWeb学习笔记之Servlet九大内置对象
1.request对象: 客户端的请求信息被封装在request对象中，通过它才能了解到客户的需求，然后做出响应。它是HttpServletRequest类的实例。 2.response对象: response对象包含了响应客户请求的有关信息，但在JSP中很少直接用到它。它是HttpServletResponse类的实例。 3.session对象: 代表用户的一次会话，浏
2016-06-11 16:09:29
620
原创 JavaWeb学习笔记之Mybatis关键对象
SqlSessionFactoryBuilder 用来创建SqlSessionFactory的，一旦创建完SqlSessionFactory实例之后，这个类就不需要存在了，所以可以把它作为一个局部变量使用。String resource = “org/mybatis/example/mybatis-config.xml”;InputStream inputStream = Resources.ge
2016-06-11 16:02:43
366
翻译 Java学习笔记之RMI远程方法调用
RMI 应用通常有两个分开的程序组成，一个服务端程序和一个客户端程序。一个典型的服务端程序创建一些远程对象，使得对这些远程对象的引用可以被访问，等待客户端调用这些远程对象提供的方法。一个典型的客户端程序获取远程引用，指向一个或者多个服务端上的远程对象，然后调用这些远程对象所提供的方法。通常我们称这为分布式对象应用程序。3.1 RMI的工作方式分布式对象应用程序需要做的事情：l 查找（
2016-06-11 15:11:56
3562
1
翻译 Java线程池使用说明
Java线程池使用说明一简介线程的使用在java中占有极其重要的地位，在jdk1.4极其之前的jdk版本中，关于线程池的使用是极其简陋的。在jdk1.5之后这一情况有了很大的改观。Jdk1.5之后加入了java.util.concurrent包，这个包中主要介绍java中线程以及线程池的使用。为我们在开发中处理线程的问题提供了非常大的帮助。 二：线程池线程池的作用： 线程池作用就是限制系统中执行
2016-06-11 14:58:39
321
原创 java学习笔记之可变长参数
可变长参数的定义void print （String ... args ）{}2.可变长参数的使用规则 a.参数列表中只能有一个可变长参数 void print(String ...args1 ,String ...args2 ){//错误的参数列表.....}b.可变长参数只能是最后一个参数 c.如果有重载函数，不能发生歧义，否则调用不了 void print (String
2016-06-11 13:54:22
253
原创 Java学习笔记之多线程操作
以前学习基础的时候学习了一段时间的多线程，上课的时候老师也讲过一遍，那时候感觉学的似懂非懂。因为到现在很长一段时间没有用到多线程的知识，所以现在基本上忘了差不多了。但是下个星期要面试了，所以今天特意又研究了一下多线程，免得被问到多线程问题时什么都不记得了那就麻烦了。现在对java比较熟悉了，所以再一次学习多线程知识，感觉没有那么难了（记得刚接触多线程的时候，感觉非常吃力）。 首先讲一下进程和线程的
2016-06-11 13:42:48
358
翻译 JavaWeb学习笔记之Log4j使用教程
一、入门实例1.新建一个JAva工程，导入包log4j-1.2.17.jar，整个工程最终目录如下 2、src同级创建并设置log4j.properties ### 设置### log4j.rootLogger = debug,stdout,D,E输出信息到控制抬log4j.appender.stdout = org.apache.log4j.ConsoleAppender lo
2016-06-11 11:19:57
5923
原创 java学习笔记之集合框架
上述类图中，实线边框的是实现类，比如ArrayList，LinkedList，HashMap等，折线边框的是抽象类，比如AbstractCollection，AbstractList，AbstractMap等，而点线边框的是接口，比如Collection，Iterator，List等。 发现一个特点，上述所有的集合类，都实现了Iterator接口，这是一个用于遍历集合中元素的接口，主要包含hash
2016-06-11 11:02:10
305
1
翻译 java学习笔记之内存模型
Java内存分配原理的时候一定要牢记这一切都是在JVM中进行的，JVM是内存分配原理的基础与前提。 简单通俗的讲，一个完整的Java程序运行过程会涉及以下内存区域： l 寄存器：JVM内部虚拟寄存器，存取速度非常快，程序不可控制。 l 栈：保存局部变量的值，包括：1.用来保存基本数据类型的值；2.保存类的实例，即堆区对象的引用(指针)。也可以用来保存加载方法时的帧。 l 堆：用来存放动态产生
2016-06-11 11:00:33
273
原创 java学习笔记之jdbc连接数据库
步骤如下：1. 加载jdbc驱动程序 在连接数据库之前，首先要加载想要连接的数据库的驱动到JVM（Java虚拟机）， 这通过java.lang.Class类的静态方法forName(String className)实现。 例如： try{ //加载MySql的驱动类 Class.forName(“com.mysql.jdbc.Driver”)
2016-06-11 10:39:17
320
原创 java学习笔记之class类实例获取方法
在Java中，每个class都有一个相应的Class对象。也就是说，当我们编写一个类，编译完成后，在生成的.class文件中，就会产生一个Class对象，用于表示这个类的类型信息 获取Class实例的三种方式： (1)利用对象调用getClass()方法获取该对象的Class实例； (2)使用Class类的静态方法forName()，用类的名字获取一个Class实例（
2016-06-11 10:29:28
352
翻译 java学习笔记之类加载器
虽然学习java也有一年多了，对java的运用可以算作熟练，但深入到java的执行过程，就一年茫然了，所以买了一本《JVM高级虚拟机》。结合网上找的关于类加载机制，谈谈自己的收获吧。JVM三种预定义类型类加载器 我们首先看一下 JVM预定义的三种类型类加载器，当一个 JVM 启动的时候， Java 缺省开始使用如下三种类型类装入器：启动（ Bootstrap ）类加载器 ：引导类装入器是用本地代码
2016-06-11 10:23:49
340
翻译 java学习笔记之线程操作方法总结
1、sleep() 使当前线程（即调用该方法的线程）暂停执行一段时间，让其他线程有机会继续执行，但它并不释放对象锁。也就是说如果有synchronized同步快，其他线程仍然不能访问共享数据。注意该方法要捕捉异常。 例如有两个线程同时执行(没有synchronized)一个线程优先级为MAX_PRIORITY，另一个为MIN_PRIORITY，如果没有Sleep()方法，只有高优
2016-06-11 10:11:07
380
原创 java学习笔记之Socket
1 Socket 客户端类 通过 Socket client = new Socket (“主机名”,8909); 来建立客户端的请求 ，Socket类的构造函数有两个参数，第一个参数是欲连接到的Server计算机的主机地址，第二个参数是该Server机上提供服务的端口号。 Socket对象建立成功之后，就可以在Client和Server之间建立一个连接，并通过这个
2016-06-11 10:06:27
386
原创 java学习笔记之char与byte的区别
相信很多初学者，虽然知道怎么用char 和byte ，但是对他们之间的区别却不甚了解首先 byte 是字节数据类型 ，是有符号型的，占1 个字节；大小范围为-128—127 。char 是字符数据类型 ，是无符号型的，占2字节(Unicode码 ）；大小范围 是0—65535 ；char是一个16位二进制的Unicode字符，JAVA用char来表示一个字符 。1、Char是无符号型的，可以表示一
2016-06-11 10:01:22
383
安卓的开发中动态图片背景的设计
2015-12-06
关于安卓开发的一个下载问题
2015-08-10
TA创建的收藏夹 TA关注的收藏夹
TA关注的人