- 博客(453)
- 收藏
- 关注
RSS订阅原创 生产环境中的redis是怎么部署的？
面试题生产环境中的redis是怎么部署的？面试官心理分析看看你了解不了解你们公司的redis生产整合的部署架构，如果你不了解，那么确实你就很失职了，你的redis是主从架构？构造架构？用了可行的方案？有没有做redis给几个G的内存？设置了什么参数？压测后你们redis占用了多少QPS？高可用保证？有没有开启持久化机制确保可以进行数据恢复？兄弟，这些你必须是门儿清的，否则你确实是没...
2019-10-11 13:49:55
811
原创 redis的并发竞争问题是什么？如何解决这个问题？了解redis事务的CAS方案吗？
面试题redis的并发竞争问题是什么？如何解决这个问题？了解redis事务的CAS方案吗？面试官心理分析这个也是线上非常常见的一个问题，就是多客户端同时并发写一个key，可能本来应该先到的数据后到了，导致数据版本错了；或者是多客户端同时获取一个key，修改值之后再写回去，只要顺序错了，数据就错了。而且redis自己就有天然解决这个问题的CAS类的乐观锁方案。面试题剖析可以基...
2019-10-11 13:46:33
644
原创 如何保证缓存与数据库的双写一致性？
面试题如何保证缓存与数据库的双写一致性？面试官心理分析你只要用缓存，就可能会涉及到缓存与数据库双存储双写，你只要是双写，就一定会有数据一致性的问题，那么你如何解决一致性问题？面试题剖析一般来说，如果允许缓存可以稍微的跟数据库偶尔有不一致的情况，也就是说如果你的系统不是严格要求“缓存+数据库” 必须保持一致性的话，最好不要做这个方案，即：读请求和写请求串行化，串到一个内存队列里...
2019-10-11 13:40:05
63
原创 了解什么是 redis 的雪崩、穿透和击穿？Redis 崩溃之后会怎么样？系统该如何应对这种情况？如何处理 Redis 的穿透？
面试题了解什么是 redis 的雪崩、穿透和击穿？redis 崩溃之后会怎么样？系统该如何应对这种情况？如何处理 redis 的穿透？面试官心理分析其实这是问到缓存必问的，因为缓存雪崩和穿透，是缓存最大的两个问题，要么不出现，一旦出现就是致命性的问题，所以面试官一定会问你。面试题剖析缓存雪崩对于系统 A，假设每天高峰期每秒 5000 个请求，本来缓存在高峰期可以扛住每秒 4...
2019-10-09 11:10:53
106
原创 redis 集群模式的工作原理能说一下么？在集群模式下，redis 的 key 是如何寻址的？分布式寻址都有哪些算法？了解一致性 hash 算法吗？
面试题redis 集群模式的工作原理能说一下么？在集群模式下，redis 的 key 是如何寻址的？分布式寻址都有哪些算法？了解一致性 hash 算法吗？面试官心理分析在前几年，redis 如果要搞几个节点，每个节点存储一部分的数据，得借助一些中间件来实现，比如说有codis，或者twemproxy，都有。有一些 redis 中间件，你读写 redis 中间件，redis 中间件负...
2019-10-09 11:10:17
120
原创 redis 的持久化有哪几种方式？不同的持久化机制都有什么优缺点？持久化机制具体底层是如何实现的？
面试题redis 的持久化有哪几种方式？不同的持久化机制都有什么优缺点？持久化机制具体底层是如何实现的？面试官心理分析redis 如果仅仅只是将数据缓存在内存里面，如果 redis 宕机了再重启，内存里的数据就全部都弄丢了啊。你必须得用 redis 的持久化机制，将数据写入内存的同时，异步的慢慢的将数据写入磁盘文件里，进行持久化。如果 redis 宕机重启，自动从磁盘上加载之前持久...
2019-10-09 11:07:36
121
原创 如何保证 redis 的高并发和高可用？redis 的主从复制原理能介绍一下么？redis 的哨兵原理能介绍一下么？
面试题如何保证 redis 的高并发和高可用？redis 的主从复制原理能介绍一下么？redis 的哨兵原理能介绍一下么？面试官心理分析其实问这个问题，主要是考考你，redis 单机能承载多高并发？如果单机扛不住如何扩容扛更多的并发？redis 会不会挂？既然 redis 会挂那怎么保证 redis 是高可用的？其实针对的都是项目中你肯定要考虑的一些问题，如果你没考虑过，那确实你对...
2019-10-09 11:06:57
125
转载 Redis 的过期策略都有哪些？手写一下 LRU 代码实现？
面试题redis 的过期策略都有哪些？内存淘汰机制都有哪些？手写一下 LRU 代码实现？面试官心理分析如果你连这个问题都不知道，上来就懵了，回答不出来，那线上你写代码的时候，想当然的认为写进 redis 的数据就一定会存在，后面导致系统各种 bug，谁来负责？常见的有两个问题：往 redis 写入的数据怎么没了？可能有同学会遇到，在生产环境的 redis 经常会丢掉一些数据，...
2019-10-09 11:03:57
88
原创 Redis 都有哪些数据类型？分别在哪些场景下使用比较合适？
面试题redis 都有哪些数据类型？分别在哪些场景下使用比较合适？面试官心理分析除非是面试官感觉看你简历，是工作 3 年以内的比较初级的同学，可能对技术没有很深入的研究，面试官才会问这类问题。否则，在宝贵的面试时间里，面试官实在不想多问。其实问这个问题，主要有两个原因：看看你到底有没有全面的了解 redis 有哪些功能，一般怎么来用，啥场景用什么，就怕你别就会最简单的 KV 操...
2019-10-09 10:53:06
152
原创 redis 和 memcached 有什么区别？redis 的线程模型是什么？为什么 redis 单线程却能支撑高并发？
面试题redis 和 memcached 有什么区别？redis 的线程模型是什么？为什么 redis 单线程却能支撑高并发？面试官心理分析这个是问 redis 的时候，最基本的问题吧，redis 最基本的一个内部原理和特点，就是 redis 实际上是个单线程工作模型，你要是这个都不知道，那后面玩儿 redis 的时候，出了问题岂不是什么都不知道？还有可能面试官会问问你 redis...
2019-10-09 10:44:40
70
原创 项目中缓存是如何使用的？为什么要用缓存？缓存使用不当会造成什么后果？
面试题项目中缓存是如何使用的？为什么要用缓存？缓存使用不当会造成什么后果？面试官心理分析这个问题，互联网公司必问，要是一个人连缓存都不太清楚，那确实比较尴尬。只要问到缓存，上来第一个问题，肯定是先问问你项目哪里用了缓存？为啥要用？不用行不行？如果用了以后可能会有什么不良的后果？这就是看看你对缓存这个东西背后有没有思考，如果你就是傻乎乎的瞎用，没法给面试官一个合理的解答，那面试官...
2019-10-09 10:40:17
117
原创 es 生产集群的部署架构是什么？每个索引的数据量大概有多少？每个索引大概有多少个分片？
面试题es 生产集群的部署架构是什么？每个索引的数据量大概有多少？每个索引大概有多少个分片？面试官心理分析这个问题，包括后面的 redis 什么的，谈到 es、redis、mysql 分库分表等等技术，面试必问！就是你生产环境咋部署的？说白了，这个问题没啥技术含量，就是看你有没有在真正的生产环境里干过这事儿！有些同学可能是没在生产环境中干过的，没实际去拿线上机器部署过 es 集群，...
2019-10-09 10:27:14
108
原创 es 在数据量很大的情况下（数十亿级别）如何提高查询效率啊？
面试题es 在数据量很大的情况下（数十亿级别）如何提高查询效率啊？面试官心理分析这个问题是肯定要问的，说白了，就是看你有没有实际干过 es，因为啥？其实 es 性能并没有你想象中那么好的。很多时候数据量大了，特别是有几亿条数据的时候，可能你会懵逼的发现，跑个搜索怎么一下5~10s，坑爹了。第一次搜索的时候，是5~10s，后面反而就快了，可能就几百毫秒。你就很懵，每个用户第一次访...
2019-10-09 10:19:39
125
原创 es 写入数据的工作原理是什么啊？es 查询数据的工作原理是什么啊？底层的 lucene 介绍一下呗？倒排索引了解吗？
面试题es 写入数据的工作原理是什么啊？es 查询数据的工作原理是什么啊？底层的 lucene 介绍一下呗？倒排索引了解吗？面试官心理分析问这个，其实面试官就是要看看你了解不了解 es 的一些基本原理，因为用 es 无非就是写入数据，搜索数据。你要是不明白你发起一个写入和搜索请求的时候，es 在干什么，那你真的是......对 es 基本就是个黑盒，你还能干啥？你唯一能干的就是用 ...
2019-10-08 14:24:40
75
原创 es 的分布式架构原理能说一下么？（es 是如何实现分布式的）
面试题es 的分布式架构原理能说一下么？（es 是如何实现分布式的）面试官心理分析在搜索这块，lucene 是最流行的搜索库。几年前业内一般都问，你了解 lucene 吗？你知道倒排索引的原理吗？现在早已经 out 了，因为现在很多项目都是直接用基于 lucene 的分布式搜索引擎—— ElasticSearch，简称为 es。而现在分布式搜索基本已经成为大部分互联网行业的 Jav...
2019-10-08 14:02:39
298
原创 lucene 和 es 的前世今生
lucene 和 es 的前世今生lucene 是最先进、功能最强大的搜索库。如果直接基于 lucene 开发，非常复杂，即便写一些简单的功能，也要写大量的 Java 代码，需要深入理解原理。elasticsearch 基于 lucene，隐藏了 lucene 的复杂性，提供了简单易用的 restful api / Java api 接口（另外还有其他语言的 api 接口）。分布式的文...
2019-10-08 13:36:36
284
原创 如果让你写一个消息队列，该如何进行架构设计？说一下你的思路。
面试题如果让你写一个消息队列，该如何进行架构设计？说一下你的思路。面试官心理分析其实聊到这个问题，一般面试官要考察两块：你有没有对某一个消息队列做过较为深入的原理的了解，或者从整体了解把握住一个消息队列的架构原理。 看看你的设计能力，给你一个常见的系统，就是消息队列系统，看看你能不能从全局把握一下整体架构设计，给出一些关键点出来。说实话，问类似问题的时候，大部分人基本都会蒙，因...
2019-10-08 11:20:56
125
原创 如何解决消息队列的延时以及过期失效问题？消息队列满了以后该怎么处理？有几百万消息持续积压几小时，说说怎么解决？
面试题如何解决消息队列的延时以及过期失效问题？消息队列满了以后该怎么处理？有几百万消息持续积压几小时，说说怎么解决？面试官心理分析你看这问法，其实本质针对的场景，都是说，可能你的消费端出了问题，不消费了；或者消费的速度极其慢。接着就坑爹了，可能你的消息队列集群的磁盘都快写满了，都没人消费，这个时候怎么办？或者是这整个就积压了几个小时，你这个时候怎么办？或者是你积压的时间太长了，导致比如...
2019-10-08 11:10:03
134
原创 如何保证消息的顺序性？
面试题如何保证消息的顺序性？面试官心理分析其实这个也是用 MQ 的时候必问的话题，第一看看你了不了解顺序这个事儿？第二看看你有没有办法保证消息是有顺序的？这是生产系统中常见的问题。面试题剖析我举个例子，我们以前做过一个 mysqlbinlog同步的系统，压力还是非常大的，日同步数据要达到上亿，就是说数据从一个 mysql 库原封不动地同步到另一个 mysql 库里面去（my...
2019-10-08 11:05:20
194
原创 如何保证消息的可靠性传输？（如何处理消息丢失的问题）
面试题如何保证消息的可靠性传输？或者说，如何处理消息丢失的问题？面试官心理分析这个是肯定的，用 MQ 有个基本原则，就是数据不能多一条，也不能少一条，不能多，就是前面说的重复消费和幂等性问题。不能少，就是说这数据别搞丢了。那这个问题你必须得考虑一下。如果说你这个是用 MQ 来传递非常核心的消息，比如说计费、扣费的一些消息，那必须确保这个 MQ 传递过程中绝对不会把计费消息给弄丢。...
2019-10-08 10:51:48
173
转载 如何保证消息不被重复消费？（如何保证消息消费的幂等性）
面试题如何保证消息不被重复消费？或者说，如何保证消息消费的幂等性？面试官心理分析其实这是很常见的一个问题，这俩问题基本可以连起来问。既然是消费消息，那肯定要考虑会不会重复消费？能不能避免重复消费？或者重复消费了也别造成系统异常可以吗？这个是 MQ 领域的基本问题，其实本质上还是问你使用消息队列如何保证幂等性，这个是你架构里要考虑的一个问题。面试题剖析回答这个问题，首先你别听到重...
2019-10-08 10:46:59
113
原创 如何保证消息队列的高可用？
面试题如何保证消息队列的高可用？面试官心理分析如果有人问到你 MQ 的知识，高可用是必问的。上一讲提到，MQ 会导致系统可用性降低。所以只要你用了 MQ，接下来问的一些要点肯定就是围绕着 MQ 的那些缺点怎么来解决了。要是你傻乎乎的就干用了一个 MQ，各种问题从来没考虑过，那你就悲剧了，面试官对你的感觉就是，只会简单使用一些技术，没任何思考，马上对你的印象就不太好了。这样的同学招进...
2019-10-08 10:37:08
98
原创 为什么使用消息队列？ 消息队列有什么优点和缺点？ Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别，以及适合哪些场景？
面试题为什么使用消息队列？ 消息队列有什么优点和缺点？ Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别，以及适合哪些场景？面试官心理分析其实面试官主要是想看看： 第一，你知不知道你们系统里为什么要用消息队列这个东西？ 不少候选人，说自己项目里用了 Redis、MQ，但是其实他并不知道自己为什么要用这个东西。其实说白了，就是为了用而用，或者是别人...
2019-10-08 10:21:24
184
原创 深入理解Java内存模型（一）
并发编程模型的分类：在并发编程中，我们需要处理两个关键问题：线程之间如何通信及线程之间如何同步（这里的线程是指并发执行的活动实体）。通信是指线程之间以何种机制来交换信息。在命令式编程中，线程之间的通信机制有两种：共享内存和消息传递。在共享内存的并发模型里，线程之间共享程序的公共状态，线程之间通过写-读内存中的公共状态来隐式进行通信。在消息传递的并发模型里，线程之间没有公共状态，线程之间必须...
2019-09-12 17:18:07
81
原创 Spring Boot+Security+Thymeleaf sec:authorize-url 标签不生效
用 SpringBoot + SpringSecurity + Thymeleaf 搭建了一个应用,发现 Thymeleaf sec:authorize-url 以及 sec:authorize="hasRole('ROLE_ADMIN')" 标签都不生效。后来发现是 Maven 引入 thymeleaf-extras-springsecurity4 时没有指定版本号，直接使用是SpringBo...
2019-09-12 11:39:52
482
原创 IEAD之mac 环境下的 Springboot 热部署方式-devtools
首先添加 maven 依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-devtools</artifactId></dependency>IDEAD 设置1、 左上角 prefere...
2019-09-09 16:25:06
334
原创 SpringBoot优雅的统一restful返回结果
1.为什么要定义通用返回对象：项目开发中，一般情况下都会对数据返回的格式做一个统一的要求，一般会包括状态码、信息及数据三部分。定义通用返回对象可以在原返回的数据基础上封装一层，将状态码等信息包含进来。2.案例如下：1.通过枚举类自定义返回状态码：/** * API 统一返回状态码 */public enum ResultCode { /* 成功状态码 */ ...
2019-09-09 15:32:34
3098
原创 Vue限制标签ul ol table等使用（is特性的使用）
正确使用方法记录一下： <!--is 的正确使用--> <table> <tbody> <tr is="row"></tr> <tr is="row"></tr> <tr is="row"></t...
2019-06-09 14:34:39
724
原创 org.apache.jasper.JasperException: Failed to load or instantiate TagLibraryValidator class: org.apac
1.添加依赖 <dependency> <groupId>jstl</groupId> <artifactId>jstl</artifactId> <version>1.2</version> </de...
2019-06-02 13:46:59
599
2
原创 SSM环境下解决静态资源无法加载的问题
在web.xml中，在DispatcherServlet之后设置<servlet-mapping> <servlet-name>SpringMVC</servlet-name> <url-pattern>*.css</url-pattern> <url-pattern>*....
2019-06-01 01:29:13
900
原创 SSM集成Echarts的简单使用
首先搭建好SSM环境此处不是重点，如果不会请自行百度查阅资料。domain层public class User { private int id; private String name; private int age; private int id; private String name; private int age;#省略gette...
2019-05-31 23:48:09
25366
1
原创 Spring Security报错：There is no PasswordEncoder mapped for the id "null"
SpringBoot集成SpringSecurity进行安全控制的时候。package com.example.boot2security.config;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.context.annotation.Configur...
2019-05-26 19:35:23
252
原创 SpringBoot集成ehcache缓存报错
现象：idea配置echache.xml报错Cannot resolve file 'ehcache.xsd'解决办法：打开settings->languages&frameworks->schemas and dtds ,添加地址http://ehcache.org/ehcache.xsd然后将ehcache.xml 这里做修改...
2019-05-17 11:01:48
1046
原创 spark-submit上传jar包时间较长的解决
出现的场景：在spark-submit提交Spark作业时，发现上传Spark依赖到hdfs时间长达数分钟。这个日志之后在上传程序依赖的jar，根据不同网络负荷，需要耗时数十秒甚至数分钟，导致任务提交速度超级慢，在官网上查到出现这种现象的原因：https://spark.apache.org/docs/2.1.1/running-on-yarn.html其中有这么一句话：To ma...
2019-05-15 08:45:42
964
原创 使用Java API操作ES
首先创建一个Maven管理的Java项目：在pom.xml中添加依赖： <es.version>6.1.1</es.version> <dependency> <groupId>org.elasticsearch.client</groupId> <arti...
2019-05-11 17:58:57
2759
原创 解决maven项目 jar包下载不完整
点击右边工具栏maven--maven goal选中M图标的选项，然后在弹框中输入mvn -U idea:idea
2019-05-10 17:52:06
5957
原创 设置Spring Boot在Idea中实现热部署
添加依赖：<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-devtools</artifactId> <!-- optional=true,依赖不会传递 --> <opt...
2019-05-10 17:35:30
117
原创 Hive import/export使用总结
应用场景：数据迁移：Hive中的数据表要迁移到另一套集群上，使用导入导出命令操作官网语法：EXPORT TABLE tablename [PARTITION (part_column="value"[, ...])] TO 'export_target_path' [ FOR replication('eventid') ]IMPORT [[EXTERNAL] TABLE n...
2019-05-08 14:52:14
1209
原创 HiveServer2的使用
使用场景：1. 使用jdbc进行编程开发的时候，连接HS2更加方便2. HS2会作为长服务，所以要考虑HA的问题，实现可基于ZK来实现3. 使用客户端的方式进行访问：beeline的方式测试：启动HS2:bin/hiveserver2启动beeline进行连接：bin/beeline -u jdbc:hive2://hadoop000:10000/defa...
2019-05-08 14:31:59
1020
原创 记录Hive另外几种方式的使用
➜ hive-1.1.0-cdh5.7.0 bin/hive -helpreadlink: illegal option -- fusage: readlink [-n] [file ...]usage: hive -d,--define <key=value> Variable subsitution to apply to hive ...
2019-05-08 11:33:31
173
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人