LLH

谈到大数据传输都会想到 Kafka，Kafka 号称大数据的杀手锏，在业界有很多成熟的应用场景并且被主流公司认可。这款为大数据而生的消息中间件，以其百万级TPS的吞吐量名声大噪，迅速成为大数据领域的宠儿，在数据采集、传输、存储的过程中发挥着举足轻重的作用。在业界已经有很多成熟的消息中间件如：RabbitMQ, RocketMQ, ActiveMQ, ZeroMQ，为什么 Kafka 在众多的敌手中依然能有一席之地，当然靠的是其强悍的吞吐量。下面带领大家来揭秘。Kafka 如何做到支持百万级 TPS ？

一、FileBeat原理日志采集器有很多，比如Logstash,功能虽然强大，但是它依赖java、在数据量大的时候，Logstash进程会消耗过多的系统资源，这将严重影响业务系统的性能，而filebeat就是一个完美的替代者，它基于Go语言没有任何依赖，配置文件简单，格式明了，同时，filebeat比logstash更加轻量级，所以占用系统资源极少，非常适合安装在生产机器上。这就是推荐使用filebeat来作为日志收集软件的原因。Filebeat可以直接（或者通过Logstash）将数据发送到Elasti

是当系统处理大量磁盘 IO 操作的时候，由于 CPU 和内存的速度远高于磁盘，可能导致 CPU 耗费太多时间等待磁盘返回处理的结果。对于这部分 CPU 在 IO 上的开销，我们称为 “iowait”。iowait 怎么查看呢？如果你用的是 Linux 系统或者 Mac 系统，当你在执行一项很耗费磁盘 IO 的操作时，比如读写大文件，通过 top 命令便可以看到。如下图所示：CPU 开销示意图其中的 2.6 wa 便是 iowait 占用了 2.6% CPU。那么，这种 CPU 开销对性能会有什么

Web 安全风险有哪些？作为软件工程师，我们通常需要注意哪些 Web 安全风险呢？我的建议是，可以参考 OWASP Top 10 。什么是 OWASP 呢？OWASP 是 Open Web Application Security Project 的缩写，它是一个组织，中文名称叫“开放式Web应用程序安全项目”。OWASP 每年都会发布排名前十的 Web 安全风险，也就是前面提到的 OWASP Top 10 。比如 2020 年 OWASP Top 10 如下：注入失效身份验证和会话管理敏感信息

我曾提到秒杀场次信息是聚合根，它聚合了秒杀商品信息和秒杀专题信息。假如我们要从关系型数据库中提取场次详情，意味着需要访问三张表：活动专题表、活动场次表、活动商品表。这会出现什么问题呢？一旦遇到高并发情况，数据库就会承受很高的访问压力甚至瘫痪。那有没有办法解决这个问题，提高数据访问的高性能和高可用？有！那就是使用 KV 存储，这也是本讲的主题。什么是 KV 存储KV 是 Key-Value 的缩写，KV 存储也叫键值对存储。简单来说，它是利用 Key 做索引来实现数据的存储、修改、查询和删除功能。

那么，在大流量系统比如秒杀系统中，如何防止这种雪崩呢？这就是接下来我要和你介绍的主题：高可用技术中的过载保护。过载保护的重要性什么是过载保护呢？所谓过载保护，是指负载超过系统的承载能力时，系统会自动采取保护措施，确保自身不被压垮。过载保护有多重要？12306 网站大家都用过吧？不知道你还记不记得刚开始网络订票的时候，每次春运抢票，12306 网站都会卡顿、瘫痪。后来它是怎么改进的呢？用户登录时添加图片验证，防止抢票软件自动登录；当用户请求比较频繁的时候，系统出现提示“您的操作频率过快请稍后