- 博客(7)
- 收藏
- 关注
RSS订阅原创 redis队列消费者性能提升优化
前言使用redis队列存放消息时，我们通常用rpop,lpop,或者brpop取出队列中存放的数据。同步阻塞模型同步阻塞模型也就是，代码从上到下按顺序执行，遇到函数调用，则调用函数，阻塞等待结果返回，然后继续循环调用。该方法有哪些缺点呢？对cpu的利用率低下，也就是消费速度低于生成速度，容易造成队列堵塞，从而造成消息丢失等一系列问题。python实现代码如下from redis import Redisimport timedef analyse(data): """
2020-07-26 19:02:26
1058
原创 redis哨兵模式及集群
前言在一般的程序设计中，我们都会用到消息队列。为啥要用消息队列呢？无非就是为了程序的解藕，错峰，异步。所谓异步，就是可以同时做的事情，就不需要等待前一个任务完成再继续。例如充值话费，充值和返还积分，这两个操作可以在扣费成功后同时进行。使用这种策略，可以大大提高接口的响应速度。错峰就是大量流量流入，为了避免操作系统处理压力过大，可以使用消息队列将请求保存起来，然后根据系统的抗压能力分批处理。常见的例子有：12306春节购票，双11淘宝活动已经各类电商网站的秒杀等等解藕，就是将系统的功能拆分，避免写
2020-07-09 18:05:47
328
1
原创 frida安装教程及案例
什么是fridafrida是一款代码注入工具，它可以实现hook一个方法，让其返回我们需要的值。这是我刚接触这工具的理解。如何安装网上的教程可以说是百花齐放，相得益彰,下面的教程将教你如何手动安装，而非自动化。为什么不使用自动化呢？手动安装速度更快，可以避免很多如证书错误，网络延迟等一系列外在因素，造成安装失败的结果。第一步，下载egg文件到用户目录下我电脑是mac，使用的版本是1...
2019-07-27 14:23:02
5730
1
原创 ubuntu系统安装Puppeteer
前言puppeteer(木偶)，是Google Chrome团队出品的一款无界面Chrome工具，它提供了丰富的API，让开发者像鼠标一样控制浏览器的各种行为。它是一个node库，所以安装nodejs以及npm包管理器安装nodejs及npmapt-get install nodejs apt-get install npm查看node版本号node -v升级node版本 ...
2019-07-20 12:13:15
2570
原创 守护进程
背景最近有个程序，在后台运行的时候，总是莫名其妙就挂了，看报错日志，只弹了个core dumped。在网上寻求了解决方案，都无解。程序莫名奇妙掉线对日常的工作任务影响极大，因此，在问题没解决之前，只能写个守护进程来及时发现程序是否掉线，若掉线，就重启。技术依赖python os系统库linux进程查看crontab 定时任务编码实现import argparseimpor...
2019-07-18 11:06:30
75
原创 Elasticsearch创建索引别名
背景按天创建的es数据库，今天出现了异常，导致mapping是自动生成的。这样子，在做一些特定聚合查询的时候，es直接报错，严重影响了生产数据的获取。异常来得总是那么突然，那么，我们要怎样解决这个问题？数据转移。创建一个新的数据库，并更新其mappingcurl -x POST 'http://localhost:8888/testtmp/hotel/_mapping?' -d '...
2019-07-09 22:39:52
2247
原创 nodejs爬取websocket数据
websocket介绍百度百科 摘要：WebSocket是一种在单个TCP连接上进行全双工通信的协议。WebSocket通信协议于2011年被IETF定为标准RFC 6455，并由RFC7936补充规范。WebSocketAPI也被W3C定为标准。WebSocket使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据。在WebSocket API中，浏览器和服务器只需...
2019-07-09 16:33:16
2248
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人