- 博客(6)
- 收藏
- 关注
RSS订阅原创 scrapy-redis 下载器并发数波动以及下载速度无法达到理论值的问题
问题在用 scrapy-redis 进行分布式采集的过程中，分析日志发现 pages/min 数量呈现规律性的波动原因分析利用 Telnet 工具进行爬取状态的监控在CONCURRENT_REQUESTS=16的情况下，爬虫刚启动时从 redis 队列中拉取 16 个请求，进入下载器，直到这16个请求全部下载完成后，爬虫进入空闲状态，调度器才会再次从redis队列中拉取16个请求如果有使用代理的话，每一批请求的访问间隔则由最慢的那一次请求来决定，会拖慢整个爬虫的速度解决方案不知道...
2021-12-02 18:50:29
1600
2
原创 Ubuntu 18.04 LTS 使用笔记
系统优化记录汉字显示问题，如：门，复。 传送门为Ubuntu Dock启用Minimize on Clickgsettings set org.gnome.shell.extensions.dash-to-dock click-action 'minimize'Caps改为Ctrlsudo vim /etc/default/keyboard文件中修改XKBOPTIONS...
2018-06-11 16:25:27
7064
原创 个人 Vim 操作小结
移动(hjkl) → (←↓↑→)Ctrl + F/B 上/下一页gg 跳到文档第一行nG 跳到文档第n行^/数字0 跳到此行的开头字符/跳到此行的开始位置$ 跳到此行的结尾w/e, W/E 跳到单词的后面，小写包括标点b, B 跳到单词的前面，小写包括标点插入i 插入到光标前面I 插入到行的开始位置a 插入到光标后面A 插入到行的最后位置o/O
2017-03-30 00:09:20
225
原创 Ubuntu 16.04/10 安装后总结
系统配置安装独立显卡 系统设置-软件和更新-附加驱动-nvidia专有驱动-应用更改-重启 双显卡切换： NVIDIA X Server Settings-PRIME Profiles禁用鼠标加速>>sudo vim /usr/share/X11/xorg.conf.d/90-mouse.confSection "InputClass" Identifier "mouse"
2017-03-15 23:35:17
628
转载 Ubuntu 16.04/10 Git配置及连接Github
配置Git1.安装：使用命令 sudo apt install git2.本地生成ssh key：使用命令 ssh-keygen -t rsa -C "myname@email.com" 默认生成的key在/home/.ssh/id_rsa.pub（可由vim打开复制）3.在github中添加SSH key：登录github-Account Settings-SSH Keys-Add SSH
2017-03-15 23:14:13
5743
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人