- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 [爬虫架构] 如何在分布式爬虫架构中动态维护一个代理IP池（付费代理）
前言： 当分布式爬虫使用代理IP技术时，通过直接在爬虫程序中添加平台api接口的方式已经不能满足我们了，因为分布式的爬虫架构每秒的代理IP-URL的请求数会远远大于平台限制的请求频率，当然，对于没有限制的套餐此处不考虑，但为了爬虫能够稳定的获取代理IP，我们仍需要维护一个本地的代理IP池。 准备工作： 需要的工具： 搭建好的一台Redis服务器 思路： ...
2018-04-17 13:21:12
1914
原创 [Python模块]Windows环境安装PyV8并执行js语句
安装这个玩意儿真挺坑的，pip直接安装失败，windows的py库压根搜不到。。 搜索良多解决办法终于找到了，在这里贴出来，主要是把这个库下载下来再安装，但它的下载地址HERE位于外面的世界（你懂得），可能在下载这里会让人很烦躁，我把它的windows版本和linux版本都下载并上传到我的百度网盘了，免费供大家下载。 更新：根据网友建议提供py3的下载地址，之前只有py2的。 --py2版...
2018-04-15 00:46:47
11974
18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人