qq_42336554的博客

redis官网下载进入GitHub下载ProxyPool安装redis时记得勾选设置为环境变量cmd进入ProxyPool文件夹报了个错缺少fake_useragent安装再次运行又报错找到getter.py.51行修改后再次运行就OK了打开浏览器输入127.0.0.1:5000/get显示这个就好了...

1.下载MongoDB安装时选择第二个custom自定义安装地址2.安装完成后3.进入cmd窗口选择bin文件夹所在的路径，复制粘贴cd bin文件夹所在路径如果不在C盘，输入d:或e:进入mongo --dbpath "db文件夹所在路径"在data文件夹中创建logs文件夹进入logs文件夹新建文件 mongo.log保存之后在cmd中输入命令 mongod --bind_ip 0.0.0.0...

依赖环境： Scrapy >= 1.1 Redis >= 2.8 分布式爬虫：将一个项目拷贝到多台电脑上，同时爬取数据。 1. 必须保证所有电脑上的代码是相同的配置。 2. 在其中一台电脑上启动redis和mysql的数据库服务。 3. 同时将所有的爬虫项目运行起来。 4. 在启动redis和mysql数据库的电脑上，向redis中添加起始的url。 q = queue() url...