- 博客(4)
- 收藏
- 关注
RSS订阅原创 初识pyspider
PySpider：一个国人编写的强大的网络爬虫系统并带有强大的WebUI。采用Python语言编写，分布式架构，支持多种数据库后端，强大的WebUI支持脚本编辑器，任务监视器，项目管理器以及结果查看器但是在工作中还是没有scrapy功能强大，所以并没有很深入的去学习只是大概了解1. 下载pyspider pip install pyspider2. 打开命令行工具 输入pyspider...
2018-09-29 21:32:27
208
原创 关于python中redis结合布隆去重部署分布式爬虫
基本概念如果想判断一个元素是不是在一个集合里，一般想到的是将所有元素保存起来，然后通过比较确定。链表，树等等数据结构都是这种思路. 但是随着集合中元素的增加，我们需要的存储空间越来越大，检索速度也越来越慢。不过世界上还有一种叫作散列表（又叫哈希表，Hash table）的数据结构。它可以通过一个Hash函数将一个元素映射成一个位阵列（Bit Array）中的一个点。这样一来，我们只要看看这个点是...
2018-09-29 21:22:47
665
原创 Scrapyd部署爬虫项目
1.下载scrapyd包打开命令行工具执行pip install scrapyd等待安装完成输入scrapyd启动scrapyd服务浏览器输入127.0.0.1:6800 即可查看2.如果连接成功先关闭服务，自己在非C盘下新建一个文件夹，名称自定义如:scrapydTest然后进入该文件夹，shift+右键 打开命令行工具，输入scrapyd执行，执行完成后会新建一个dbs空文...
2018-09-29 21:02:05
209
原创 基于scrapy_redis部署的scrapy分布式爬虫
1. 首先使用命令行工具下载工具包 scrapy_redis（如果使用的是虚拟环境，先进入到虚拟环境）scrapy-redis：一个三方的基于redis的分布式爬虫框架，配合scrapy使用，让爬虫具有了分布式爬取的功能github地址： https://github.com/darkrho/scrapy-redis2.打开项目配置settings找到settings文件,配置sc...
2018-09-29 20:42:33
279
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人