scrapy elasticsearch

2019独角兽企业重金招聘Python工程师标准>>>

1.环境搭建

2.爬去真实数据

   a.正则表达式

   b.深度优先和广度优先遍历算法

   c.url的去重的常见策略

   

3.scrapy 突破反爬虫技术

    图片验证码

    IP 访问频率限制

    user-agent随机切换

 

4.scrapy 进阶

    spider item item loader pipeline feed export CrawlSpider

    scrapy 的原理

    基于scrapy的中间件开发

    动态网站的抓取处理

    将selenium和phantomjs 集成到scrapy中

    scrapy log 配置

    email 发送

    scrapy 信号

5.scrapy redis 分布式爬虫

    理解scrapy-redis 分布式爬虫

    集成bloomfilter 到scrapy-redis 中

6.elasticsearch django 实现搜索引擎

    elasticsearch 开源的分布式搜索引擎

 

转载于:https://my.oschina.net/u/730477/blog/1573858