关注
分享
学Python的阿勇
1、熟练掌握爬虫requests. scrapy. scrapy-redis爬虫流程,掌握正则表达式、xpath提取网页资源方法,熟练构建分布式爬虫, Linux下的定时启动爬虫
2、熟悉各个网站常见反爬策略,能根据网页分析出常见反爬手段
3、熟悉前游代码,可以分析目标网站真实request地址和response内容,使用代理试水网站反爬由级别,检测是否有投毒数据。
4、针对不同反爬虫级别网站,做出具体Scrapy部署,使用工具包括不局限于:伪造User-Agent,批量P代理池,设置并发数量及下载速度
5、使用logging模块编写监控程序进行爬虫监控,并根据日期定向输出日志到og文件
展开