# -*- coding: utf-8 -*- # author:xiaoming time:2020/8/12 # 一 发送请求--数据采集 requests/urllib # 1.用户请求的headers # ①.模拟浏览器从浏览器拿header信息 User-Agent池 # ②.Referer池 防盗链参数,可以指向需要爬取的网站地址。其表示浏览器所访问的前一个页面,可以认为是之前访问页面的链接将浏览器带到了当前页面 # 2.基于用户行为 # ①.IP代理池 反爬,有免费和付费 # ②.添加随机延迟时间,减小对爬取网站的压力 # ③.cookies池可以考虑随机生成,公开网站不需要登录,需要登录的单独再处理(fiddler抓包或selenium登录获取cookies) # 3.动态页面 # ①.解析CSS自定义字体 # ②.js异步加载 # ③.验证码问题 PhantomJS是一个Python包,无界面浏览器,能解决大部分反爬问题。 # 二 分析结果--数据分析 BeautifulSoup(html5lib)/re # 1.BeautifulSoup https://beautifulsoup.readthedocs.io/zh_CN/latest/ # 2.增量更新 # ①按日期更新 # ②对比数据 # 3.页码处理 # 三 结果入库--数据存储 sqlalchemy
爬虫
最新推荐文章于 2024-04-01 13:30:49 发布