爬虫:按照一定的规则自动抓取网络信息,
反爬虫:User_Agent ,Referer,验证码
单位时间访问次数,访问量的限制
关键信息图片混淆
异步加载
爬取网页内容,,但是抓取的只是空壳,因为采取的异步加载
GoogleChrome/puppeteer
https://github.com/GoogleChrome/puppeteer/blob/v1.7.0/docs/api.md这是爬取行为的配置文件,是根据用户的行为,进行爬取的
爬虫:按照一定的规则自动抓取网络信息,
反爬虫:User_Agent ,Referer,验证码
单位时间访问次数,访问量的限制
关键信息图片混淆
异步加载
爬取网页内容,,但是抓取的只是空壳,因为采取的异步加载
GoogleChrome/puppeteer
https://github.com/GoogleChrome/puppeteer/blob/v1.7.0/docs/api.md这是爬取行为的配置文件,是根据用户的行为,进行爬取的