通过崔庆才老师的《网络爬虫开发实战》,现将自己学习要点记录如下:
1.分析ajax。利用params和urlencode,构建request url。
params = {
'offset': offset,
'format': 'json',
'keyword': '电影',
'autoload': 'true',
'count': '20',
'cur_tab': '3',
'from': 'gallery'}
url = 'https://www.toutiao.com/search_content/?' + urlencode(params)
2.由于网站代码一改,删除了image_detail,无法一次性爬取图片。爬取思路改为分两步爬取,先在搜索页遍历每个图集的url,再在每个图集的url下爬取每张图片。
3.正则表达式,网址的筛选,转义字符的剔除。