python学习总结（一）；爬取今日头条图片

通过崔庆才老师的《网络爬虫开发实战》，现将自己学习要点记录如下：

1.分析ajax。利用params和urlencode，构建request url。

params = {
            'offset': offset,
            'format': 'json',
            'keyword': '电影',
            'autoload': 'true',
            'count': '20',
            'cur_tab': '3',
            'from': 'gallery'}
url = 'https://www.toutiao.com/search_content/?' + urlencode(params)

2.由于网站代码一改，删除了image_detail，无法一次性爬取图片。爬取思路改为分两步爬取，先在搜索页遍历每个图集的url，再在每个图集的url下爬取每张图片。

3.正则表达式，网址的筛选，转义字符的剔除。