Python爬虫-抓取头条美图_抓取头条用户的图片-CSDN博客

本文链接：https://blog.csdn.net/Cossper/article/details/81334535

根据崔庆才老师的教程写的一个爬虫程序，现在将整个过程和其中碰到的问题写下来。

1、数据库：MongoDB，下载直接安装即可

2、下面对索引页进行分析

我们打开开发者工具，Network没有东西的小伙伴再刷新一下就可以了，我们将Headers里面的内容拉到最下面发现有一个查询参数集，再将Headers里面的内容拉到最上面，我们发现RequestURL和下面的参数集一样，keyword被重新编码了，所以看不到汉字，参数集里面有个form的变量，它的值是gallery，这说明我们请求的是图集，如果点击视频的链接，你会发现from的值是vedio，这些参数是我们获取索引页的基础代码如下：

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}

def get_page_index(offset, keyword):
    data = {
        'offset': offset,
        'format': 'json',
        'keyword': keyword,
        'autoload': 'true',
        'count': '20',
        'cur_tab': 1,
        'from': 'gallery'
    }
    url = 'https://www.toutiao.com/search_content/?' + urlencode(data)
    try:
        response = requests.get(url, headers = headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        print('请求索引页失败')
        return None

3.解析获得的这个索引页

我们点开Preview窗口，看到里面有一个名为data的数据，展开data[0]，里面有一个article_url的变量，我们将这个网址复制到浏览器，打开是第一个标题的组图，如下图所示：

由此可知data里面存储的是每个组图的地址信息，我们只需要将这些信息拿出来即可，代码如下：

def parse_page_index(html):
    try:
        data = json.loads(html)
        if data and 'data' in data.keys():
            for item in data.get('data'):
                yield item.get('article_url')
    except JSONDecodeError:
        pass

3.获取详情页

def get_page_detail(url):

    try:
        response = requests.get(url, headers = headers)
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        print('请求详情页失败', url)
        return None

根据步骤2获取的URL得到网页即可，在这里我遇到了一些问题，那就是才开始的时候没有向requests.get()方法传入headers参数，可以访问到，访问码是正确的，但没办法拿到完整的网页内容，所以写爬虫的时候最好写上headers，headers获得如下，打开一个网页，如下图，只需将User-Agent属性写上即可

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
}

4.解析详情页

直接分析页面内容，我们发现gallery属性中有一堆url信息，我们将页面中的一张图片在新窗口打开，通过对比发现这一堆url地址就是图片的具体地址，这就是我们要找的信息，接下来我们只要把这些信息解析出来，代码如下：

def parse_page_detail(html, url):
    soup = BeautifulSoup(html, 'lxml')
    title = soup.select('title')[0].get_text()
    images_pattern = re.compile('gallery: JSON.parse\("(.*?)"\),', re.S)
    result = re.search(images_pattern, html)
    if result:
        tmp = re.sub(r'\\', '', result.group(1))
        data = json.loads(tmp)
        if data and 'sub_images' in data.keys():
            sub_images = data.get('sub_images')
            images = [item.get('url') for item in sub_images]
            for image in images:
                download_image(image)
            return {
                'title' : title,
                'url' : url,
                'images' : images
            }

通过正则表达式将数据筛选出来，再处理数据中的转义符，将图片的url分离出来，再根据url下载图片，同时将图片地址存储到MongoDB中去，为了提高效率，我们使用线程池。这里不再贴代码了，全部代码在这下载：

https://github.com/wanaghao729/pythonCode/tree/master/jiepai