分析Ajax爬取今日头条，下载图片

最新推荐文章于 2022-04-03 19:13:58 发布

Jy_lin

最新推荐文章于 2022-04-03 19:13:58 发布

阅读量953

点赞数 1

分类专栏：爬虫文章标签：爬虫 Ajax 今日头条长泽雅美

本文链接：https://blog.csdn.net/weixin_43327576/article/details/86545968

版权

本文介绍了如何使用Ajax爬取并下载今日头条上的长泽雅美图集。通过分析搜索结果页面，提取图片URL，并利用正则表达式处理反斜杠问题，最终获取到每个图片的链接。代码实现包括对原始URL的处理，以及图片链接的提取，适合Python爬虫初学者参考。

摘要由CSDN通过智能技术生成

这几天打算趁着寒假时间把之前学的爬虫捡回来，发现现在今日头条改了一丢丢。与崔庆才老师有关分析Ajax爬取今日头条街拍美图已经有点出入。

获取搜索结果的ur的方法与崔庆才老师是一样的，这里就不细说了，不同点是在搜索结果页面中找到图片所在网页。

以搜索我老婆长泽雅美图集为例，
今日头条搜索长泽雅美
在获取到第一个搜索结果的url后
https://www.toutiao.com/a6553007979845648909/
今日头条搜索长泽雅美图集

文章的标题仍在‘title’标签里，可以通过soup.select(‘title’)[0].get_text()提取
第一个搜索结果url
我们想要找到该图集下每个图片所在的具体网页
sub_images
使用正则提取信息

import requests
from bs4 import BeautifulSoup
import re

url = 'https://www.toutiao.com/a6553007979845648909/'
response = requests.get(url, headers=headers)
html = response.text
soup = BeautifulSoup(html, 'lxml')
title = soup.select('title')[0].get_text()
print('title',title)
patterns = re.compile('gallery: JSON.parse\("(.*?)"\)')
results = re.search(patterns, html).group(1)
print(results)

运行结果如下

反斜杠‘\’的存在影响了我们的进一步操作，因此，有必要把反斜杠去掉，需要注意的是，这里显示的每一个反斜杠，实际上源字符串中都有两个反斜杠，还有一个反斜杠是用来转义的，故print是并不显示。

因此，我们要实际上要去掉的是两个连续的反斜杠，使用re.sbu(r’\\’,’’,results)进行替换

import requests
from bs4 import BeautifulSoup
import re


url = 'https://www.toutiao.com/a6553007979845648909/'
headers = {
   'User-Agent': 'User-Agent:Mozilla/5.0'}
response = requests.get(url, headers=headers)
html = response.text
soup = BeautifulSoup(html, 'lxml')
title = soup.select('title')[0].get_text()
print('title',title)
patterns = re.compile('gallery: JSON.parse\("(.*?)"\)')
results = re