什么是Ajax?
为什么要用Ajax?
- 问:浏览器中可看到正常显示的数据,但使用requests得到的结果并没有。 这是什么原因呢?
答:requests获取的是原始的HTML文档,而浏览器中的页面是经过JS处理数据后生成的结果。 - 问:这些数据的来源有哪些情况呢?
答:Ajax加载、包含在HTML文档中、经过JavaScript和特定算法计算后生成。
什么是Ajax?
Ajax(Asynchronous JavaScript and XML)异步的JS和XML。原理是: 利用JS在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。 比如我们在刷微博的时候,只需不断的滚动鼠标,内容就会不断的加载出来(页面刷新),而页面的链接并没有发生变化。
Ajax如何分析页面?
问:拖动刷新的内容由Ajax加载且页面的URL无变化,那么应该到哪里去查看这些Ajax请求呢?
答:1. 开发者工具(F12)->Network选项卡, 获取页面加载过程中Browser与Server之间请求和响应。
2. 筛选出所有的Ajax请求。在请求的上方有一层筛选栏,直接点击XHR(Ajax特殊的响应类型)
3. 模拟Ajax请求,提取我们所需要的信息。
打开Ajax的XHR过滤器,然后一直滑动页面以加载新的微博内容。可以看到,会不断有Ajax请求发出。请求的参数有4个:type、value、containerid和page。
项目案例: 微博数据采集
项目需求:爬取微博内容和图片下载。
-
登录手机版微博,网址:https://m.weibo.cn/
-
输入查询的内容
-
右键审查元素,点击network,选择XHR,再点击右侧的data
可以看到图片在data/cards/myblog/pics/下,这就是我们要爬取的内容。
项目案例:基于Ajax和requests采集器的微博爬虫
import os
import requests
from colorama import Fore
from fake_useragent import UserAgent
from requests import HTTPError
def download_page(url, parmas=None):
"""
根据url地址下载html页面
:param url:
:param parmas:
:return: str
"""
try:
ua = UserAgent()
headers = {
'User-Agent': ua.random,
}
# 请求https协议的时候, 回遇到报错: SSLError
# verify=Flase不验证证书
response = requests.get(url, params=parmas, headers=headers)
except HTTPError as e:
print(Fore.RED + '[-] 爬取网站%s失败: %s' % (url, str(e)))
return None
else:
# html = response.text --- 字符串
# json.loads(html) ---- 将字符串反序列化为python数据类型
# return response.json()
return response
def parse_html(html):
cards = html.get('data').get('cards')
count = 0
for card in cards:
try:
count += 1
text = card['mblog'].get('text')
pics = card['mblog'].get('pics')
print('第%s篇微博正文内容:%s' %(count, text))
if pics:
for index, pic in enumerate(pics):
pic_url = pic.get('url')
pic_content = download_page(pic_url).content
pic_fname = os.path.join('weibo_pics', pic_url.split('/')[-1])
with open(pic_fname, 'wb',) as f:
f.write(pic_content)
print('下载%s张图片成功' %(index + 1))
except Exception as e:
print('下载博客失败:%s' %(str(e)))
if __name__ == '__main__':
uid = input("请输入你要爬取的博主的uid: ")
for page in range(10):
url = 'https://m.weibo.cn/api/container/getIndex?uid=%s&containerid=100103%stype=uid&page_type=searchall&page=%s' %(uid, uid, page)
html = download_page(url).json()
parse_html(html)
这是爬取的图片: