0什么是Ajax
Ajax,全称为Asynchronous JavaScript and XML,即异步的JavaScript和XML,论坛里面也有的说是js的高级应用。它不是一门编程语言,而是利用JavaScript在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。
对于传统的网页,如果想更新其内容,那么必须要刷新整个页面,但有了Ajax,便可以在页面不被全部刷新的情况下更新其内容。在这个过程中,页面实际上是在后台与服务器进行了数据交互,获取到数据之后,再利用JavaScript改变网页,这样网页内容就会更新了。
可以到W3School上体验几个示例来感受一下:http://www.w3school.com.cn/ajax/ajax_xmlhttprequest_send.asp
举个栗子
浏览网页的时候,我们会发现很多网页都有下滑查看更多的选项。比如,拿微博来说,我们以他的个人的主页为例:https://m.weibo.cn/u/2830678474,切换到微博页面,一直下滑,可以发现下滑几个微博之后,再向下就没有了,转而会出现一个加载的动画,不一会儿下方就继续出现了新的微博内容,这个过程其实就是Ajax加载的过程,如图6-1所示。,下拉就一直会有新的内容出现
1. 分析请求
打开Ajax的XHR过滤器,然后一直滑动页面以加载新的微博内容。可以看到,会不断有Ajax请求发出。
选定其中一个请求,分析它的参数信息。点击该请求,进入详情页面,如图6-11所示。
图6-11 详情页面
可以发现,这是一个GET类型的请求,请求链接为[https://m.weibo.cn/api/container/getIndex?type=uid&value=2830678474&containerid=1076032830678474&page=2)。请求的参数有4个:type
、value
、containerid
和page
。
随后再看看其他请求,可以发现,它们的type
、value
和containerid
始终如一。type
始终为uid
,value
的值就是页面链接中的数字,其实这就是用户的id
。另外,还有containerid
。可以发现,它就是107603加上用户id
。改变的值就是page
,很明显这个参数是用来控制分页的,page=1
代表第一页,page=2
代表第二页,以此类推。
2. 分析响应
随后,观察这个请求的响应内容,如图6-12所示。
图6-12 响应内容
这个内容是JSON格式的,浏览器开发者工具自动做了解析以方便我们查看。可以看到,最关键的两部分信息就是cardlistInfo
和cards
:前者包含一个比较重要的信息total
,观察后可以发现,它其实是微博的总数量,我们可以根据这个数字来估算分页数;后者则是一个列表,它包含10个元素,展开其中一个看一下,如图6-13所示。
图6-13 列表内容
可以发现,这个元素有一个比较重要的字段mblog
。展开它,可以发现它包含的正是微博的一些信息,比如attitudes_count
(赞数目)、comments_count
(评论数目)、reposts_count
(转发数目)、created_at
(发布时间)、text
(微博正文)等,而且它们都是一些格式化的内容。
这样我们请求一个接口,就可以得到10条微博,而且请求时只需要改变page
参数即可。
这样的话,我们只需要简单做一个循环,就可以获取所有微博了。
3. 实战演练
这里我们用程序模拟这些Ajax请求,将我的前10页微博全部爬取下来。
首先,定义一个方法来获取每次请求的结果。在请求时,page
是一个可变参数,所以我们将它作为方法的参数传递进来,相关代码如下:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 | from urllib.parse import urlencode import requests base_url = 'https://m.weibo.cn/api/container/getIndex?'
headers = { 'Host': 'm.weibo.cn', 'Referer': 'https://m.weibo.cn/u/2830678474', 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36', 'X-Requested-With': 'XMLHttpRequest', }
def get_page(page): params = { 'type': 'uid', 'value': '2830678474', 'containerid': '1076032830678474', 'page': page } url = base_url + urlencode(params) try: response = requests.get(url, headers=headers) if response.status_code == 200: return response.json() except requests.ConnectionError as e: print('Error', e.args) |
首先,这里定义了base_url
来表示请求的URL的前半部分。接下来,构造参数字典,其中type
、value
和containerid
是固定参数,page
是可变参数。接下来,调用urlencode()
方法将参数转化为URL的GET请求参数,即类似于type=uid&value=2830678474&containerid=1076032830678474&page=2
这样的形式。随后,base_url
与参数拼合形成一个新的URL。接着,我们用requests请求这个链接,加入headers
参数。然后判断响应的状态码,如果是200,则直接调用json()
方法将内容解析为JSON返回,否则不返回任何信息。如果出现异常,则捕获并输出其异常信息。
随后,我们需要定义一个解析方法,用来从结果中提取想要的信息,比如这次想保存微博的id
、正文、赞数、评论数和转发数这几个内容,那么可以先遍历cards
,然后获取mblog
中的各个信息,赋值为一个新的字典返回即可:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 | from pyquery import PyQuery as pq
def parse_page(json): if json: items = json.get('data').get('cards') for item in items: item = item.get('mblog') weibo = {} weibo['id'] = item.get('id') weibo['text'] = pq(item.get('text')).text() weibo['attitudes'] = item.get('attitudes_count') weibo['comments'] = item.get('comments_count') weibo['reposts'] = item.get('reposts_count') yield weibo |
这里我们借助pyquery将正文中的HTML标签去掉。
最后,遍历一下page
,一共10页,将提取到的结果打印输出即可:
1 2 3 4 5 6 | if __name__ == '__main__': for page in range(1, 11): json = get_page(page) results = parse_page(json) for result in results: print(result) |
另外,我们还可以加一个方法将结果保存到MongoDB数据库:
1 2 3 4 5 6 7 8 9 | from pymongo import MongoClient
client = MongoClient() db = client['weibo'] collection = db['weibo']
def save_to_mongo(result): if collection.insert(result): print('Saved to Mongo') |
这样所有功能就实现完成了。运行程序后,样例输出结果如下:
1 2 3 4 | {'id': '4134879836735238', 'text': '惊不惊喜,刺不刺激,意不意外,感不感动', 'attitudes': 3, 'comments': 1, 'reposts': 0} Saved to Mongo {'id': '4143853554221385', 'text': '曾经梦想仗剑走天涯,后来过安检给收走了。分享单曲 远走高飞', 'attitudes': 5, 'comments': 1, 'reposts': 0} Saved to Mongo |
查看一下MongoDB,相应的数据也被保存到MongoDB,如图6-14所示。
图6-14 保存结果
这样,我们就顺利通过分析Ajax并编写爬虫爬取下来了微博列表,最后,给出本节的代码地址:https://github.com/Python3WebSpider/WeiboList。
本节的目的是为了演示Ajax的模拟请求过程,爬取的结果不是重点。该程序仍有很多可以完善的地方,如页码的动态计算、微博查看全文等,若感兴趣,可以尝试一下。
通过这个实例,我们主要学会了怎样去分析Ajax请求,怎样用程序来模拟抓取Ajax请求。了解了抓取原理之后,下一节的Ajax实战演练会更加得心应手。
参考的博客是https://cuiqingcai.com/5593.html 里面有一些参数已经改变比如get请求要传的参数 已经不是原来的四个了,但是总体思路基本上不变
params={
'sudaref':'cuiqingcai.com',
'display':0,
'retcode':6102,
'type':'uid',
'value':2830678474,
'containerid':'1076032830678474',
'page':page
}
附上自己的代码
#-*-coding:utf-8-*-
__author__ = 'fankai'
"""
用程序模拟这些Ajax请求,将崔庆才的前10页微博全部爬取下来
"""
from urllib.parse import urlencode
import requests
base_url=r'https://m.weibo.cn/api/container/getIndex?'
headers={
"Accept":"application/json, text/plain, */*",
"MWeibo-Pwa": 1,
"Referer": "https://m.weibo.cn/u/2830678474?sudaref=cuiqingcai.com&display=0&retcode=6102",
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36",
"X-Requested-With": "XMLHttpRequest"
}
# 爬取崔庆才微博,浏览器请求方式是GET请求
def get_page(page):
params={
'sudaref':'cuiqingcai.com',
'display':0,
'retcode':6102,
'type':'uid',
'value':2830678474,
'containerid':'1076032830678474',
'page':page
}
url=base_url+urlencode(params)
try:
response=requests.get(url,headers)
if response.status_code==200:
return response.json()
except requests.ConnectionError as e:
print(e.args)
from pyquery import PyQuery as pq
def parse_page(json):
if json:
items=json.get('data').get('cards')
for item in items:
item=item.get('mblog')
weibo={}
weibo['id']=item.get('id')
weibo['text']=pq(item.get('text')).text()
weibo['attitudes']=item.get('attitudes_count')
weibo['comments']=item.get('comments_count')
weibo['reposts']=item.get('reposts_count')
yield weibo
# 将数据写入到mangoDB数据库
from pymongo import MongoClient
client=MongoClient()
db=client['weibo']
collection=db['weibo']
def save_to_mango(result):
if collection.insert(result):
print("save to mango")
if __name__=='__main__':
import json
for page in range(1,10):
jsons=get_page(page)
results=parse_page(jsons)
with open('weibo','w',encoding='utf-8') as f:
for result in results:
json.dump(result,f)
save_to_mango(result)
我觉得把别人苦逼的路走一遍也是一种提高