使用Chrome、python3.7、requests库和VSCode进行爬取马蜂窝黄鹤楼的文字评论(http://www.mafengwo.cn/poi/5426285.html)。
首先，我们复制一段评论，查看网页源代码，按Ctrl+F查找，发现没有找到评论，说明评论内容不在http://www.mafengwo.cn/poi/5426285.html页面。
回到页面，划到评论列表，右键检查，选择Network，然后点击后一页翻页，观察Network里的变化，我们要爬的文件就在下面的某个文件里（主要找XHR和JS两个模块）。选择Preview可以更好的让我们寻找我们想要的文件，然后选择Headers找到我们要爬的url。
经过分析我们找到要爬取的url是http://pagelet.mafengwo.cn/poi/pagelet/poiCommentListApi?callback=jQuery18102698237405245767_1579401525334¶ms=%7B%22poi_id%22%3A%225426285%22%2C%22page%22%3A2%2C%22just_comment%22%3A1%7D&_ts=1579402072160&sn=20e98d65a0&=1579402072161
然而点进去是这样的
这个时候对比一下这两个页面的Request Headers，发现原页面多了个Refer参数
原页面
然后看一下请求get请求需要的参数Query String Parameters，其中poi_id是景点id，page是评论页面（翻页只用改变page的值就行）。
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
import re
import time
import requests
#评论内容所在的url，？后面是get请求需要的参数内容
comment_url='http://pagelet.mafengwo.cn/poi/pagelet/poiCommentListApi?'
requests_headers={
'Referer':'http://www.mafengwo.cn/poi/5426285.html',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'
}#请求头
for numin range(1,6):
requests_data={
'params':'{"poi_id":"5426285","page":"%d","just_comment":1}' % (num)#经过测试只需要用params参数就能爬取内容
}
response=requests.get(url=comment_url,headers=requests_headers,params=requests_data)
if 200==response.status_code:
page= response.content.decode('unicode-escape','ignore').encode('utf-8','ignore').decode('utf-8')#爬取页面并且解码
page= page.replace('\\/','/')#将\/转换成/
#日期列表
结果
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持服务器之家。
原文链接：https://blog.csdn.net/qq_45373920/article/details/104037607
精彩推荐
Python
这篇文章主要介绍了python处理csv数据的方法,实例分析了Python处理csv数据的技巧,需要的朋友可以参考下
...
kirkversion12922019-11-27
Python
今天小编就为大家分享一篇使用tensorboard可视化loss和acc的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
...
正在努力学习的大金1342020-04-03
Python
今天小编就为大家分享一篇TensorFlow实现打印每一层的输出，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
...
Kluiverthoo3002020-04-03
Python
这篇文章主要介绍了python提取内容关键词的方法,适用于英文关键词的提取,非常具有实用价值,需要的朋友可以参考下
...
上大王3472019-12-03
Python
这篇文章主要介绍了Python比较两个图片相似度的方法,涉及Python操作pil模块实现图片比较的技巧,具有一定参考借鉴价值,需要的朋友可以参考下
...
pythoner2952019-11-28
Python
这篇文章主要介绍了Python实现将n个点均匀地分布在球面上的方法,涉及Python绘图的技巧与相关数学函数的调用,具有一定参考借鉴价值,需要的朋友可以参考下...
redraiment3202019-11-27
Python
这篇文章主要介绍了django 文件上传功能的相关实例代码,代码简单易懂，非常不错，具有一定的参考借鉴价值，需要的朋友可以参考下
...
二十七º3932020-04-02
Python
这篇文章主要介绍了tensorflow-gpu安装的常见问题及解决方案，本文给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友参考下吧,需要的朋友可以...
上山老人1972020-04-08
© 2019-2020 脚本之家 | 服务器之家(www.zzvips.com)旗下站点 版权所有
扫一扫
4720
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
