python爬取携程网游记_Python爬虫案例：爬取携程评论

前言

之前爬取美团，马蜂窝等网站的数据都挺顺利，大众点评(这个反爬机制有点麻烦)在磕磕绊绊中也算成功(重点是网页页数的变化和关键字的隐藏替换)但携程居然遇到了瓶颈。

主要是查看源代码时发现关键商户信息根本就找不到，就很奇怪。对于关键信息评论发现翻页时网页的url不变，网上查了一下说是使用是动态的网址进行建构的，Ajax页面加载，那么通用的request.get()就不能用了，所以采取模拟浏览器进行数据爬取。

为什么选取龟峰呢？因为正好才从龟峰回来，这几乎是去过的人最少的5A级景区，大胆猜测数据可能没有那么多(相比去的其他地方而言)而且去的时候惊喜的给免了门票，所以用这个来测试。

PS：如有需要Python学习资料的小伙伴可以加下方的群去找免费管理员领取

第一步：打开网页

可能需要登录后才能查看评价

查看网页源代码

可以看到无法加载出关键评论信息

F12查看评论的具体代码，如下图找到评论列表，找到url和request payload

至此已经获取了网址最重要的内容

直接上完整代码

import requests

import json

import time

import csv

import re

c=open(r'D:\guifeng.csv','a+',newline='',encoding='utf-8')

fieldnames=['user','time','score','content']

writer=csv.DictWriter(c,fieldnames=fieldnames)

writer.writeheader()

head = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:56.0) Gecko/20100101 Firefox/56.0'}

postUrl = "https://sec