Python 爬虫实战：某蜂窝网游记爬虫

已于 2024-01-11 15:10:58 修改
阅读量2.1k 收藏 28
点赞数 18
文章标签： python 爬虫 okhttp Python编程 Python爬虫 Python学习
于 2023-12-01 10:04:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cxyxx12/article/details/134727799
版权

大家好，我是程序员晓晓。

今天给大家分享 某蜂窝网游记 的爬虫及爬取思路。

示例网址：aHR0cHMlM0EvL3d3dy5tYWZlbmd3by5jbi90cmF2ZWwtc2NlbmljLXNwb3QvbWFmZW5nd28vMTMwMzMuaHRtbA==

我们以 山西 为例。打开网址，页面向下翻，便可以看到 山西游记 区域。

Part1观察网页

写过爬虫的大家都知道，写爬虫第一步，需要观察目标网站。

具体观察哪些东西呢？主要有两个方面，目标数据 和 页面结构。

1.1观察目标数据

这一步主要是为了确定，我们可以获取到哪些 数据项，以及大概的 数据量 。

如图可以看到，从游记列表中，我们可以得到游记的 标题、题图、摘要、作者、浏览量、评论量 等数据。此外，通过分析源代码，我们还可以得到游记的 id 和 链接。

观察游记列表的翻页区，我们可以得知游记的 总页数 和 总条数 ，如山西游记有 3355 页，33544 条。

经过实际测试，无论是通过爬虫抓取，还是手动翻页，游记数据最多只能访问 100 页，1000条数据。

1.2观察页面结构

观察页面结构，主要是为了确定两件事情：

  1. 翻页方式（瀑布流还是按钮翻页）

  2. 数据加载方式（动态还是静态）

因为不同的翻页方式和数据加载方式，会影响后续我们抓取数据、解析数据的方式。

简单观察网页以后不难发现，

  1. 列表底部有 翻页按钮 ，点击后可以跳转至对应页码。

  2. 翻页时，仅游记列表区域数据发生了更新（网页整体没有刷新），很明显是使用了 Ajax 动态加载 数据。

Part2抓包测试

2.1抓包

知道网站是动态加载数据以后，我们直接开始抓包。

按F12键打开浏览器的 开发者工具，切换到 Network ，过滤器选择 Fetch/XHR。

点击 翻页 按钮，抓到一条请求包，点击这条 ajax.php?act=get_travellist 请求包以后，可以看到它的详细情况。

在 Headers 中可以看到它的请求地址 Request URL 和请求方法 Request Method 。

在 Payload 中可以看到它的请求参数。

在 Preview 和 Response 中可以看到它的响应内容。

为了确认抓到的包对不对，我们需要检查请求的响应内容，看其中是否包含了我们需要的数据。

抓到正确的请求包以后，我们接下来要做的就是，用代码模拟发起请求。

2.2反爬测试

我们简单写一段测试代码，尝试获取数据，顺便检查一下网站的反爬机制。

# 请求地址
url = "https://www.mafengwo.cn/gonglve/ajax.php?act=get_travellist"
# 请求头
headers = {
    "Accept": "application/json, text/javascript, */*; q=0.01",
    "Accept-Encoding": "gzip, deflate, br, zstd",
    "Accept-Language": "zh-CN,zh;q=0.9",
    "Cache-Control": "no-cache",
    "Content-Length": "105",
    "Content-Type": "application/x-www-form-urlencoded; charset=UTF-8",
    "Cookie": "your own cookie",
    "Origin": "https://www.mafengwo.cn",
    "Pragma": "no-cache",
    "Referer": "https://www.mafengwo.cn/travel-scenic-spot/mafengwo/13033.html",
    "Sec-Ch-Ua": "\"Google Chrome\";v=\"119\", \"Chromium\";v=\"119\", \"Not?A_Brand\";v=\"24\"",
    "Sec-Ch-Ua-Mobile": "?0",
    "Sec-Ch-Ua-Platform": "\"Windows\"",
    "Sec-Fetch-Dest": "empty",
    "Sec-Fetch-Mode": "cors",
    "Sec-Fetch-Site": "same-origin",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36",
    "X-Requested-With": "XMLHttpRequest"
}
# 请求参数
payload = {
    "mddid": "13033",
    "pageid": "mdd_index",
    "sort": "1",
    "cost": "0",
    "days": "0",
    "month": "0",
    "tagid": "0",
    "page": "2",
    "_ts": "1701158589677",
    "_sn": "d65ae26004"
}

从开发者工具中，我们找到 请求地址、请求头、请求参数 等，格式化后粘贴到代码中。

# 导入包
import requests
# 发起 post 请求
r = requests.post(url, headers=headers, data=payload)
# 打印数据
print(r.json())

运行代码，发起网络请求，发现可以成功获取数据。

2.3简化参数

此时 headers 和 payload 里的参数还是比较多的，但是这些参数并不是每项都必要。所以我们可以进行简化，将不必要的参数删掉。

简化的方法比较简单粗暴，就是逐个删除参数，并运行代码。

如果删除某个参数后，运行结果没有变化，说明该参数不是必要的，可以删掉；如果删掉某个参数后，运行结果为空或者报错了，说明该参数是必须的，不能删除。

最终简化后的代码如下：

# 请求地址
url = "https://www.mafengwo.cn/gonglve/ajax.php?act=get_travellist"
# 请求头
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36",
}
# 请求参数
payload = {
    "mddid": "13033",
    "pageid": "mdd_index",
    "sort": "1",
    "page": "2",
}

# 导入包
import requests
# 发起 post 请求
r = requests.post(url, headers=headers, data=payload)
# 打印数据
print(r.json())

Part3编写代码

搞定了抓包和反爬测试以后，我们就可以开始编写代码了。

3.1网络请求

将前面的网络请求的测试代码封装一下。

# 导入包
import requests

def fetchUrl(cityId, page):
    """
    cityId: 城市 id
    page:   页码
    """
    
    # 请求地址
    url = "https://www.mafengwo.cn/gonglve/ajax.php?act=get_travellist"
    # 请求头
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36",
    }
    # 请求参数
    payload = {
        "mddid": cityId,
        "pageid": "mdd_index",
        "sort": "1",
        "page": page,
    }

    # 发起 post 请求
    r = requests.post(url, headers=headers, data=payload)
    # 返回数据
    return r.json()

# 调用函数
fetchUrl(13033, 2)

3.2解析数据

数据获取到后，接下来就是解析数据了。

该请求返回的数据，格式如下：

{
    list: "游记列表的 html 内容",
    msg: "succ",
    page: "翻页按钮的 html 内容"
}

我们需要的数据以 html 的格式存放在 list 下。

可以通过以下方式将其解析出来。

jsonObj = fetchUrl(13033, 2)
# 解析游记列表的 html 内容
html = jsonObj["list"]

现在我们得到了游记列表的 html 文本内容，格式如下：

<div class="tn-list">
    <div class="tn-item clearfix">
  <div class="tn-image">题图</div>
  <div class="tn-wrapper">
   <dl>
    <dt>
     <a href="/i/24193768.html" class="title-link">标题</a>
    </dt>
    <dd>
     <a href="/i/24193768.html">摘要</a>
    </dd>
   </dl>
   <div class="tn-extra">
    <span class="tn-user">
     <a href="/u/92844923.html">作者</a>
    </span>
    <span class="tn-nums">浏览量/评论数</span>
   </div>
  </div>
    </div>
    <div class="tn-item clearfix"></div>
    <div class="tn-item clearfix"></div>
    ......
</div>

接下来我们可以使用 BeautifulSoup 库来进行解析。

# 导入库
from bs4 import BeautifulSoup
# 实例化 bs 对象
bsObj = BeautifulSoup(html, "html.parser")
# 获取所有的游记 item
tn_items = bsObj.find_all("div", attrs={"class": "tn-item"})

# 循环解析每一个 item
for item in tn_items:
 # 题图
    headImage = item.find("div", attrs={"class": "tn-image"}).a.img["data-original"]
    # 标题
    titleNode = item.dt.find_all("a")[-1]
    title = titleNode.text
    # 链接
    link = "https://www.mafengwo.cn" + titleNode["href"]
    # 摘要
    desc = item.dd.text
    # 作者
    author = item.find("span", attrs={"class": "tn-user"}).text
    
    nums = item.find("span", attrs={"class": "tn-nums"}).text.strip().split("/")
    # 浏览量
    views = nums[0]
    # 评论数
    comments = nums[1]
    
    # 测试打印
    print("题图:", headImage)
    print("标题:", title)
    print("链接:", link)
    print("作者:", author)
    print("浏览量:", views)
    print("评论数:", comments)
    print("摘要:", desc)
    print("---"*10)

运行结果

最后将代码简单封装一下即可。

def parseHtml(html):
    # 实例化 bs 对象
    bsObj = BeautifulSoup(html, "html.parser")
    # 获取所有的游记 item
    tn_items = bsObj.find_all("div", attrs={"class": "tn-item"})
    
    itemList = []

    # 循环解析每一个 item
    for item in tn_items:
     # 题图
        headImage = item.find("div", attrs={"class": "tn-image"}).a.img["data-original"]
        # 标题
        titleNode = item.dt.find_all("a")[-1]
        title = titleNode.text
        # 链接
        link = "https://www.mafengwo.cn" + titleNode["href"]
        # 摘要
        desc = item.dd.text
        # 作者
        author = item.find("span", attrs={"class": "tn-user"}).text
  # 浏览量
        nums = item.find("span", attrs={"class": "tn-nums"}).text.strip().split("/")
        views = nums[0]
        # 评论数
        comments = nums[1]
        
        itemList.append([title, link, author, views, comments, headImage, desc])

#         # 测试打印
#         print("题图:", headImage)
#         print("标题:", title)
#         print("链接:", link)
#         print("作者:", author)
#         print("浏览量:", views)
#         print("评论数:", comments)
#         print("摘要:", desc)
#         print("---"*10)

    return itemList

3.3存储数据

我们准备用 csv 格式文件来存储数据。

这里使用了第三方库 pandas。

# 导入包
import pandas as pd

def saveData(filename, data):
    """
    filename: 文件名
    data: 要存储的数据
    """
    dataframe = pd.DataFrame(data)
    dataframe.to_csv(filename, encoding='utf_8_sig', mode='a', index=False, sep=',', header=False)

3.4主函数

最后，在主函数中写一个 for 循环，启动爬虫即可。

if __name__ == "__main__":
    cityId = 13033
    filename = "山西.csv"
    totalPage = 100
    
    # 保存标题行
    header = [["标题","链接","作者","浏览量","评论数","题图","摘要"]]
    saveData(filename, header)
    
    # 循环爬取数据
    for page in range(1, totalPage + 1):
        # 请求数据
        jsonObj = fetchUrl(cityId, page)
        # 解析数据
        data = parseHtml(jsonObj["list"])
        # 保存数据
        saveData(filename, data)

至此，我们的爬虫主体已经全部完成了。

3.5查改 BUG

实际运行中会发现，虽然我们的爬虫已经完成，可以成功抓取到数据，但是非常容易报错崩溃。

因为前面为了追求效率而写的很多并不严谨的代码，导致程序非常的脆弱。

比如这一句代码，用于解析游记的题图链接。

headImage = item.find("div", attrs={"class": "tn-image"}).a.img["data-original"]

实际执行时，抓取到某些游记时，会发生报错。

究其原因，是因为在游记列表中，游记的题图标签有两种写法。

<!-- 写法 1 -->
<img class="lazy" data-original="https://xxxx.jpg" height="150" width="220"/>
<!-- 写法 2 -->
<img src="https://xxxx.jpg" height="150" width="220"/>

代码中如果直接获取标签的 data-original 属性，则遇上 写法 2 的标签便会报错。

因此我们在获取标签属性前，需要先判断属性是否存在。

# 获取题图，代码优化示例
imageNode = item.find("div", attrs={"class": "tn-image"}).a.img
if imageNode.has_attr("src"):
    headImage = imageNode["src"]
elif imageNode.has_attr("data-original"):
    headImage = imageNode["data-original"]
else:
    headImage = ""

以上作为查改BUG 和优化代码的示例，给大家参考。

在爬取大量数据的时候，还会遇到更多兼容性方面的 bug，需要大家逐一优化。

3.6运行效果

将代码完善后，运行结果如下：

保存好的 csv 文件用 excel 打开，简单整理格式后效果如下：

Part4其它问题

爬取游记需要填写城市的 ID，这一步对于有爬虫基础的同学应该问题不大。

不知道如何获取城市 id 的同学，我这里也提供了一段脚本，可以根据城市名字自动获取城市 ID。

import requests
import re

def getCityCode(city):
    
    url = 'https://www.mafengwo.cn/search/q.php?q=%s' % city

    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36",
    }

    r = requests.get(url, headers=headers)
    # 正则提取城市编码
    code = re.findall("type=10&id=([0-9]+)", r.text)
 # 正则提取城市名称
    title = re.findall('''<div class="info">
                <p class="title">(.*)</p>''', r.text)
    
    if len(code) > 0 and len(title) > 0:
        return (title[0], code[0])
    else:
        return (city, "找不到该城市！")

# 测试代码
a = getCityCode("山西")
print(a)

运行结果：

('山西', '13033')

经测试，在输入的城市名有错别字，甚至是拼音的情况下，代码也可以顺利获取城市 ID。

感兴趣的小伙伴，赠送全套Python学习资料，包含面试题、简历资料等具体看下方。

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

img
img

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！img

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

img

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

img

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

img

六、面试宝典

在这里插入图片描述

在这里插入图片描述

简历模板在这里插入图片描述
若有侵权，请联系删除
程序员晓晓
关注
  • 18
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
2024年最新基于Python的房屋租赁管理系统（附源码）(1)，腾讯web面试题
m0_61330806的博客
05-05 316
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。└─README.md ------------------ 项目说明文档。└─run.py --------------------- 项目启动入口。
Python爬取马蜂窝-推荐小众城市旅游及爬取某一城市的景点信息和游记信息
weixin_42468958的博客
06-06 1059
第一部分 获取城市（直辖市+地级市）的专属的5位数字编码编号，提取出每个目的地的专属id（即href中的数字部分，eg:10065）。 获得热门省编号和直辖市编号 ，http://www.mafengwo.cn/mdd/ def get_html_text(url): headers = { ‘User-Agent’:‘Mozilla/5.0 (Windows NT 10.0; Win64; ...
马蜂窝游记爬虫
04-12
马蜂窝游记爬虫（使用模拟浏览器方法）结构清晰函数式编程
Python爬取马蜂窝城市游记
qq_22301571的博客
05-11 1234
游记标题、用户、日期、阅读数量、评论数量 上一篇: Python爬取马蜂窝各城市游记总数.爬取了马蜂窝所有城市的游记总数，本文爬取具体城市的游记详情 import os import time import random import pymysql import requests from lxml import etree import pandas as pd from sqlalchemy import create_engine def page(url): # ua伪装 h
使用python爬取马蜂窝游记
张景源的博客
03-20 8229
马蜂窝是 爬取2018年“南京”地区游记。 观察列表，发现以时间顺序url以类似“http://www.mafengwo.cn/yj/10684/2-0-74.html"的格式。其中74代表第74页。 首先爬取列表中目标url信息。 # coding=utf-8 # author=zhangjingyuan # python3 import urllib.request import urlli...
穷游网 游记 爬虫
DW_CK的博客
07-01 646
最近需要一些东南亚国家的照片，于是写了一个穷游网游记的爬虫，穷游网用了ajax请求，简单的request很难实现拿到图片的url，于是用了selenium进行爬取。 from selenium import webdriver import time,re,requests,os from bs4 import BeautifulSoup def get_img_in_page(page_url='https://bbs.qyer.com/thread-3502079-1.html',wait_time
python线程池爬取马蜂窝网站游记信息
01-05
python开启十个线程的线程池爬取马蜂窝网站的数据。其中包括线程安全的设计，网页超链接去重的处理
Python 爬取了马蜂窝的出行数据，告诉你这个夏天哪里最值得去！
weixin_34235371的博客
08-14 255
正值火辣的暑假，朋友圈已经被大家的旅行足迹刷屏了，真的十分惊叹于那些把全国所有省基本走遍的朋友们。与此同时，也就萌生了写篇旅行相关的内容，本次数据来源于一个对于爬虫十分友好的旅行攻略类网站：蚂蜂窝。 一、获得城市编号 蚂蜂窝中的所有城市、景点以及其他的一些信息都有一个专属的5位数字编号，我们第一步要做的就是获取城市（直辖市+地级市）的编号，进行后续的进一...
Python爬虫实战：数据采集、处理与分析
12-18
Python爬虫实战：数据采集、处理与分析Python爬虫实战：数据采集、处理与分析Python爬虫实战：数据采集、处理与分析Python爬虫实战：数据采集、处理与分析Python爬虫实战：数据采集、处理与分析Python爬虫实战：数据...
Python爬虫开发：从入门到实战(微课版).pptx
06-12
《Python爬虫开发：从入门到实战》是一本详尽介绍Python爬虫技术的书籍，适合初学者和有一定编程基础的读者。通过本书，读者将系统地学习爬虫开发的各个方面，从基础知识到实战技巧。 首先，书中涵盖了Python的基础...
Python爬虫爬取马蜂窝旅游景点评分、评论、评论日期（针对只能爬取五页评论做了改动）
03-28
①马蜂窝景点的评论只能看到五页内容，因此按评论的主题对其进行爬取（虽然每个主题也只能看到五页，但爬取的结果总归是比五页多很多），爬取字段有景点评分、评论、评论日期。 ②以马蜂窝某景点为例，其评论高达3000多条，但这3000多条并非是完全向用户展示的，向用户展示的只有5页，数了一下每页15条评论，也就是75条评论，有点太少了吧！ ③因此想了个办法尽可能多爬取一些评论，根据我对爬虫爬取数据法律法规的相关了解，爬取看得到的数据是合法的，而在评论最开始的这个地方有对评论的分类，当然每个分类主题也是最多能看到5页内容，但是肯定会比我们被动的只爬取5页多很多内容，因此我们选择按主题分类去爬取评论。
爬取马蜂窝旅游数据，包括酒店、美食、景点的评论数据以及游记数据（2021.6.28可用）
06-28
马蜂窝旅游数据，包括酒店、美食、景点的评论数据以及游记数据 仅用在输入目的地或者关键词可以爬取关于目的地的所有酒店评论、美食评论、以及景点自身评论等数据以及游记数据 具体数据 酒店评论、美食评论、以及景点自身评论： 评论用户、评论用户ID、用户等级、评论内容、评论有用性、评论时间等等 游记内容： 游记地址、浏览量、评论量、游记内容、游玩时间、游玩天数、同行人等等
甘南-马蜂窝游记采集爬虫数据.csv
05-13
从“马蜂窝”网站甘南游记数据，包含游记时间，游览主题，点赞数量，从而判定地区知名度
Python爬虫实战：获取地理空间数据、卫星图像和地理位置信息.docx
最新发布
03-04
Python爬虫实战：获取地理空间数据、卫星图像和地理位置信息 引言 地理信息系统（GIS）是一个综合的技术领域，用于捕捉、储存、管理、分析和展示地理数据。地理信息系统应用广泛，从城市规划到环境保护，都需要准确...
解析Python网络爬虫：核心技术、Scrapy框架、分布式爬虫全套教学资料
10-25
Python网络爬虫是一种用于自动化网页数据抓取的技术，它能够高效地从互联网上获取大量信息。本套教学资料深入解析了Python爬虫的核心技术、Scrapy框架以及分布式爬虫的实现，旨在帮助学习者掌握这一领域的核心技能。...
Python 爬取蚂蜂窝旅游攻略 （+Scrapy框架+MySQL）
qijingpei的博客
08-29 7203
前言：使用python+scrapy框架爬取蚂蜂窝旅游攻略 Git代码地址：https://github.com/qijingpei/mafengwo 获取代理IP地址的开源项目ProxyPool-master（地址应该是这个）： https://github.com/Sylor-huang/ProxyPool-master 运行步骤： 1.配置好代码中连接mysql数据库的用户名和
python利用selenium爬取X蜂窝热门游记
weixin_41512727的博客
07-04 1352
最近因项目需要，学习了下爬虫。之前都是完成的静态网页的爬去，但大部分网页都是动态加载AJAX，所以学习了selenium。当然也可以通过在network中查找隐藏的网页内容，在利用requests去爬去相关内容。本次主要是为了学习selenium，爬取某蜂窝的热门游记。from selenium import webdriver from selenium.webdriver.common.by ...
XHR 和 Fetch 的使用详解和区别总结
热门推荐
陆小森_红齐飘飘的博客
09-12 1万+
test
浅谈xhr和fetch
weixin_43127987的博客
01-07 4741
浅谈xhr和fetch什么是xhr使用fetch使用在两者没封装前的区别 什么是xhr xhr就是是XMLHttpRequest，是浏览器内置的api，可以和服务端进行交互，获取数据无需要页面刷新，XMLHttpRequest 可以用于获取任何类型的数据。 使用 创建XHRHttpResquest对象 var xmlHttp; if (typeof XMLHttpRequest != "und...
Python网络爬虫项目开发实战_下载缓存_编程案例解析实例详解课程教程.pdf
05-03
本资源是一份关于Python网络爬虫项目开发实战的详细教程，特别关注下载缓存技术的应用。在爬取大型网站时，如果需要抓取额外的数据，如国旗图片URL，传统的做法是重新下载整个网站，这在面对大量网页的网站时效率极...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值