Crawler爬取旅行轨迹数据 - 以两步路官网为例

已于 2023-12-20 09:10:19 修改
阅读量3k 收藏 22
点赞数 5
分类专栏： crawler 文章标签： 爬虫
于 2023-09-27 18:09:57 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ThsPool/article/details/133360033
版权

在这里插入图片描述

在这个示例中，我们将演示如何爬取湖北武汉东湖的旅行轨迹数据。请注意，这只是一个示例，您可以根据自己的需求来修改爬虫设置。

步骤 1: 查找所需信息

1.1 依据网页，查找所需信息

首先，打开浏览器并访问两步路官网。然后，使用开发者工具，切换到 “网络” 或 “Network” 选项卡，并选择 “XHR”。在这里，我们发现网页只有4条数据。逐条查找这些请求，以确定预览的网页中的内容包含了我们所需的旅行轨迹数据。从中确定目标网页名称。

1.2 确定网页正式访问的URL

在开发者工具的 “标头” 栏中，查找网页正式访问的URL链接，这将是我们在爬虫中使用的链接。

在这里插入图片描述

1.3 确定爬取的设定参数

在开发者工具的 “负载” 栏中，查找网页爬取的设定参数，这些参数在后续爬虫代码中需要使用。

步骤 2: 访问网页内容

根据上述确定的正式URL链接和设定参数，创建Python代码来访问网页内容。示例代码如下：

def send_http_post_request(url, page_number):
    """
    发送HTTP POST请求并获取数据。

    :param url: 目标URL
    :param page_number: 页码
    :return: 请求响应的文本内容，如果请求失败则返回None
    """
    # 设置请求头
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2045.43'

    }

    # 构建请求参数
    data = {
        'pageNumber': page_number,
        'sortType': 0,
        'areaId': '15728',
        'parentId': '15727',
    }

    # 设置请求的cookie信息
    cookies = {}
    co_data = '你的cookies '
    for i in co_data.split('; '):
        cookies[i.split('=')[0]] = i.split('=')[1]

    try:
        # 发送POST请求
        response = requests.post(url=url, headers=headers, cookies=cookies, data=data, timeout=10)

        # 检查响应状态码
        if response.status_code == 200:
            return response.text
        else:
            print(f"Failed to fetch data for page {page_number}. Status code: {response.status_code}")
            return None
    except requests.exceptions.RequestException as e:
        print(f"Error while fetching data for page {page_number}: {e}")
        return None

步骤 3: 提取有效信息

代码中使用了Beautiful Soup的各种方法来定位、提取和处理HTML中的特定元素和文本内容，以构建包含所需数据的列表。以下是一个示例，提取的信息包括目标链接、轨迹名称、出行方式、里程、用户名称、上传时间、行程安排、点赞、下载和收藏。

def parse_html_data(page, data):
    """
    解析HTML数据，提取所需信息并存储到列表中。

    :param data: HTML文本数据
    :return: 存储解析数据的列表
    """
    page_counter = 1
    parsed_data = []
    soup = BeautifulSoup(data, "html.parser")
    target_divs = soup.find_all('div', class_='guiji_discription')

    for target_div in target_divs:
        # 构建轨迹id
        trajectory_id = (page - 1) * 10 + page_counter

        # 构建轨迹URL
        url_link_1 = 'https://www.2bulu.com'
        url_link_2 = target_div.find('a')['href']
        target_url = url_link_1 + url_link_2

        # 查找轨迹名称
        target_p = target_div.find('p', class_='guiji_name').get_text()
        text_list = [item.strip() for item in target_p.split('\n') if item.strip()]
        trajectory_name = text_list[-1]

        # 查找骑行方式
        original_travel_mode = target_div.find('p', class_='guiji_name').span.get_text().strip()
        travel_mode = re.sub(r'[^\u4e00-\u9fa5]+', '', original_travel_mode)

        # 查找里程数
        original_mileage = target_div.find('span', class_='s1').get_text(strip=True)
        mileage = [item.strip() for item in original_mileage.split('\n')][0]

        # 查找作者
        user_name = target_div.find('span', class_='s7').a.get_text(strip=True)

        # 查找上传时间
        original_upload_time = target_div.find('span', class_='s7').get_text()
        upload_time = [item.strip() for item in original_upload_time.split('\n') if item.strip()][-1]

        # 查找行程
        original_itinerary = target_div.find_all('li')[1].get_text(strip=True)
        itinerary = re.sub(r'\s+', '', original_itinerary)

        # 查找点赞数
        original_like = target_div.find('span', class_='s3').get_text(strip=True)
        like = re.findall(r'\d+\.\d+|\d+', original_like)[0]

        # 查找下载数
        original_download = target_div.find('span', class_='s4').get_text(strip=True)
        download = re.findall(r'\d+\.\d+|\d+', original_download)[0]

        # 查找收藏数
        original_bookmark = target_div.find('span', class_='s5').get_text(strip=True)
        bookmark = re.findall(r'\d+\.\d+|\d+', original_bookmark)[0]

        # 构建临时列表，存储每条轨迹的数据
        temporary_list = [trajectory_id, target_url, trajectory

_name, travel_mode, mileage, user_name, upload_time,
                          itinerary,
                          like, download, bookmark]


        parsed_data.append(temporary_list)

        page_counter += 1
        print(temporary_list)

    return parsed_data

步骤 4: 解决登录校验的问题

如果您需要爬取多个页面或需要登录后的Cookie来继续爬取，在已经登录的网站中找到网页的cookie通常需要使用浏览器的开发者工具。您可以按照下面步骤来获取所需的Cookie信息。

  1. 使用浏览器登录：
    首先，使用您的浏览器登录到目标网站。确保您已经登录成功并可以访问需要的页面。

  2. 打开开发者工具：
    打开浏览器的开发者工具。不同浏览器的打开方式略有不同，通常可以通过按下F12键或Ctrl + Shift + I（在Windows/Linux系统下）或Cmd + Option + I（在Mac系统下）来打开开发者工具。

  3. 选择选项卡：
    在开发者工具中，通常有一个名为"XHR"的选项卡（具体名称可能会因浏览器而异），请点击它。

  4. 查看Cookie：
    在选项卡目标网页的“表头”中，可以找到"Cookie"或"Cookies"。

步骤 5: 整体代码

整体代码如下所示：

import re
import csv
import time
import random
import requests
from bs4 import BeautifulSoup


def send_http_post_request(url, page_number):
    """
    发送HTTP POST请求并获取数据。

    :param url: 目标URL
    :param page_number: 页码
    :return: 请求响应的文本内容，如果请求失败则返回None
    """
    # 设置请求头
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/117.0.0.0 Safari/537.36 Edg/117.0.2045.43'

    }

    # 构建请求参数
    data = {
        'pageNumber': page_number,
        'sortType': 2,
        'trackType': 8,  # 步行
        # 'trackType': 2,  # 骑行
        'areaId': '15728',
        'parentId': '15727',
    }

    # 设置请求的cookie信息
    cookies = {}
    co_data = '…JSESSIONID=5F93F98CB090214EA8B1E93BA41E4DB6-n1; …'
    for i in co_data.split('; '):
        cookies[i.split('=')[0]] = i.split('=')[1]

    try:
        # 发送POST请求
        response = requests.post(url=url, headers=headers, cookies=cookies, data=data, timeout=10)

        # 检查响应状态码
        if response.status_code == 200:
            return response.text
        else:
            print(f"Failed to fetch data for page {page_number}. Status code: {response.status_code}")
            return None
    except Exception as e:
        print(f"Error while fetching data for page {page_number}: {e}")
        return None


def parse_html_data(page, data):
    """
    解析HTML数据，提取所需信息并存储到列表中。

    :param data: HTML文本数据
    :return: 存储解析数据的列表
    """
    page_counter = 1
    parsed_data = []
    soup = BeautifulSoup(data, "html.parser")
    target_divs = soup.find_all('div', class_='guiji_discription')

    for target_div in target_divs:
        # 构建轨迹id
        trajectory_id = (page - 1) * 10 + page_counter

        # 构建轨迹URL
        url_link_1 = 'https://www.2bulu.com'
        url_link_2 = target_div.find('a')['href']
        target_url = url_link_1 + url_link_2

        # 查找轨迹名称
        target_p = target_div.find('p', class_='guiji_name').get_text()
        text_list = [item.strip() for item in target_p.split('\n') if item.strip()]
        trajectory_name = text_list[-1]

        # 查找骑行方式
        original_travel_mode = target_div.find('p', class_='guiji_name').span.get_text().strip()
        travel_mode = re.sub(r'[^\u4e00-\u9fa5]+', '', original_travel_mode)

        # 查找里程数
        original_mileage = target_div.find('span', class_='s1').get_text(strip=True)
        mileage = [item.strip() for item in original_mileage.split('\n')][0]

        # 查找作者
        user_name = target_div.find('span', class_='s7').a.get_text(strip=True)

        # 查找上传时间
        original_upload_time = target_div.find('span', class_='s7').get_text()
        upload_time = [item.strip() for item in original_upload_time.split('\n') if item.strip()][-1]

        # 查找行程
        original_itinerary = target_div.find_all('li')[1].get_text(strip=True)
        itinerary = re.sub(r'\s+', '', original_itinerary)

        # 查找点赞数
        original_like = target_div.find('span', class_='s3').get_text(strip=True)
        like = re.findall(r'\d+\.\d+|\d+', original_like)[0]

        # 查找下载数
        original_download = target_div.find('span', class_='s4').get_text(strip=True)
        download = re.findall(r'\d+\.\d+|\d+', original_download)[0]

        # 查找收藏数
        original_bookmark = target_div.find('span', class_='s5').get_text(strip=True)
        bookmark = re.findall(r'\d+\.\d+|\d+', original_bookmark)[0]

        # 构建临时列表，存储每条轨迹的数据
        temporary_list = [trajectory_id, target_url, trajectory_name, travel_mode, mileage, user_name, upload_time,
                          itinerary,
                          like, download, bookmark]
        parsed_data.append(temporary_list)

        page_counter += 1
        print(temporary_list)

    return parsed_data


def write_data_to_csv(csv_path, header, data):
    """
    将数据列表写入CSV文件。

    :param csv_path: CSV文件路径
    :param header: CSV文件的列标题
    :param data: 要写入CSV的数据列表
    """
    with open(csv_path, 'w', encoding='utf-8-sig', newline='') as f:
        writer = csv.writer(f)
        writer.writerow(header)
        writer.writerows(data)


def random_delay(min_delay, max_delay):
    """
    随机延时函数，生成指定范围内的随机延时时间。

    :param min_delay: 最小延时（秒）
    :param max_delay: 最大延时（秒）
    """
    delay = random.uniform(min_delay, max_delay)
    time.sleep(delay)


def main():
    url = 'https://www.2bulu.com/track/track_search_result.htm'
    csv_header = ['trajectory_id', 'target_url', 'trajectory_name',
                  'travel_mode', 'mileage', 'user_name', 'upload_time', 'itinerary',
                  'like', 'download', 'bookmark']
    parsed_data = []
    start_page = 1
    end_page = 5  # 增加了一个示例值，可以根据需求更改

    for page_number in range(start_page, end_page + 1):
        data = send_http_post_request(url=url, page_number=page_number)
        if len(data) <= 150:
            time.sleep(120)
        parsed_data.extend(parse_html_data(page=page_number, data=data))
        # 随机访问时间，反爬
        random_delay(min_delay=5, max_delay=10)

    csv_file_path = str(start_page) + '_' + str(int(parsed_data[-1][0] / 10)) + "_output.csv"
    write_data_to_csv(csv_path=csv_file_path, header=csv_header, data=parsed_data)
    print('CSV导出完成。')


if __name__ == "__main__":
    main()

这是一个完整的示例，演示了如何爬取湖北武汉东湖的旅行轨迹数据。请根据您的实际需求和网站结构进行适当的修改和扩展。

计算机术语和函数解释表格

术语/函数解释
HTTP POST请求发送HTTP POST请求并获取数据。
BeautifulSoup用于解析HTML数据，提取所需信息的Python库。
requests用于发送HTTP请求的Python库。
cookies存储在浏览器中的网站数据，通常用于身份验证和状态跟踪。
User-AgentHTTP请求头中的字段，标识客户端应用程序的类型和版本。
rePython的正则表达式库，用于文本匹配和处理。
page_number页码，用于指示要爬取的页面编号。
URL链接统一资源定位符，用于标识互联网上的资源位置。

如果这对您有所帮助，希望点赞支持一下作者！ 😊

点击查看原文

file

ThsPool
关注
专栏目录
出租车轨迹数据地图匹配
地理研究与算法的博客
05-03 1万+
出租车轨迹、可视化、地图匹配
两步路轨迹文件位置_Panda Trail By UTMB | 各组别官方轨迹开放下载
weixin_39640414的博客
12-31 665
轨迹图重要吗？重要！轨迹图虽然在跑者群里已经很多人下载了但仍担心，没有爬楼错过信息的朋友们官方轨迹图下载来啦~两种使用方式任你选择~1、手机导航软件不同手机导航软件解析的里程和高程数据会与官方有差异，请知悉。参赛选手可使用未过滤的轨迹自行导入自己习惯使用的软件。(另附户外助手、六只脚使用方法)2、导入GPS运动手表因为手表容量有限，部分手表无法导入原始轨迹。一最方便获取轨迹文件的方法扫码...
游客轨迹分析数据集
10-16
基于轨迹的游客行为特征分析，大数据时代，深度“数据挖掘”高级分析技术成为大势所趋，对于旅游景区来说，谁先掌握互联网平台、善用大数据，谁就最有可能先人一步破除体制壁垒与管理围墙，实现转型升级和跨越式发展。通过在旅游景区部署移动信号监测设备，就可以发现该群体游客的相关属性，例如在一个区县，在不同景点之间部署，可以发现游客移动的轨迹是怎么样，本文主要就是用于分析游客在不同景点之间的浏览情况，这样可以更加合理的设计景区与景区之间的交通路线，销售相关旅游产品和应急预案等方面的东西。本文所涉及的内容使用mysql+springboot来实现。文章地址：https://blog.csdn.net/sdksdk0/article/details/83068473
爬虫实战入门级教学（数据爬取-＞数据分析-＞数据存储）
qq_40898461的博客
04-18 3691
爬虫实战入门级教学（数据爬取->数据分析->数据存储），使适用于不懂爬虫的新用户快速上手
探索与挖掘——R语言中的网页爬虫利器 `Rcrawler`
gitblog_00089的博客
05-09 263
探索与挖掘——R语言中的网页爬虫利器 Rcrawler 项目地址:https://gitcode.com/salimk/Rcrawler 在大数据和人工智能的时代，网络数据的价值日益凸显。而高效、精准地抓取和解析这些信息，是洞察世界的关键一步。这就是Rcrawler——一个强大的R包，专为R用户打造的网页爬虫和解析工具。 项目简介 Rcrawler 是一款用于网页爬虫的R包，它能帮助你轻松抓取网站...
R语言：网页爬取函数
wowtous
11-06 3782
转自：http://www.bassary.com/?p=1107 #*************网页爬虫-R语言实现，函数库文件*******# #****作者：oldlee11***************************************# #****版本：v0.1*******************************************# #****时间：20
地图 显示 动态轨迹_(41) 从浮动车轨迹数据提取交通动态信息
weixin_39586235的博客
11-20 435
交通预见未来(41): 从浮动车轨迹数据提取交通动态信息1、文章信息《Mapping to Cells: A Simple Method to Extract Traffic Dynamics from Probe Vehicle Data》。北京工业大学贺正冰老师2017年发在Computer-Aided Civil and Infrastructure Engineering上的一篇文章。2、...
weibo-comment-crawler-master_爬取微博评论_微博分析_评论情感分析
09-11
该项目名为“weibo-comment-crawler-master”，主要涉及的是利用编程技术爬取微博的评论数据，进行分析，并对评论的情感进行评估。以下将详细介绍这个过程涉及的主要知识点。 首先，爬虫技术是整个项目的基础。在...
appcrawler-2.4.0-jar-with-dependencies.jar
08-20
app自动化测试工具，能够自动点击ui界面实行测试分析，是移动测试的利器
weibo_crawler:微博搜索结果爬取工具
07-11
weibo_crawler 本工具使用模拟登录来实现微博搜索结果的爬取，如果用户需要爬取更多的数据，请在weibo_zhanghao.txt中添加微博帐号的用户名密码（可以注册小号)，每一行一个账户，用户名和密码用逗号隔开。希望更多...
fund-crawler:基于NodeJS的基金数据爬虫，爬取的数据存于github的@nullpointerfund-data
04-28
购买基金可以参考一个法则： 最近一年、两年、三年、五年及成立以来收益率排名同类基金的前1/4 最近三个月、六个月收益率排名同类基金的前1/3 ...本文所要爬取的基金数据并不复杂(数据来源是，大部分数据可以直接通
python 爬虫 如何通过scrapy框架简单爬取网站信息--以51job为例
qq_40243365的博客
10-11 1398
Scrapy框架三大优点： Scrapy框架是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。 框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。 Scrapy 可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。 scrapy实现流程图： scr...
探索网络的深度：Crawler，一款高效网页抓取工具
gitblog_00032的博客
06-12 257
探索网络的深度：Crawler，一款高效网页抓取工具 crawlerGo process used to crawl websites项目地址:https://gitcode.com/gh_mirrors/crawler4/crawler 1. 项目介绍 crawler 是一个由 Go 语言编写的强大网页爬虫程序，它不仅仅是一个简单的数据抓取工具，而是将隐秘服务爬取与分布式消息传递完美结合的解...
Python获取原图GPS位置信息，轻松得到你的活动轨迹！
爬遍所有网站
04-18 1900
一、图像EXIF信息 介绍 EXIF（Exchangeable image file format，可交换图像文件格式）是专门为数码相机的照片设定的，可以记录数码照片的属性信息和拍摄数据，如拍摄时间、图像分辨率、感光值、GPS坐标等。 Exif最初由日本电子工业发展协会在1996年制定，版本为1.0。1998年，升级到2.1，增加了对音频文件的支持。2002年3月，发表了2.2版。 Exi...
crawler爬虫抓取数据
qq_41810183的博客
02-09 861
了解 crawler爬虫运行流程。
uniapp 记录运动轨迹 开发_运动手表GPS轨迹文件导出方法
weixin_39928480的博客
12-13 2648
什么是GPS轨迹文件？记录运动轨迹是带GPS运动设备最基本的功能，记录轨迹后才能计算配速(速度)、距离，间接数据还有步幅、最大摄氧量等数据。带GPS功能运动设备比较常见有：手机、运动手表、骑行码表等，本文主介绍运动手表类。轨迹文件就是由运动设备记录运动数据，如经纬度、时间、心率、海拔、温度等信息的文件，常用文件格式有GPX，FIT，TCX，CSV，KML等。运动轨迹是将非常多个点连接起来...
Python 爬取经纬度
ArYe
07-22 6970
爬取百度地图拾取坐标系统 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditi...
python采集keep运动数据
Z_suger7的博客
05-12 4077
我国2009年确立“全民健身日”；2012年，“广泛开展全民健身运动”写入十八大报告；到2014年上升为国家战略，全民健身的分量越来越重。推动全民健身和全民健康深度融合，通过全民健身实现全民健康。 全民健身运动在我国越来越普及，每天清晨和傍晚时分，城市的广场上、公园里，到处是运动健身的人们，跑步、打球、跳舞、游泳、打太极拳等运动项目十分丰富，人们在运动中获得越来越多的幸福感。 随之诞生出了很多运动app，例如keep,咪咕，微信等，大家可以通过app随时记录自己的运动数据，特别是对于很多的减肥人群来说，通过
两步路轨迹文件位置_#APP功能#两步路轨迹路网，户外导航不迷路！
weixin_39608988的博客
12-19 4331
亲爱的驴友！你是否曾在登山过程中，因为天气等原因导致前路受阻，绕道后却又迷路？你是否为了尽快与前队队友集合，一路狂奔埋头往前冲，最终搞得筋疲力尽？你又是否为了护送受伤的队员就医，必须半途返程，却苦于无法尽快抵达安全地带？玩户外，安全永远是第一位！而野外迷路，经常直接威胁驴友的生命安全。为了帮助每一个探索世界的驴友能够安全回家，两步路户外助手特别推出了轨迹路网功能，并不断优化、更新数据，真正从技术层...
webmagic爬取携程酒店数据
最新发布
06-25
WebMagic是一个强大的Java爬虫框架，它能够帮助开发者方便地爬取网站数据。要使用WebMagic爬取携程酒店数据，你需要按照以下步骤操作： 1. **安装依赖**: 首先，确保你已经安装了Maven或Gradle作为构建工具，并在...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值