python爬取旅游攻略（1）

于 2024-10-31 19:26:42 发布
阅读量205 收藏 1
点赞数 1
文章标签： python 旅游 tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sjsn_z/article/details/143406321
版权

参考网址：

https://blog.csdn.net/m0_61981943/article/details/131262987

  1. 导入相关库，用get请求方式请求网页方式：
import requests
import parsel
import csv
import time
import random
url = f'https://travel.qunar.com/travelbook/list.htm?page=1&order=hot_heat'
response = requests.get(url)

在这里插入图片描述

返回的 HTML 内容

html_data = response.text
print(html_data)

在这里插入图片描述

Selector类允许你创建一个对象，该对象可以用来从给定的 HTML 或 XML 文本中选择特定的元素。

selector = parsel.Selector(html_data)
print(selector)

在这里插入图片描述

selector.css(‘.li h2 a::attr(href)’)：

  • selector是前面创建的parsel.Selector对象，它代表网页的 HTML 内容。
  • .css()是parsel.Selector对象的一个方法，用于使用 CSS 选择器语法来选择网页中的元素。
  • '.li h2 a’是 CSS 选择器表达式，它的含义是选择所有具有类名li的元素下的< h2 >标签内的< a >标签。这个选择器的目的是找到网页中特定位置的链接元素。
  • '::attr(href)'是一个 CSS 伪元素选择器，用于选择< a >标签的href属性。它的作用是提取这些链接元素的href属性值，也就是链接地址。
  • .getall()：
    这是对前面选择结果的一个操作，用于获取所有满足选择条件的元素的href属性值，并以列表的形式返回。

所以，整行代码的作用是从网页的 HTML 内容中选择具有特定结构的链接元素，并提取它们的链接地址，存储在一个列表url_list中.

url_list = selector.css('.b_strategy_list li h2 a::attr(href)').getall()

在这里插入图片描述

保存到.csv文件里面

csv_qne = open('旅游攻略.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.writer(csv_qne)
csv_writer.writerow(['地点', '标题', '出发时间', '天数', '人均消费', '人物', '玩法', '浏览量'，'点赞量' ,'作者'])

detail_id = detail_url.replace('/youji/', '')#字符串中移除/youji/部分
url_1 = 'https://travel.qunar.com/travelbook/note/' + detail_id#构建一个完整的 URL，并将其赋值给url_1。这个完整的 URL 很可能是指向旅游攻略详情页面的地址。

for detail_url in url_list:
    # 字符串的 替换方法
    detail_id = detail_url.replace('/youji/', '')#字符串中移除/youji/部分
    url_1 = 'https://travel.qunar.com/travelbook/note/' + detail_id#构建一个完整的 URL，并将其赋值给url_1。这个完整的 URL 很可能是指向旅游攻略详情页面的地址。
    print(url_1)
    response_1 = requests.get(url_1).text
    selector_1 = parsel.Selector(response_1)

    title = selector_1.css('.b_crumb_cont *:nth-child(3)::text').get().replace('旅游攻略', '')
    comment = selector_1.css('.title.white::text').get()
    date = selector_1.css('#js_mainleft > div.b_foreword > ul > li.f_item.when > p > span.data::text').get()
    days = selector_1.css('#js_mainleft > div.b_foreword > ul > li.f_item.howlong > p > span.data::text').get()
    money = selector_1.css('#js_mainleft > div.b_foreword > ul > li.f_item.howmuch > p > span.data::text').get()
    character = selector_1.css('#js_mainleft > div.b_foreword > ul > li.f_item.who > p > span.data::text').get()
    play_list = selector_1.css('#js_mainleft > div.b_foreword > ul > li.f_item.how > p > span.data span::text').getall()
    play = ' '.join(play_list)
    count = selector_1.css('.view_count::text').get()
    print(title, comment, date, days, money, character, play, count)

查找方法：

右键检查，查看css字段

在这里插入图片描述

title = selector_1.css('.b_crumb_cont *:nth-child(3)::text').get().replace('旅游攻略', '')

在这里插入图片描述
在这里插入图片描述
右键复制js路径
同理爬取其他数据

一个简单的例子

import requests
import parsel
import csv
import time
import random

url = f'https://travel.qunar.com/travelbook/list.htm?page=1&order=hot_heat'
response = requests.get(url)
#print(response)
html_data = response.text
#print(html_data)
selector = parsel.Selector(html_data)
#print(selector)
url_list = selector.css('.b_strategy_list li h2 a::attr(href)').getall()
#csv_writer.writerow(['地点', '作者','地点', '短评', '出发时间', '天数', '人均消费', '人物', '玩法', '浏览量', '点赞'])
#print(url_list)
for detail_url in url_list:
    detail_id = detail_url.replace('/youji/', '')#字符串中移除/youji/部分
    url_1 = 'https://travel.qunar.com/travelbook/note/' + detail_id#构建一个完整的 URL，并将其赋值给url_1。这个完整的 URL 很可能是指向旅游攻略详情页面的地址。
    print(url_1)
    response_1 = requests.get(url_1).text
    selector_1 = parsel.Selector(response_1)
    comment = selector_1.css('.title.white::text').get()

   # title = selector_1.css('.b_crumb_cont *:nth-child(3)::text').get().replace('旅游攻略', '')
    date= selector_1.css("#js_mainleft > div.b_foreword > ul > li.f_item.when > p > span.data::text").get()
    days=selector_1.css("#js_mainleft > div.b_foreword > ul > li.f_item.howlong > p > span.data::text").get()
    author = selector_1.css("body > div.qn_mainbox > div > div.left_bar > ul > li:nth-child(1) > p.user_info > span.intro > span.user_name > a::text").get()
    dianzan = selector_1.css("body > div.qn_mainbox > div > div.left_bar > ul > li:nth-child(1) > p.user_info > span.nums > span.icon_love > span::text").get()
    print( comment, date, days, author, dianzan)

在这里插入图片描述

如果数据不够：

import requests
import parsel
import csv
import time
import random

# 基础URL
base_url = 'https://travel.qunar.com'
page_number = 1
data_count = 0

# 打开CSV文件，准备写入数据
with open('去哪儿.csv', mode='a', encoding='utf-8', newline='') as csv_qne:
    csv_writer = csv.writer(csv_qne)
    csv_writer.writerow(['地点', '短评', '出发时间', '天数', '人均消费', '人物', '玩法', '浏览量'])
    while data_count < 100:
        url = f'https://travel.qunar.com/travelbook/list.htm?page={page_number}&order=hot_heat'
        # 发送请求获取页面内容
        response = requests.get(url)
        html_data = response.text
        selector = parsel.Selector(html_data)

        # 获取详情页URL列表
        url_list = selector.css('.b_strategy_list li h2 a::attr(href)').getall()

        for detail_url in url_list:
            # 获取详情页ID
            detail_id = detail_url.replace('/youji/', '')
            url_1 = base_url + '/travelbook/note/' + detail_id
            print(url_1)

            # 获取详情页内容
            response_1 = requests.get(url_1).text
            selector_1 = parsel.Selector(response_1)

            # 获取标题，添加错误处理
            title_element = selector_1.css('.b_crumb_cont *:nth-child(3)::text').get()
            if title_element:
                title = title_element.replace('旅游攻略', '')
            else:
                title = None

            # 获取短评，添加错误处理
            comment = selector_1.css('.title.white::text').get()

            # 获取出发时间，添加错误处理
            date = selector_1.css('#js_mainleft > div.b_foreword > ul > li.f_item.when > p > span.data::text').get()

            # 获取天数，添加错误处理
            days = selector_1.css('#js_mainleft > div.b_foreword > ul > li.f_item.howlong > p > span.data::text').get()

            # 获取人均消费，添加错误处理
            money = selector_1.css('#js_mainleft > div.b_foreword > ul > li.f_item.howmuch > p > span.data::text').get()

            # 获取人物，添加错误处理
            character = selector_1.css('#js_mainleft > div.b_foreword > ul > li.f_item.who > p > span.data::text').get()

            # 获取玩法，添加错误处理
            play_list = selector_1.css('#js_mainleft > div.b_foreword > ul > li.f_item.how > p > span.data span::text').getall()
            play = ' '.join(play_list) if play_list else None

            # 获取浏览量，添加错误处理
            count = selector_1.css('.view_count::text').get()

            print(title, comment, date, days, money, character, play, count)

            # 写入数据，如果有值为None则写入空字符串
            if data_count == 0:
                row_data = [title or 'Sample Location', comment or '', date or '', days or '', money or '', character or '', play or '', count or '']
            else:
                row_data = [title or '', comment or '', date or '', days or '', money or '', character or '', play or '', count or '']
            csv_writer.writerow(row_data)
            data_count += 1
            if data_count >= 100:
                break

        # 获取下一页页码信息
        page_links = selector.css("body > div.qn_mainbox > div > div.left_bar > div.b_paging a::attr(href)").getall()
        page_link_numbers = [page_link.split('=')[-1] for page_link in page_links]
        page_numbers = [int(number) for number in page_link_numbers if number.isdigit()]
        if page_numbers:
            max_page = max(page_numbers)
            if page_number < max_page:
                page_number += 1
            else:
                # 如果当前页是最后一页，重新从第一页开始继续获取数据，直到达到100条
                page_number = 1
        else:
            print("未找到页码信息，可能出现问题，继续尝试下一页")
            page_number += 1

        time.sleep(random.randint(1, 3))
week_泽
关注
Python爬取旅游网站热门景点信息的技术性文章
这家伙很懒，什么都没有留下
12-14 1535
本文介绍了如何使用Python爬取旅游网站的热门景点信息，并通过代码实现自动化获取。通过分析网页结构、发送HTTP请求、解析HTML文档、提取所需信息以及保存数据到文件或数据库等步骤，我们可以实现自动化获取旅游网站的热门景点信息。同时，我们还需要注意异常处理、日志记录、安全性与合法性等方面的问题。展望未来，随着互联网技术的不断发展，旅游网站的信息量将越来越大，对自动化获取信息的需求也将越来越高。因此，我们可以继续探索更有效的特征提取方法和模型，以提高热门景点信息获取的准确性和稳定性。
使用Python爬取携程旅游游记文章
FLK_9090的博客
03-19 1536
本文介绍了使用Python编写的爬虫代码，用于爬取携程旅游网站上的游记文章。通过该代码，可以获取游记的标题、内容、天数、时间、和谁一起以及玩法等信息choices = ["验证"]if button_box_choice == "验证":try:# 省略部分代码catch(url)我会持续为大家带来更多有趣且实用的教程和资源。
python爬取旅游信息_用Python爬取分析全国旅游数据-Go语言中文社区
weixin_39886956的博客
02-04 3974
前言：Python对于本人来讲也是一个在逐渐学习掌握的过程，这次的内容就从旅游开始讲起，进入正文前首先附(fang)上(du)最令我垂涎欲滴的海鲜盛宴。数据爬取：最近几天朋友圈被大家的旅行足迹刷屏了，惊叹于那些把全国所有省基本走遍的朋友。与此同时，也萌生了写一篇旅行相关的内容，本次数据来源于一个对于爬虫十分友好的旅行攻略类网站：蚂蜂窝PART1：获得城市编号蚂蜂窝中的所有城市、景点以及其他的一些信...
python 爬取携xx全国景点信息
qq_56262770的博客
07-22 492
景点数据的收集和分析为用户提供了更智能、个性化的旅游规划和推荐服务。基于用户的偏好和历史行为数据，携程可以为用户量身定制旅游路线和景点推荐，提供更贴心的旅游体验在本文中，我们将介绍如何使用requests对xx的旅游景点数据进行爬取。requests 库提供了简洁而直观的 API，使得发送各种类型的 HTTP 请求变得非常简单。无论是 GET 请求、POST 请求还是其他类型的请求，都可以通过 requests 库轻松实现.2.2.1 搜索城市景点接口。
python爬取旅游信息_用Python爬取了全国近5000家旅游景点，分析国庆去哪玩
weixin_39652869的博客
12-09 722
2020 国庆马上就要到了我想今年大家在家都憋坏了今年国庆和中秋刚好又是同一天，加起来有 8 天假这么长的假期，当然是出去 玩玩玩！但是每次长假期间，你有没有想起被人山人海支配的恐惧呢？那么该去哪些地方呢？下面我用 Python 爬取了全国近**5000**个旅游景点，并结合**pyecharts**来做分析技能包爬虫Mysqlsqlalchemypyecharts数据爬取旅游景点的数据是...
python爬取旅游信息_python爬取全国13个城市旅游数据，告诉你那里最受欢迎
weixin_39670627的博客
12-13 939
抓取数据通过请求https://piao.qunar.com/ticket/list.htm?keyword=北京，获取北京地区热门景区信息，再通过BeautifulSoup去分析提取出我们需要的信息。这里爬取了前4页的景点信息，每页有15个景点。因为去哪儿并没有什么反爬措施，所以直接请求就可以了。这里随机选择了13个热门城市：北京、上海、成都、三亚、广州、重庆、深圳、西安、杭州、厦门、武汉、大连...
python爬取旅游信息_Python爬虫系列 - 初探：爬取旅游评论
weixin_39628405的博客
12-04 635
Python爬虫目前是基于requests包，下面是该包的文档，查一些资料还是比较方便。POST发送内容格式爬取某旅游网站的产品评论，通过分析，获取json文件需要POST指令。简单来说：GET是将需要发送的信息直接添加在网址后面发送POST方式是发送一个另外的内容到服务器那么通过POST发送的内容可以大概有三种，即form、json和multipart，目前先介绍前两种1.content in ...
python爬取文本数据_python爬取百度旅游的城市点评文本数据
weixin_39644713的博客
12-10 253
以青岛市为例，查看网址主要字段为 pn=0n?rn=15&pn=0&style=hot#remark-contaier最后一页，即183页 pn=2730n?rn=15&pn=2730&style=hot#remark-contaier立刻判断为等差数列，网址问题解决网页内容爬取，可以选择Xpath方法，这个百度一下就知道了用法编写代码实现，在点评文本爬取的时候，...
python爬取携程旅行网景点评论
热门推荐
HYSliuliuliu的博客
10-26 1万+
爬取携程旅行网的景点评论数据，使用selenium爬取edge浏览器的网页文本数据。
python爬取贴吧_python爬取
weixin_39814378的博客
11-21 1366
python爬取百度贴吧源码，由吾爱大神原创制作，通过python爬虫程序来实现对百度贴吧的回复爬取，可以自动生成excel文件，让你能更加清晰地查看贴吧的回复与帖子信息。本次放出python爬取百度贴吧源码数据资源下载，并提供webdriver加载程序，安装后可以让源码加载到谷歌浏览器上运行，有相关百度贴吧爬取需求的朋友们不妨试试吧！python爬取百度贴吧源码说明：webdriverBeaut...
python爬取飞猪旅游网数据（有数据）
06-27
python爬取飞猪旅游网数据（有数据）python爬取飞猪旅游网数据（有数据）python爬取飞猪旅游网数据（有数据）python爬取飞猪旅游网数据（有数据）python爬取飞猪旅游网数据（有数据）python爬取飞猪旅游网数据（有...
python爬取飞猪网站旅游景点数据并保存excel
10-01
python爬取飞猪网站旅游景点数据并保存excel 使用模块： import time # 时间相关 import requests # 请求网页数据 import pandas as pd # 存储数据 from bs4 import BeautifulSoup ￥ 提取网页内容
基于python爬取携程旅游网站旅游景点数据及评论数据项目源码（python大作业）.zip
06-22
基于python爬取携程旅游网站旅游景点数据及评论数据项目源码（python大作业）.zip基于python爬取携程旅游网站旅游景点数据及评论数据项目源码（python大作业）.zip基于python爬取携程旅游网站旅游景点数据及评论数据...
基于python实现爬取携程景点数据与评论数据源码+项目说明.zip
08-10
基于python实现爬取携程景点数据与评论数据源码+项目说明.zip 基于python实现爬取携程景点数据与评论数据源码+项目说明.zip 基于python实现爬取携程景点数据与评论数据源码+项目说明.zip 1、该资源内项目代码都是...
Pyhon—openpyxl修改某个表头的样式&其余单元格加边框线
weixin_42636075的博客
10-27 839
Pyhon—openpyxl修改某个表头的样式&其余单元格加边框线
【python】极简教程14-文件
最新发布
每日出拳老爷子的博客
10-28 228
可以使用相对路径或绝对路径来访问文件。模式可以将内容写入文件，如果文件不存在会自动创建。捕获文件读取或写入时可能出现的异常。循环逐行读取文件，或者使用。模块可以帮助处理文件路径。函数打开文件，并通过。
在Python中高效去除列表中的重复元素
windowshht的博客
10-28 175
去除列表中的重复元素是Python编程中一个非常常见的任务。根据需求的不同，我们可以选择不同的方法来实现这一功能。无论是使用集合、字典，还是手动实现，都可以达到去重的效果。在实际开发中，我们应该根据具体情况选择最合适的方法，以提高代码的可读性和性能。希望通过本文的介绍，能够帮助你更好地理解如何在Python中处理列表中的重复元素。如果你有其他的去重方法或技巧，欢迎在评论区分享！
Java基础04
m0_74977981的博客
10-28 772
【注：】移位运算符的右移操作要完成模32的运算（除非左操作数是long类型，在这种情况下，需要对右操作数模64），例如：1
Pycharm报错：Error:failed to find libmagic. Check your installation
caoyongsheng的博客
10-26 317
pip uninstall python-magic pip install python-magic-bin==0.4.14
python爬取马蜂窝旅游攻略
05-20
可以使用Python中的requests和BeautifulSoup库来爬取马蜂窝旅游攻略。 首先，使用requests库向马蜂窝网站发送请求，获取需要爬取的页面内容，例如： ```python import requests url = 'https://www.mafengwo.cn/gonglve/' response = requests.get(url) html = response.text ``` 接着，使用BeautifulSoup库来解析页面内容，提取需要的信息。例如，如果我们需要爬取攻略标题、作者、时间和浏览量，可以使用以下代码： ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html, 'lxml') articles = soup.find_all('div', class_='post-item') for article in articles: title = article.find('a', class_='title').text.strip() author = article.find('a', class_='nickname').text.strip() time = article.find('span', class_='time').text.strip() views = article.find('span', class_='views').text.strip() print(title, author, time, views) ``` 以上代码中，我们使用`find_all`方法查找所有攻略文章的`div`元素，并遍历每篇文章，然后使用`find`方法找到文章标题、作者、时间和浏览量所在的元素，并使用`text`属性获取其文本内容。 当然，还有其他方式可以根据自己的需求来提取想要的信息。需要注意的是，爬取网站信息时需要遵守相关法律法规和网站的规定，不得进行非法操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

week_泽

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值