【python爬虫专项（10）】去哪儿网景点数据采集

最新推荐文章于 2024-07-12 22:58:11 发布
最新推荐文章于 2024-07-12 22:58:11 发布
阅读量7.9k 收藏 188
点赞数 36
分类专栏： # python爬虫专项 文章标签： python 数据分析 网络爬虫 去哪儿网景点 实战项目
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lys_828/article/details/104228652
版权
以上海旅游景点数据为例

参考网址：上海旅游景点
在这里插入图片描述

爬虫逻辑：【分页网页url采集】-【数据采集】

还是按照爬虫逻辑二进行获取数据

函数1：get_urls(city,n) → 【分页网页url采集】
         city：城市对应的编码
         n：页数参数
         结果：得到一个分页网页的list

函数2：get_data(ui,d_h,d_c) → 【数据采集】
         ui：数据信息网页
         d_h：user-agent信息
         d_c：cookies信息
         结果：得到数据的list，每条数据用dict存储

采集字段

景点名称、评分、排名、简介、攻略提到数量、点评数量、多少比例驴友来过、经纬度
在这里插入图片描述

要求

采集200条数据

         20页【分页网页url采集】- 每页10条数据
         结果保存为dataframe，并做基本数据清洗
         经度、纬度、攻略提到数量、点评数量 → 数据格式转换
         评分
         排名
         多少比例驴友来过

查找url规律

去哪儿网上海旅游景点前2-4页的url如下

u2 = https://travel.qunar.com/p-cs299878-shanghai-jingdian-1-2
u3 = https://travel.qunar.com/p-cs299878-shanghai-jingdian-1-3
u4 = https://travel.qunar.com/p-cs299878-shanghai-jingdian-1-4
......

由上可以推知，url规律是将网址最后面的数值进行修改，查看每页的数据，可知一个url里面包含了10条数据，因此就可以构建前20页全部url，第一页的规律一般默认是数字从0开始的（但是这里的是从1开始的）

urllst = []
	for i in range(20):
		ui = "https://travel.qunar.com/p-cs299878-shanghai-jingdian-1-{}".format(i+1)
		urllst.append(ui)

由此，前20个url的信息就已经全部构造完成

导入相关库和封装第一个函数
import requests 
from bs4 import BeautifulSoup
import pandas as pd


def get_url(n):
	'''
	【分页网址url采集】函数
	n：页数参数
	结果：得到一个分页网页的list
	'''
	lst = []
	for i in range(n):
		ui = "https://travel.qunar.com/p-cs299878-shanghai-jingdian-1-{}".format(i+1)
		lst.append(ui)
	return lst

print(get_url(10))

输出的结果为：
在这里插入图片描述

设置headers和cookies

由于不是在爬豆瓣的数据（cookies改变了），需要登录一下去哪儿网，没有用户的可以注册一下，然后按照之前的步骤获取headers和cookies
在这里插入图片描述
将headers和cookies以字典的方式存储

dic_heders = {
       'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
    }
dic_cookies = {}
cookies = 'QN1=dXrgj14+tmYQhFxKE9ekAg==; QN205=organic; QN277=organic; QN269=506F28C14A7611EAA0BEFA163E244083; _i=RBTKSRDqFhTQT5KRlx-P1H78agxx; fid=7cc3c3d9-3f6c-45e1-8cef-3384cd5da577; Hm_lvt_c56a2b5278263aa647778d304009eafc=1581168271,1581220912; viewpoi=7564992|709275; viewdist=299878-7; uld=1-299878-8-1581221233|1-1062172-1-1581168529; QN267=1679639433d5aedfc8; Hm_lpvt_c56a2b5278263aa647778d304009eafc=1581221236; QN25=cb06bfbd-d687-4072-98c5-73266b637a6a-9f992f90; QN42=nvxp8441; _q=U.qunar_lbs_428305502; _t=26463150; csrfToken=oXYBnhSoGAGxggRkzmAjbxxGrpgsjUqQ; _s=s_ZBWFJO3EEGZISWS35EBIS5NQYA; _v=YTRjW_H5L47nGNVabvTLt1mlh7j8R7t4UNDVRrJUz0wScfLMWgSvkwQbzMLHlFbsvTU-2kJrBK74NUyOi3MX_3obY94Hhhugt8bv8ILxwsWDv4s_ANNiM8qRdg6HlBrrCEnGYr8lxS9uv78zDCNKz9pFbN8JPYy-AKJP6xILIsT7; _vi=4ONQzvfOOhwJECN5R-4rfWZDzlQ5-qv2xi_jsp1INPEpy9iKHa5gV0gHc35fDfTDe3TjcKteU7ZWk1vd6MsIqTfXYyUh3gTwZJ_9z3PEpkXZReeeIjaVE4HwLTkOATLIzIxg92s-QCWKE1RdNlaZsxPnfN7NHPGAZz5rsmxvpNDY; QN44=qunar_lbs_428305502; QN48=tc_a7fe4861b2d918df_17028369fc8_67ab; QN271=1749d44a-1a11-4886-be27-c3e3bfdadb0c'
cookies_lst = cookies.split("; ")
for i in cookies_lst:
	dic_cookies[i.split("=")[0]] = i.split("=")[1]
请求网页信息和网页解析
urllst_1 = get_url(10)
u1 = urllst_1[0]

r1 = requests.get(u1, headers= dic_heders, cookies = dic_cookies)
print(r1)

输出的结果为：
在这里插入图片描述
说明网址可以正常访问，下面就进行网页的解析，在浏览器中该页面右键点击检查，可以发现，整个旅游景点的信息都包含在【ul class=“list_item clrfix”】的标签里面，其中每条数据都在【li】标签下，而且每条标签上还有这个景点的经纬度信息（data-lat=“31.146751”，data-lng=“121.669396”）
在这里插入图片描述
因此，可以选择获取某一个旅游景点数据进行试错（一般是选取第一个元素）

urllst_1 = get_url(10)
u1 = urllst_1[0]

r1 = requests.get(u1, headers= dic_heders, cookies = dic_cookies)
soup_i = BeautifulSoup(r1.text,'lxml')
ul = soup_i.find("ul",class_="list_item clrfix")
lis = ul.find_all('li')
li_0 = lis[0]

print(li_0)

输出的结果如下：（可以正常的获取该标签下的旅游景点的信息，下一步就是解析具体标签获取相应的数据）
在这里插入图片描述
已经可以获取每个旅游景点的对应标签的全部数据，那么接下来就可以有针对性的获取我们所需要的数据，依次找到各个数据对应的标签

1）景点名称
在这里插入图片描述
2）攻略数量
在这里插入图片描述
3）评分
在这里插入图片描述
4）简介
在这里插入图片描述
5）排名
在这里插入图片描述
6）经纬度
在这里插入图片描述
7）点评数量
在这里插入图片描述
8）多少驴友来过
在这里插入图片描述
至此所需数据所对应的标签全部找到，但是需要注意，在获取‘排名’和‘多少驴友来过’这两个标签信息时候，不能直接定位到最后一级的标签（也就是【‘span’,class_=“sum”】），因为这两个数据对应的最后一级标签是一样的，所以要先找到它们的上一级标签，在获取相应的数据
在这里插入图片描述
获取所有数据的代码如下：（注意‘排名’数据的获取，有部分是空值，所以直接进行母标签的获取，不能进行子标签的获取）

dic = {}
dic['景点名称'] = li_0.find('span',class_="cn_tit").text
dic['攻略数量'] = li_0.find('div',class_="strategy_sum").text
dic['评分'] = li_0.find('span',class_="total_star").span['style']
dic['简介'] = li_0.find('div',class_="desbox").text
dic['排名'] = li_0.find('span',class_="ranking_sum").text
dic['经度'] = li_0['data-lng']
dic['纬度'] = li_0['data-lat']
dic['点评数量'] = li_0.find('div',class_="comment_sum").text
dic['多少驴友来过'] = li_0.find('span',class_="comment_sum").span.text

print(dic)

输出的结果为：
在这里插入图片描述
核对一下，首页的第一条旅游数据和输出的结果数据，可以发现结果是一致的
在这里插入图片描述

封装第二个函数

第一条旅游景点数据试错完成后就可以进行遍历数据输出，并封装成为函数，方便调用

def get_data(ui,d_h,d_c):  
	'''
	【数据采集】
	ui：数据信息网页
	d_h：user-agent信息
	d_c：cookies信息
	结果：得到数据的list，每条数据用dict存储
	'''
	ri = requests.get(ui, headers= dic_heders, cookies = dic_cookies)
	soup_i = BeautifulSoup(ri.text,'lxml')
	ul = soup_i.find("ul",class_="list_item clrfix")
	lis = ul.find_all('li')

	lst = []
	for li in lis:
		dic = {}
		dic['景点名称'] = li.find('span',class_="cn_tit").text
		dic['攻略数量'] = li.find('div',class_="strategy_sum").text
		dic['评分'] = li.find('span',class_="total_star").span['style']
		dic['简介'] = li.find('div',class_="desbox").text
		dic['排名'] = li.find('span',class_="ranking_sum").text
		dic['经度'] = li['data-lng']
		dic['纬度'] = li['data-lat']
		dic['点评数量'] = li.find('div',class_="comment_sum").text
		dic['多少驴友来过'] = li.find('span',class_="comment_sum").span.text
		lst.append(dic)
	return lst

urllst_1 = get_url(10)
u1 = urllst_1[0]
print(get_data(u1,dic_heders,dic_cookies))

输出的结果为：
在这里插入图片描述
对应这两个旅游景点的原页面如下：（可以看出最终获取的数据是和原网页的数据是匹配的）
在这里插入图片描述
在这里插入图片描述
接着就是进行全部数据的输出与存储，再此过程中，还要进行错误异常的处理

datalst = []
errorlst =[]
for u in get_url(20):
	try:
		datalst.extend(get_data(u,dic_heders,dic_cookies))
		print('数据采集成功，共采集数据{}条'.format(len(datalst)))
	except:
		errorlst.append(u)
		print('数据采集失败，网址为：',u)

输出的结果为：
在这里插入图片描述

数据清洗

数据清洗在spyder里面进行，避免爬虫代码的反复运行

df = pd.DataFrame(datalst)
df['经度'] = df['经度'].astype('float')
df['纬度'] = df['纬度'].astype('float')
df['点评数量'] = df['点评数量'].astype('int')
df['攻略数量'] = df['攻略数量'].astype('int')
df['评分'] = df['评分'].str.split(":").str[-1].str.replace("%","").astype("float")
df['多少驴友来过'] = df['多少驴友来过'].str.replace("%","").astype('float')/100
df['排名'] = df[df['排名']!=""]['排名'].str.split("第").str[-1].astype('int')

df.to_excel('去哪儿网数据爬取.xlsx',index = False)

至此去哪儿网景点数据采集项目的全过程就已经解析完毕了，下面是全部的代码和输出结果

全部代码和输出结果

import requests 
from bs4 import BeautifulSoup
import pandas as pd


def get_url(n):
	'''
	【分页网址url采集】函数
	n：页数参数
	结果：得到一个分页网页的list
	'''
	lst = []
	for i in range(n):
		ui = "https://travel.qunar.com/p-cs299878-shanghai-jingdian-1-{}".format(i+1)
		lst.append(ui)
	return lst

def get_data(ui,d_h,d_c):  
	'''
	【数据采集】
	ui：数据信息网页
	d_h：user-agent信息
	d_c：cookies信息
	结果：得到数据的list，每条数据用dict存储
	'''
	ri = requests.get(ui, headers= dic_heders, cookies = dic_cookies)
	soup_i = BeautifulSoup(ri.text,'lxml')
	ul = soup_i.find("ul",class_="list_item clrfix")
	lis = ul.find_all('li')

	lst = []
	for li in lis:
		dic = {}
		dic['景点名称'] = li.find('span',class_="cn_tit").text
		dic['攻略数量'] = li.find('div',class_="strategy_sum").text
		dic['评分'] = li.find('span',class_="total_star").span['style']
		dic['简介'] = li.find('div',class_="desbox").text
		dic['排名'] = li.find('span',class_="ranking_sum").text
		dic['经度'] = li['data-lng']
		dic['纬度'] = li['data-lat']
		dic['点评数量'] = li.find('div',class_="comment_sum").text
		dic['多少驴友来过'] = li.find('span',class_="comment_sum").span.text
		lst.append(dic)
	return lst


if __name__ == "__main__":

	dic_heders = {
       'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
    }

	dic_cookies = {}
	cookies = 'QN1=dXrgj14+tmYQhFxKE9ekAg==; QN205=organic; QN277=organic; QN269=506F28C14A7611EAA0BEFA163E244083; _i=RBTKSRDqFhTQT5KRlx-P1H78agxx; fid=7cc3c3d9-3f6c-45e1-8cef-3384cd5da577; Hm_lvt_c56a2b5278263aa647778d304009eafc=1581168271,1581220912; viewpoi=7564992|709275; viewdist=299878-7; uld=1-299878-8-1581221233|1-1062172-1-1581168529; QN267=1679639433d5aedfc8; Hm_lpvt_c56a2b5278263aa647778d304009eafc=1581221236; QN25=cb06bfbd-d687-4072-98c5-73266b637a6a-9f992f90; QN42=nvxp8441; _q=U.qunar_lbs_428305502; _t=26463150; csrfToken=oXYBnhSoGAGxggRkzmAjbxxGrpgsjUqQ; _s=s_ZBWFJO3EEGZISWS35EBIS5NQYA; _v=YTRjW_H5L47nGNVabvTLt1mlh7j8R7t4UNDVRrJUz0wScfLMWgSvkwQbzMLHlFbsvTU-2kJrBK74NUyOi3MX_3obY94Hhhugt8bv8ILxwsWDv4s_ANNiM8qRdg6HlBrrCEnGYr8lxS9uv78zDCNKz9pFbN8JPYy-AKJP6xILIsT7; _vi=4ONQzvfOOhwJECN5R-4rfWZDzlQ5-qv2xi_jsp1INPEpy9iKHa5gV0gHc35fDfTDe3TjcKteU7ZWk1vd6MsIqTfXYyUh3gTwZJ_9z3PEpkXZReeeIjaVE4HwLTkOATLIzIxg92s-QCWKE1RdNlaZsxPnfN7NHPGAZz5rsmxvpNDY; QN44=qunar_lbs_428305502; QN48=tc_a7fe4861b2d918df_17028369fc8_67ab; QN271=1749d44a-1a11-4886-be27-c3e3bfdadb0c'
	cookies_lst = cookies.split("; ")
	for i in cookies_lst:
		dic_cookies[i.split("=")[0]] = i.split("=")[1]    


	datalst = []
	errorlst =[]
	for u in get_url(20):
		try:
			datalst.extend(get_data(u,dic_heders,dic_cookies))
			print('数据采集成功，共采集数据{}条'.format(len(datalst)))
		except:
			errorlst.append(u)
			print('数据采集失败，网址为：',u)
            
            
	df = pd.DataFrame(datalst)
	df['经度'] = df['经度'].astype('float')
	df['纬度'] = df['纬度'].astype('float')
	df['点评数量'] = df['点评数量'].astype('int')
	df['攻略数量'] = df['攻略数量'].astype('int')
	df['评分'] = df['评分'].str.split(":").str[-1].str.replace("%","").astype("float")
	df['多少驴友来过'] = df['多少驴友来过'].str.replace("%","").astype('float')/100
	df['排名'] = df[df['排名']!=""]['排名'].str.split("第").str[-1].astype('int')

	df.to_excel('去哪儿网数据爬取.xlsx',index = False)

输出的结果为：
在这里插入图片描述
去哪儿网数据爬取.xlsx文件中的内容如下：（可以看出最后将数字数据全都转变成了数值型，而非文本型）
在这里插入图片描述

lys_828
关注
专栏目录
100天精通Python丨黑科技篇 —— 21、大语言模型_100天精通python快速入门到黑科技
m0_60452141的博客
04-26 635
ChatGPT 是 OpenAI 推出的一种基于 GPT-3/4 的聊天机器人。chatgpt 的颠覆性影响主要体现在提高语言交流的便捷性、个性化服务、自动化客服和教育娱乐等方面，这些应用可以为用户带来更多的便利和乐趣，同时也为企业提供了更多的服务和商机。本文收录于，是由的硬核博主倾力打造，分基础知识篇和黑科技应用两大部分，欢迎订阅本专栏，订阅后可私聊进Python全栈VIP交流群（问题解答、互相帮助）还可领取20GPython视频和100本互联网行业电子书。
【爬虫】用Python爬取去哪儿网热门旅游信息（并打包成旅游信息查询小工具）
Yhen的博客
04-12 1万+
以下内容为本人原创，欢迎大家观看学习，禁止用于商业用途，转载请说明出处，谢谢合作！   大噶好！我是python练习时长一个月的Yhen，今天向大家分享的是爬取去哪儿网旅游信息，特别感谢六星教育python学院，我就是在这里学的，老师讲的挺好挺仔细的，以下内容都是基于我在课堂上学到的，大家有兴趣可以到腾讯课堂报名听课，都是免费的。 我的前两篇博客有讲到如何怕小说和爬知乎大佬的文...
Python爬虫技术从去哪儿网获取旅游数据，对攻略进行可视化分析，提供全面的旅游攻略和个性化的出行建议
最新发布
weixin_49081159的博客
07-12 2853
随着信息技术的快速发展和互联网的普及，旅游行业也迎来了数字化和智能化的变革。数据覆盖了一年的12个月，出游次数分别为：1月39次，2月54次，3月56次，4月81次，5月55次，6月40次，7月55次，8月63次，9月64次，10月78次，11月52次，12月53次。8月和9月的出游次数也较高，分别为63次和64次，这可能与暑期有关，暑假期间学校放假，家庭出游较为集中。出游时间的分析结果为旅游市场提供了有价值的参考，旅游行业可以根据季节和假期特点，优化产品和服务，制定营销策略，以满足不同时间段的旅游需求。
使用 Scrapy 爬取去哪儿网景区信息
人生苦短， 还不用Python？
12-21 1608
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 作者： 程序员野客 PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 http://note.youdao.com/noteshare?id=3054cce4add8a909e784ad934f956cef 实现过程 制作 Scrapy 爬虫需如下四步：...
Python 爬取 13 个旅游城市，告诉你五一大家最爱去哪玩？
程序人生的博客
05-05 3720
作者 | 程序员共成长 责编 | 伍杏玲 今年五一放了四天假，很多人不再只是选择周边游，因为时间充裕，选择了稍微远一点的景区，甚至出国游。各个景点成了人山人海，拥挤的人群，甚至去卫生间都要排队半天，那一刻我突然有点理解灭霸的行为了。 今天通过分析去哪儿网部分城市门票售卖情况，简单的分析一下哪些景点比较受欢迎，等下次假期可以做个参考。 抓取数据 通过请求http...
【Python】去哪儿旅游景点数据爬虫
浪荡子爱自由的博客
02-15 1万+
爬虫需要模块：BeautifulSoup、requests 爬虫网站：去哪儿-https://travel.qunar.com/place/ 1.爬取城市ID链接 例如：https://travel.qunar.com/p-cs300148-haikou # -*- coding: utf-8 -*- from bs4 import BeautifulSoup import pandas as pd import requests def crawer_travel_static_url(u.
python爬取去哪网全国景区数据
02-26
python爬取去哪网全国景区数据，爬取地址为piao.qunar.com,注意去哪网有反爬虫策略,如果ip被封，可能使用手机热点
Python网络爬虫与数据采集.pdf
08-14
Python网络爬虫与数据采集是一门技术课程，主要内容包括网络爬虫的基础知识、网络爬虫请求的基本处理、使用Python相关库进行网络请求、理解HTTP协议及其相关技术，以及如何应对常见的反爬虫策略等。 网络爬虫基础...
基于python网络爬虫的小说网数据采集分析与可视化项目源码（课程设计）.zip
11-17
基于python网络爬虫的小说网数据采集分析与可视化项目源码（课程设计）.zip已获导师指导并通过的97分的高分大作业设计项目，可作为课程设计和期末大作业，下载即用无需修改，项目完整确保可以运行。 基于python...
去哪儿网评论Python爬虫
09-04
去哪儿网pycharm爬虫
去哪网旅游景点数据集合
03-11
去哪网上面的景点数据集，数据条数有近3万条，简单作业需要可以使用，因为作业需要从去哪网上爬下来的。
Python从零基础到大牛项目实战：抓取景点评论数量+旅游景点推荐
05-28
本资源是：Python从零基础到大牛项目实战：抓取景点评论数量+旅游景点推荐。 通过使用Python抓取马蜂窝景点的点评数量, 来告诉你某个城市的哪些景点更值得去. 为元旦或春节等假日出行, 提供参考. 本项目是完整的开发实战项目，实现景点评论的抓取以及实现旅游景点的推荐算法。 适合Python开发者和学习Python的爱好者。
基于Python的旅游网站数据爬虫研究
04-20
借助 Python 和 Scrapy 语言框架基础，以“旅游网站”为爬取目标，通过分析当前现有Web crawler 的运行机理、功能单元以及算法程序，试探性的创建一个针对性比较强的网络爬虫，对课题的目标数据进行爬取。在简明给出了爬虫技术的原理和发展现状、介绍爬虫工程中一些关键技术、并着重介绍了在研究中有深刻影响的 Cookie 和 Robot 协议之后，论文阐述了以Mongo DB 为代表的 NOSQL 数据库对目标信息数据存储中起到的关键作用，并针对程序开发的流程及关键性的实现细节作出重点介绍。 同时，论文还提及了现今爬虫技术开发所涉及的关键性问题，以及具体在本文中采用的实际解决方法。为解决网站的限制困境，重点介绍通过更换 Cookie 和user-agent 伪装来解决上述问题。而原始资源符地址去重和多线程并发的问题， 则采用并分析 Scrapy 自带的解决方案。 最后对爬虫进行测试并可视化的进行成果展示，并于对已经作出的研究成果所存在的问题和改进的可能进行论述。 基于Python的旅游网站数据爬虫研究 基于Python的旅游网站数据爬虫研究 基于Python的旅游网站
Python 爬虫基础 网络爬虫、数据采集、Python编程、数据处理
08-12
知识领域： 网络爬虫、数据采集、Python编程、数据处理 技术关键词： 网络爬虫、数据抓取、数据清洗、Python编程 内容关键词： 网页解析、数据提取、数据存储、爬虫工具 用途： 提供基础知识和技能，帮助初学者了解...
使用python爬取全国所有热门景点数据---去哪儿网
热门推荐
进击的小白
02-08 2万+
要爬取去哪儿上面的所有的热门景点的数据 可以先再 搜索出 搜索 热门景点  http://piao.qunar.com/ticket/list.htm?keyword=%E7%83%AD%E9%97%A8%E6%99%AF%E7%82%B9®ion=&from=mpl_search_suggest 可以看到  有几千页 的景点数据,我们要爬取的就是这些数据; 最好是从分类开
python爬取旅游网站景点评论数据_词云
HYSliuliuliu的博客
10-29 1万+
爬取同程旅行的景点评论数据，使用selenium爬取edge浏览器的网页文本数据。
python去哪儿网的旅游景点信息
Candy_boy
08-02 1137
爬取过程分析： 1、网站url：‘https://piao.qunar.com/ticket/list.htm?keyword=北京&page=1’ 2、http请求方法为get方法 3、用beautifulsoup提取所需要的信息 4、将爬取的信息存至本地 具体代码如下： import requests from bs4 import BeautifulSoup class QuNa...
python爬取旅游景点数据,以后想旅游就看热度和消费价格
m0_61981943的博客
06-03 7564
旅游是一项受欢迎的活动，不仅因为它可以带给人们不同的体验和享受，还因为它可以成为人们的一种消费方式。因此，旅游的热度和消费价格是人们选择旅游目的地的两个重要因素。
python爬虫旅游景点数据
05-24
你可以使用 Python 的 requests 库和 BeautifulSoup 库来爬取旅游景点数据。以下是一个简单的示例代码： ```python import requests from bs4 import BeautifulSoup url = 'https://www.tripadvisor.com/Attractions-g60763-Activities-New_York_City_New_York.html' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') attractions = soup.find_all('div', class_='attraction_element') for attraction in attractions: name = attraction.find('div', class_='listing_title').text.strip() rating = attraction.find('span', class_='ui_bubble_rating')['alt'].split()[0] reviews = attraction.find('a', class_='review_count').text.split()[0] print(name, rating, reviews) ``` 这个代码爬取了 TripAdvisor 上纽约市的旅游景点数据，包括景点名称、评分和评论数量。你可以根据需要修改代码来爬取其他城市或其他网站的数据。请注意，爬取数据时要遵守网站的规定，不要过度请求导致服务器瘫痪。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lys_828

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值