爬取穷游网

最新推荐文章于 2024-01-30 23:09:15 发布
最新推荐文章于 2024-01-30 23:09:15 发布
阅读量962 收藏 6
点赞数
分类专栏： # Python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44614026/article/details/92701941
版权

爬取穷游网

1、分析网页url规律

进入穷游网,找到行程助手,点击进去
在这里插入图片描述
然后找到搜索,随便搜索一下,发现地址栏的url支持中文关键字
在这里插入图片描述
查看url规律
在这里插入图片描述
以日本为例,url需要变动的是页码数和关键字
在这里插入图片描述
这个爬虫程序,用进程爬取地区,用协程抓取地区的每一个页面

2、定义函数请求每个地区的页数

在这里插入图片描述
使用xpath匹配页数,使用正则匹配数字,获取最大页数
在这里插入图片描述
qiongyou_1 .py

import multiprocessing
import re
import requests
import gevent
from gevent import monkey
monkey.patch_all()
from lxml import etree
from time import sleep


# 定义一个函数请求每隔地区的首页
def fetch_areas(url,headers,area):
	
	area_html = requests.get(url=url%(1,area),headers=headers).text
	
	a_tree = etree.HTML(area_html)
	# 使用xpath匹配页数
	lastPage = a_tree.xpath('//a[@class="ui_page_item"]/text()')[-1]
	print(lastPage)
	#使用正则匹配数字,获取最大页数
	totalPages = int(re.findall(pattern=r'\d+',string=lastPage)[0])
	print(totalPages)
	
	# 用协程抓取每一个页面
	# 定义一个列表,用于管理和当前进程中的所有协程
	g_list = []
	for page in range(1,totalPages+1):
		page_url = url%(page,area)
		# 创建一个协程
		g = gevent.spawn(fetch_pages_per_area,page_url,headers)
		g_list.append(g)
	gevent.joinall(g_list)
	


# 定义一个函数,用于请求每个地区的页面信息
def fetch_pages_per_area(url,headers):
	pass
	
	
if __name__ == '__main__':
	#定义一个列表,规定要抓取的那些地区
	areas =['中国','欧洲','泰国','韩国','日本','新加坡','南美洲']
	
	url = 'http://plan.qyer.com/search_0_0_0_0_0_0_%d/?keyword=%s'
	# 请求头
	headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'}
	
	#对于计算密集型的程序,一般用进程,线程,协程都行;但对于I/O密集型的程序,一般不用进程
	
	# 用进程完成每个地区的请求
	p_list = []
	for area in areas:
		# 创建进程
		p = multiprocessing.Process(target=fetch_areas,args=(url,headers,area))
		p.start()
		p_list.append(p)
		
	for p in p_list:
		p.join()

运行一下,可以获取
在这里插入图片描述
(monkey模块可能会报错,但不影响数据的获取)

3、定义函数请求每个地区的页面信息

在这里插入图片描述
使用xpath匹配信息
然而,不是所有都是那么顺利,如果就按造xpath匹配的内容获取,会有出错的地方,有些不匹配
比如匹配标题,有一些没有标题,或者url不匹配,打印出来看一下

# 定义一个函数,用于请求每个地区的页面信息
def fetch_pages_per_area(url, headers):
	
	# 打印异常
	try:
		print('当前正在请求:',url)
		res = requests.get(url=url,headers=headers)
		sleep(1)
		
		#解析
		page_tree = etree.HTML(res.text)
		travels = page_tree.xpath('//div[@class="items"]')
		for travel in travels:
			item ={}
			item['title'] = travel.xpath('.//dd/text()')[0]
			print(item)
	
	except Exception as e:
		print('url:%s出异常了'%url)
		print(e)

在这里插入图片描述
还是有一些这种情况的

于是,这些出错的,把那一项就设为空,也是一个方法

qiongyou_2 .py

import multiprocessing
import re
import requests
import gevent
from gevent import monkey

monkey.patch_all()
from lxml import etree
from time import sleep


# 定义一个函数请求每隔地区的首页
def fetch_areas(url, headers, area):
	area_html = requests.get(url=url % (1, area), headers=headers).text
	
	a_tree = etree.HTML(area_html)
	# 使用xpath匹配页数
	lastPage = a_tree.xpath('//a[@class="ui_page_item"]/text()')[-1]
	# 使用正则匹配数字,获取最大页数
	totalPages = int(re.findall(pattern=r'\d+', string=lastPage)[0])
	# print(totalPages)
	
	# 用协程抓取每一个页面
	# 定义一个列表,用于管理和当前进程中的所有协程
	g_list = []
	for page in range(1, totalPages + 1):
		page_url = url % (page, area)
		# 创建一个协程
		g = gevent.spawn(fetch_pages_per_area, page_url, headers)
		g_list.append(g)
	gevent.joinall(g_list)


# 定义一个函数,用于请求每隔地区的页面信息
def fetch_pages_per_area(url, headers):
	
		print('当前正在请求:', url)
		res = requests.get(url=url, headers=headers)
		sleep(2)
		
		# 解析
		page_tree = etree.HTML(res.text)
		travels = page_tree.xpath('//div[@class="items"]')
		for travel in travels:
			item = {}
			item["title"] = travel.xpath(".//dd/text()")[0] if travel.xpath(".//dd/text()") else " "
			item["start_time"] = travel.xpath(".//dt/text()")[0] if travel.xpath(".//dt/text()") else " "
			item["cycle"] = travel.xpath(".//div[@class='day']//text()")[0] if travel.xpath(
				".//div[@class='day']//text()") else " "
			tag = travel.xpath(".//div[starts-with(@class,'tag')]//text()")
			if len(tag) != 0:
				item["tag"] = " ".join(tag)
			else:
				item["tag"] = "自由行"
			item["plan"] = travel.xpath(".//div[@class='plan']/p/text()")[0] if travel.xpath(
				".//div[@class='plan']/p/text()") else " "
			item["next_url"] = "http:" + travel.xpath(".//a[@class='link']/@href")[0] if travel.xpath(
				".//a[@class='link']/@href") else " "
			print(item)
	
	


if __name__ == '__main__':
	# 定义一个列表,规定要抓取的那些地区
	areas = ['中国', '欧洲', '泰国', '韩国', '日本', '新加坡', '南美洲']
	
	url = 'http://plan.qyer.com/search_0_0_0_0_0_0_%d/?keyword=%s'
	# 请求头
	headers = {
		'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'}
	
	# 对于计算密集型的程序,一般用进程,线程,协程都行;但对于I/O密集型的程序,一般不用进程
	
	# 用进程完成每个地区的请求
	p_list = []
	for area in areas:
		# 创建进程
		p = multiprocessing.Process(target=fetch_areas, args=(url, headers, area))
		p.start()
		p_list.append(p)
	
	for p in p_list:
		p.join()

4、数据的存储

换汤不换药，最后就是数据的存储了
这里偷下懒，直接存到redis数据库中，就不存csv文件了，其实也就是多加两行代码的事

qiongyou_3 .py

import multiprocessing
import re
import requests
import redis
import gevent
from gevent import monkey
monkey.patch_all()

from lxml import etree
from time import sleep


# 定义一个函数请求每隔地区的首页
def fetch_areas(url, headers, area):
	area_html = requests.get(url=url % (1, area), headers=headers).text
	
	a_tree = etree.HTML(area_html)
	# 使用xpath匹配页数
	lastPage = a_tree.xpath('//a[@class="ui_page_item"]/text()')[-1]
	# 使用正则匹配数字,获取最大页数
	totalPages = int(re.findall(pattern=r'\d+', string=lastPage)[0])
	# print(totalPages)
	
	# 用协程抓取每一个页面
	# 定义一个列表,用于管理和当前进程中的所有协程
	g_list = []
	for page in range(1, totalPages + 1):
		page_url = url % (page, area)
		# 创建一个协程
		g = gevent.spawn(fetch_pages_per_area, page_url, headers)
		g_list.append(g)
	gevent.joinall(g_list)


# 定义一个函数,用于请求每隔地区的页面信息
def fetch_pages_per_area(url, headers):
	print('当前正在请求:', url)
	res = requests.get(url=url, headers=headers)
	sleep(2)
	
	# 解析
	page_tree = etree.HTML(res.text)
	travels = page_tree.xpath('//div[@class="items"]')
	for travel in travels:
		item = {}
		item["title"] = travel.xpath(".//dd/text()")[0] if travel.xpath(".//dd/text()") else " "
		item["start_time"] = travel.xpath(".//dt/text()")[0] if travel.xpath(".//dt/text()") else " "
		item["cycle"] = travel.xpath(".//div[@class='day']//text()")[0] if travel.xpath(
			".//div[@class='day']//text()") else " "
		tag = travel.xpath(".//div[starts-with(@class,'tag')]//text()")
		if len(tag) != 0:
			item["tag"] = " ".join(tag)
		else:
			item["tag"] = "自由行"
		item["plan"] = travel.xpath(".//div[@class='plan']/p/text()")[0] if travel.xpath(
			".//div[@class='plan']/p/text()") else " "
		item["next_url"] = "http:" + travel.xpath(".//a[@class='link']/@href")[0] if travel.xpath(
			".//a[@class='link']/@href") else " "
		print(item)
		
		rds = redis.StrictRedis(host='127.0.0.1',port=6379,db=9)
		rds.lpush('plans',item)


if __name__ == '__main__':
	# 定义一个列表,规定要抓取的那些地区
	areas = ['中国', '欧洲', '泰国', '韩国', '日本', '新加坡', '南美洲']
	
	url = 'http://plan.qyer.com/search_0_0_0_0_0_0_%d/?keyword=%s'
	# 请求头
	headers = {
		'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'}
	
	# 对于计算密集型的程序,一般用进程,线程,协程都行;但对于I/O密集型的程序,一般不用进程
	
	# 用进程完成每个地区的请求
	p_list = []
	for area in areas:
		# 创建进程
		p = multiprocessing.Process(target=fetch_areas, args=(url, headers, area))
		p.start()
		p_list.append(p)
	
	for p in p_list:
		p.join()

连csv都不存了,是不是过分?

这里有一个问题,如果爬多了,会遇到反爬,就涉及到ip代理了

沉觞流年
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python爬虫：爬取穷游网的地点数据，世界那么大，我想去看看。
weixin_49345590的博客
12-21 714
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 一、前言 世界那么大，我想去看看。 要么读书，要么旅游，身体和心灵必须有一个在路上。 想必大家心里都向往旅游，那么旅游中的行程安排和地区热门景点有哪些呢？ 可能都需要在网上去找旅游攻略，今天就带大家采集旅游网站的景点数据。 二、课程亮点 系统分析网页性质 结构化的数据解析 csv数据保存 三、所用到得库 import csv import requests import parsel
网络图片爬取crawwormpicture
01-07
图片爬取工具(CrawlWorm Picture)是一款专为使用Windows系统的用户打造的一个专业网络图片爬取工具，只需要输入自己需要抓取的网站地址，然后设置搜索参数，软件就会开始分析网页源码获取网站的图片资源，可同时执行...
穷游网 游记 爬虫
DW_CK的博客
07-01 648
最近需要一些东南亚国家的照片，于是写了一个穷游网游记的爬虫，穷游网用了ajax请求，简单的request很难实现拿到图片的url，于是用了selenium进行爬取。 from selenium import webdriver import time,re,requests,os from bs4 import BeautifulSoup def get_img_in_page(page_url='https://bbs.qyer.com/thread-3502079-1.html',wait_time
爬虫神器之PyQuery实用教程（二），50行代码爬取穷游网
melody_sy博客
12-27 1168
爬虫神器之PyQuery实用教程（二），50行代码爬取穷游网 前言 上篇文章 PyQuery (一) 回顾。今天来介绍具体 PyQuery 的使用方法。 穷游网目标与分析 开始之前，按照之前的套路一步步来。 一、先确立目标。 我们要爬取的目标是： 日本的城市 去过的人数 城市的详情景点 二、看源码，分析元素节点。 F12 查看当前网页源代码： https://place.qyer.com/j...
通过代理爬取穷游网
沉觞的博客
06-22 371
通过代理爬取穷游网1、通过代理池获取代理2、在穷游网爬虫文件中添加代理 1、通过代理池获取代理 proxiespool .py # 1、代理的存储（本地文件、数据库） 2、代理定期更新 3、代理池的定期清洗 4、代理质量检验 import requests import redis import json import re # 定义一个函数，用于获取代理 def get_proxies(url,headers): res = requests.get(url=url,headers=head
一篇文章教会你利用Python网络爬虫获取穷游攻略
pdcfighting的博客
06-08 431
点击上方“IT共享之家”，进行关注回复“资料”可获赠Python学习福利【一、项目背景】 穷游网提供原创实用的出境游旅行指南、攻略，旅行社区和问答交流平台，以及智能的旅行规划解决方...
matlab爬取网络数据
02-25
1.直接下载即可使用 2.可爬取自定义网站数据 3.爬取数据后可导出 4.使用matlab编写代码，提供源码 5.代码注释清晰，适用于初学者
Python爬取拉钩网职位信息
10-20
使用requests和beautifulsoup4库来爬取拉勾网的职位信息，突破反爬机制，获取到真正需要的数据。记得先申请一个自己的账号，再进行代码操作。
爬取中国网文章
10-12
爬虫爬取中国网链接，这是包含查找隐藏url之后对中国网多个页面进行了爬取
python爬虫
10-06
python爬虫，比较基础，适合初学者，Main.py里的初始URL可以更换成你想要挖掘的网站
爬取穷游网的酒店数据
qq_41827631的博客
01-02 555
需要的工具：python3，requests，beautifulSoup，time，re等库。   from bs4 import BeautifulSoup import requests import time import re   url = 'http://search.qyer.com/hotel/89580_4.html' urls = ['http://search.qyer....
网络爬虫 | 采集穷游网某城市旅游景点
qq_41314882的博客
10-14 674
当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。这样就能发现下方截图中的。构造网址规律， 以第二页为例， 发起请求，查看数据。
python爬取穷游网景点评论
热门推荐
HYSliuliuliu的博客
11-17 1万+
同程的评论数据还是比较好爬取，不像大众点评需要你登录验证杂七杂八的，只需要找准你想要爬取的网页链接就能拿到想要的文本数据。这里就不得不提一下爬取过程中遇到的问题，就是关于无头模式和有头模式，首先介绍一下什么是无头模式和有头模式：无头模式和有头模式是指网络爬虫在执行过程中是否显示浏览器的界面。有头模式是指网络爬虫在执行过程中会显示浏览器的界面，可以看到爬取过程中的页面加载、点击等操作，可以进行人工干预和调试。有头模式一般用于开发和调试阶段，便于观察爬虫的执行情况。
蚂蜂窝爬虫
starsliu
10-10 4698
Nodejs爬取蚂蜂窝文章的爬虫以及搭建第三方服务器 如题，本项目用Nodejs实现了对蚂蜂窝网站的爬取，并将数据储存到MongoDB中，再以Express作服务器端，Angularjs作前端实现对数据的托管。 本项目Github地址：https://github.com/golmic/mafengwo-spider 本项目线上地址： http://mafengwo.lujq.me 本
穷游网样式
qq_38210427的博客
03-22 737
css
穷游网酒店数据采集与可视化分析与实现
最新发布
weixin_49081159的博客
01-30 2711
通过此次设计设计目的是提供便捷的酒店信息获取途径，通过数据采集和整合，将穷游网等相关网站的酒店数据集中展示，为用户提供一站式的酒店信息获取途径，减少用户的搜索时间和精力。通过实时抓取和数据更新机制，保证酒店数据的准确性和实时性，帮助用户获取最新的酒店信息，做出更明智的预订决策。首先，可以引入更多的数据源，并通过数据清洗和整合，提供更全面和准确的酒店数据。整个系统的体系结构是一个典型的三层架构，数据层负责数据的采集和存储，数据处理层负责数据的清洗和分析，应用层负责Web开发和数据可视化。
爬取学校官网新闻内容
12-26
要爬取学校官网的新闻内容，你可以使用Python中的urllib库和BeautifulSoup库来实现。首先，你需要安装这两个库。然后，你需要了解网页的基本知识和掌握Python的基础语法。 下面是一个简单的示例代码，演示如何爬取学校官网的新闻标题和链接： ```python import urllib.request from bs4 import BeautifulSoup # 爬取的网页地址 url = "https://www.hist.edu.cn/index/sy/kyyw.htm" # 发送请求并获取网页内容 response = urllib.request.urlopen(url) html = response.read() # 使用BeautifulSoup解析网页内容 soup = BeautifulSoup(html, "html.parser") # 找到新闻标题和链接所在的标签 news_list = soup.find_all("a", class_="news_title") # 遍历新闻列表，获取标题和链接 for news in news_list: title = news.get_text() # 获取标题 link = news["href"] # 获取链接 absolute_link = urllib.parse.urljoin(url, link) # 转换为绝对路径链接 print("标题：", title) print("链接：", absolute_link) print() # 将爬取到的数据存储下来 # 这里可以使用文件操作或者数据库来存储数据 ``` 这段代码首先使用urllib库发送请求并获取网页内容，然后使用BeautifulSoup库解析网页内容。接着，找到包含新闻标题和链接的标签，并遍历获取每个新闻的标题和链接。最后，可以选择将爬取到的数据存储下来，可以使用文件操作或者数据库来实现。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值