python爬取旅游信息_python爬取全国13个城市旅游数据，告诉你那里最受欢迎

抓取数据

通过请求https://piao.qunar.com/ticket/list.htm?keyword=北京，获取北京地区热门景区信息，再通过BeautifulSoup去分析提取出我们需要的信息。

这里爬取了前4页的景点信息，每页有15个景点。因为去哪儿并没有什么反爬措施，所以直接请求就可以了。

这里随机选择了13个热门城市：北京、上海、成都、三亚、广州、重庆、深圳、西安、杭州、厦门、武汉、大连、苏州。

并将爬取的数据存到了MongoDB数据库 。

爬虫部分完整代码如下：

import requests

from bs4 import BeautifulSoup

from pymongo import MongoClient

​

class QuNaEr():

def __init__(self, keyword, page=1):

self.keyword = keyword

self.page = page

​

def qne_spider(self):

url = 'https://piao.qunar.com/ticket/list.htm?keyword=%s&region=&from=mpl_search_suggest&page=%s' % (self.keyword, self.page)

response = requests.get(url)

response.encoding = 'utf-8'

text =