import requests
import parsel
import csv
import time
f = open(‘旅游景点.csv’, mode=‘a’, encoding=‘utf-8-sig’, newline=‘’)
csv_writer = csv.DictWriter(f, fieldnames=[‘景区名字’, ‘景区等级’, ‘地区’, ‘地址’, ‘热度’, ‘简介’, ‘价格’, ‘月销’])
csv_writer.writeheader()
for page in range(1, 11):
time.sleep(1)
print(‘正在保存第{}页数据==========’.format(page))
url = ‘https://piao.qunar.com/ticket/list_%E5%BC%A0%E5%AE%B6%E7%95%8C.html?from=mps_search_suggest_c&keyword=%E5%BC%A0%E5%AE%B6%E7%95%8C&page={}’.format(page)
headers = {
‘user-agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36’
}
response = requests.get(url=url, headers=headers)
selector = parsel.Selector(response.text)
lis = selector.css(‘#search-list .sight_item’)
dit = {}
for li in lis:
title = li.css(‘.sight_item_caption a::attr(title)’).get() # 景区名字
dit[‘景区名字’] = title
level = li.css(‘.sight_item_info .level::text’).get() # 景区等级
dit[‘景区等级’] = level
area = li.css(‘.area a::attr(title)’).get() # 地区
dit[‘地区’] = area
address = li.css(‘.address span::attr(title)’).get() # 地址
dit[‘地址’] = address
string = li.css(‘.product_star_level em::attr(title)’).get() # 热度
star_level = float(string.strip('热度: '))
dit[‘热度’] = star_level
intro = li.css(‘.intro::attr(title)’).get() # 简介
dit[‘简介’] = intro
price = li.css(‘.sight_item_price em::text’).get() # 价格
dit[‘价格’] = price
hot_num = li.css(‘.hot_num::text’).get() # 月销
dit[‘月销’] = hot_num
csv_writer.writerow(dit)
print(dit)
最后
不知道你们用的什么环境,我一般都是用的Python3.6环境和pycharm解释器,没有软件,或者没有资料,没人解答问题,都可以免费领取(包括今天的代码),过几天我还会做个视频教程出来,有需要也可以领取~
给大家准备的学习资料包括但不限于:
Python 环境、pycharm编辑器/永久激活/翻译插件
python 零基础视频教程
Python 界面开发实战教程
Python 爬虫实战教程
Python 数据分析实战教程
python 游戏开发实战教程
Python 电子书100本
Python 学习路线规划
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!