python爬虫旅游景点

今天的目标是各地旅游景点

废话不多说,直接开始

由于本次爬取后的数据保存到Excel,所以要提前安装相关库,这里我用的是pip

win+R cmd到命令行输入以下内容(要确保python环境正常)

pip install Workbook

pip install openpyxl

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBATG9ycmV5Xw==,size_20,color_FFFFFF,t_70,g_se,x_16

接下来就可以开始代码操作了

# -- coding: utf-8 --
import requests
from lxml import html
from openpyxl import Workbook

#创建Excel
wb=Workbook()
ws=wb.active

#获取数据
url='https://place.qyer.com/china/citylist-0-0-1/'

def getpage(url):
    #请求头,模拟浏览器登录
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Safari/537.36'} 

    #访问链接,获取HTML
    r = requests.get(url, headers=headers)
    retext = r.text

    # 解析数据
    ht = html.fromstring(retext)

    #使用xpath获取
    city = ht.xpath('/html/body/div[5]/div/div[1]/ul/li')
    for i in city:
        name = i.xpath('./h3/a/text()')[0]
        beento = i.xpath('./p[@class="beento"]/text()')[0]
        list = i.xpath('./p[@class="pois"]/a/text()')
        list2 = ''
        # for j in list:
        #     list2=list2+','+j.strip()
        # print(name,beento,list2[1:])
        list = [place.strip() for place in list]
        list2 = ','.join(list)
        datalist = [name, beento, list2]
        ws.append(datalist)

for i in range(1,10):
    url='https://place.qyer.com/china/citylist-0-0-{}/'.format(i)
    getpage(url)

#Excel保存
fileanme="D:\Python\Project\test4" #路径可以自己设置,我这里是python源文件同级目录
wb.save("旅游景点.xlsx")

  运行代码

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBATG9ycmV5Xw==,size_20,color_FFFFFF,t_70,g_se,x_16

  • 9
    点赞
  • 82
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Lorrey_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值