Python实现获取名人名言http://quotes.toscrape.com/

最新推荐文章于 2023-10-03 16:24:15 发布

Tinyfacture

最新推荐文章于 2023-10-03 16:24:15 发布

阅读量670

点赞数

文章标签： python css

本文链接：https://blog.csdn.net/Tinyfacture/article/details/128503833

版权

一.数据来源分析
我们想要的数据内容，可以从哪里获取到
二.代码实现步骤过程：
1.发送请求，对于我们刚刚分析得到的url地址发送请求
2.获取数据，获取服务器返回响应数据，response
3.解析数据，获取我们想要的数据内容，名人名言
4.保存数据，保存文本csv表格数据
代码实现过程：
import requests
import parsel
import csv
f=open('名言.csv',mode='a',encoding='utf-8',newline='')#写入数据
csv_write=csv.DictWriter(f,fieldnames=[
    '名言',
    '作者',
    '标签',
])
csv_write.writeheader()#写入表头
url='http://quotes.toscrape.com/'#请求网址
headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36 Edg/107.0.1418.52'
}#请求头
response=requests.get(url=url,headers=headers)#获取方式
#print(response.text)
selector=parsel.Selector(response.text)#将文档转换为selector对象
lis=selector.css('.col-md-8 .quote')#用css选择器读取网站
#print(lis)
for li in lis:
    text=li.css('span.text::text').get()#获取名言
    author=li.css('.author::text').get()#获取作者
    tag=li.css('.tags .tag::text').getall()#获取标签
    dit={
        '名言': text,
        '作者': author,
        '标签': tag
    }
    csv_write.writerow(dit)#写入字典
    print(text,'by '+author)
    print('tags: ')
    for tag1 in tag:
        print(tag1,end='\n')#一个一个打印标签

运行结果：