python如何爬虫eps数据_Python爬虫如何实现自动翻页并将数据存入csv中?

求大神指导,本人刚接触到python爬虫,有一些问题,再此感激不尽!!!!

我想爬取一些英文新闻标题,然后把他们存在一个csv文件里面

我的代码如下

import csv, requests, re

from bs4 import BeautifulSoup

urls = ['https://www.defense.gov/News/Archive/?Page={}'.format(str(i)) for i in range(1,10)]

def get_titles(urls,data = None):

html = requests.get(urls).text

soup = BeautifulSoup(html, 'html.parser')

articles = []

for article in soup.find_all(class_='info'):

Label = 'Archive'

News = article.find(class_='title').get_text()

articles.append([Label,News])

with open(r'1.csv','a', newline='') as f:

writer = csv.writer(f)

writer.writerow(['Label','News'])

for row in articles:

writer.writerow(row)

for titles in urls:

get_titles(titles)

想这样来爬取1-9页的新闻标题,但是最后运行结果是这样

bV92XK?w=638&h=464

每增加一个新闻标题都会把之前的标题重复写入csv中。

求大神指导!!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值