print('Hello, 2019年一定要当上程序员!')
import requests
from bs4 import BeautifulSoup
import time
import os
'''
爬取心得:
如果页面看到的数据没有爬取的了,就去XHR里面看看,有时候你看到的页面数据的URl和网页上面的URL不一致,就像这篇代码一样
目标url:https://news.baidu.com/internet
做了修改之后,完美呐,不会覆盖原有的本地新闻,每次打开都会自动添加新的新闻保存到本地,自动跳过旧的新闻
'''
def urls(url, headers): #爬取所有url
urlsss = []
r = requests.get(url, headers=headers).text
soup = BeautifulSoup(r,'lxml')
for i in soup.find_all('h3'): #[:-3]
urlsss.append(i.a.get('href'))
return urlsss
def url_neirong(urls,headers): #每章内容的操作
#先检查是否存在该文件夹
if os.path.exists('D:/IT/新闻/'):
pass
else:
os.mkdir('D:/IT/新闻/')
for q in urls:
try:
time.sleep(2)
r = requests.get(q, headers=headers).text
soup = BeautifulSoup(r,'lxml')
for i in soup.find('div', class_="article-title"): #每章的标题
i
使用python3爬取百度新闻的即时新闻
最新推荐文章于 2024-07-01 11:04:11 发布