Python爬取新闻网站保存标题、内容、日期、图片等数据,附赠复习资料

先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7

深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年最新Python全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
img
img



既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上Python知识点,真正体系化!

由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新

如果你需要这些资料,可以添加V获取:vip1024c (备注Python)
img

正文

def get_pars(html_data):

selector = parsel.Selector(html_data)

return selector

  • 保存内容 PDF格式

html_str = “”"

<!doctype html>

Document

{article}

“”"

def save_article(article, title):

html_path = ‘重庆新闻\’ + title + ‘.html’

pdf_path = ‘重庆新闻pdf\’ + title + ‘.pdf’

html = html_str.format(article=article)

with open(html_path, mode=‘w’, encoding=‘utf-8’) as f:

f.write(html)

print(‘{}已下载完成’.format(title))

exe 文件存放的路径

config = pdfkit.configuration(wkhtmltopdf=‘C:\Program Files\wkhtmltopdf\bin\wkhtmltopdf.exe’)

把 html 通过 pdfkit 变成 pdf 文件

pdfkit.from_file(html_path, pdf_path, configuration=config)

  • 保存csv文件

f = open(‘新闻.csv’, mode=‘a’, encoding=‘utf-8-sig’, newline=‘’)

csv_writer = csv.DictWriter(f, fieldnames=[‘标题’, ‘作者’, ‘日期’, ‘新闻详情页’])

csv_writer.writeheader()

  • 保存图片

def save_img(img_urls):

for i in img_urls:

img_url = ‘http://news.cqu.edu.cn’ + i

img_content = get_html(img_url).content

img_name = img_url.split(‘/’)[-1]

with open(‘新闻图片\’ + img_name, mode=‘wb’) as f:

f.write(img_content)

  • 主函数

def main(url):

html_data = get_html(url).text

selector = get_pars(html_data)

lis = selector.css(‘body > div:nth-child(4) > div > div.lists .title a::attr(href)’).getall()

for li in lis:

content_data = get_html(li).text

li_selector = get_pars(content_data)

title = li_selector.css(‘.dtitle::text’).get() # 新闻标题

article = li_selector.css(‘.acontent’).get() # 新闻内容

name_list = li_selector.css(‘.dinfoa a::text’).getall() # 作者

name = ‘|’.join(name_list)

date_list = li_selector.css(‘.ibox span::text’).getall()

date_str = ‘’.join(date_list) # 新闻日期

img_urls = li_selector.css(‘.acontent p img::attr(src)’).getall() # 获取新闻内图片

dit = {

‘标题’: title,

‘作者’: name,

‘日期’: date_str,

‘新闻详情页’: li,

}

csv_writer.writerow(dit)

save_article(article, title)

save_img(img_urls)

if name == ‘main’:

for page in range(1, 11):

url = ‘https://news.cqu.edu.cn/newsv2/news-127.html?&page={}’.format(page)

main_thread = threading.Thread(target=main, args=(url,))

main_thread.start()

在这里插入图片描述

  • 文件PDF

在这里插入图片描述

在这里插入图片描述

  • 详情页url

在这里插入图片描述

  • 相关图片

图片可以按照标题后缀数字123命名,这个地方可以优化

在这里插入图片描述

  • csv文件数据

在这里插入图片描述

完整代码


import requests

import parsel

import pdfkit

import csv

import threading

f = open(‘新闻.csv’, mode=‘a’, encoding=‘utf-8-sig’, newline=‘’)

csv_writer = csv.DictWriter(f, fieldnames=[‘标题’, ‘作者’, ‘日期’, ‘新闻详情页’])

csv_writer.writeheader()

headers = {

‘user-agent’: ‘Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36’

}

html_str = “”"

<!doctype html>

Document

{article}

“”"

def get_html(html_url):

response = requests.get(url=html_url, headers=headers)

return response

def get_pars(html_data):

selector = parsel.Selector(html_data)

return selector

def save_article(article, title):

html_path = ‘重庆新闻\’ + title + ‘.html’

pdf_path = ‘重庆新闻pdf\’ + title + ‘.pdf’

html = html_str.format(article=article)

with open(html_path, mode=‘w’, encoding=‘utf-8’) as f:

f.write(html)

现在能在网上找到很多很多的学习资源,有免费的也有收费的,当我拿到1套比较全的学习资源之前,我并没着急去看第1节,我而是去审视这套资源是否值得学习,有时候也会去问一些学长的意见,如果可以之后,我会对这套学习资源做1个学习计划,我的学习计划主要包括规划图和学习进度表。

分享给大家这份我薅到的免费视频资料,质量还不错,大家可以跟着学习

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化的资料的朋友,可以添加V获取:vip1024c (备注python)
img

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
跟着学习

网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。

需要这份系统化的资料的朋友,可以添加V获取:vip1024c (备注python)
[外链图片转存中…(img-ycN60Uz0-1713175614919)]

一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!

如果您下载了本程序,但是该程序无法运行,或者您不会部署,那么您可以选择退款或者寻求我们的帮助(如果找我们帮助的话,是需要追加额外费用的) 爬虫(Web Crawler)是一种自动化程序,用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储,以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤: URL收集: 爬虫从一个或多个初始URL开始,递归或迭代地发现新的URL,构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页: 爬虫使用HTTP或其他协议向目标URL发起请求,获取网页的HTML内容。这通常通过HTTP请求库实现,如Python中的Requests库。 解析内容: 爬虫对获取的HTML进行解析,提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据,如文本、图片、链接等。 数据存储: 爬虫将提取的数据存储到数据库、文件或其他存储介质中,以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则: 为避免对网站造成过大负担或触发反爬虫机制,爬虫需要遵守网站的robots.txt协议,限制访问频率和深度,并模拟人类访问行为,如设置User-Agent。 反爬虫应对: 由于爬虫的存在,一些网站采取了反爬虫措施,如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用,包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而,使用爬虫需要遵守法律和伦理规范,尊重网站的使用政策,并确保对被访问网站的服务器负责。
要使用Python实现从新闻网站下载100条新闻数据并输出特定信息(标题内容、时间、作者),你可以按照以下步骤进行: 1. **请求单个网页** 使用`requests`库可以方便地向服务器发送HTTP请求,并获取网页内容。 ```python import requests def get_page(url): try: response = requests.get(url) response.raise_for_status() # 检查请求是否成功 return response.text except requests.HTTPError as http_err: print(f'HTTP error occurred: {http_err}') except Exception as err: print(f'An error occurred: {err}') # 示例:获取单个网页 html_content = get_page('http://example.com/news') ``` 2. **对单个页面进行数据提取** 可以使用`BeautifulSoup`库来解析HTML内容,并提取所需数据。 ```python from bs4 import BeautifulSoup def parse_news(html): soup = BeautifulSoup(html, 'html.parser') # 假设新闻标题内容、时间、作者的标签和类名已知 news_list = [] for item in soup.select('.news-item'): # 假设新闻项有一个名为'news-item'的类 title = item.select_one('.title').text # 假设标题标签是'.title' content = item.select_one('.content').text # 假设内容标签是'.content' time = item.select_one('.time').text # 假设时间标签是'.time' author = item.select_one('.author').text # 假设作者标签是'.author' news_list.append({ 'title': title, 'content': content, 'time': time, 'author': author }) return news_list # 示例:解析新闻数据 news_data = parse_news(html_content) ``` 3. **找到新闻链接页,并请求新闻列表** 在提取单个新闻页面的数据后,需要找到新闻链接页,这通常是一个包含多个新闻列表项的页面。然后重复步骤1和2,直到获取到100条新闻数据为止。 ```python # 假设我们已经有一个新闻链接页的URL news_list_url = 'http://example.com/news_list' # 使用相同的方法获取新闻列表页面的HTML内容 news_list_html = get_page(news_list_url) # 假设新闻列表项在一个名为'news-list'的类中,每个新闻项的链接在一个名为'news-link'的类中 news_links = [link['href'] for link in BeautifulSoup(news_list_html, 'html.parser').select('.news-list .news-link')] # 将获取到的新闻链接存储到列表中 ``` 完成上述步骤后,你将得到一个包含新闻标题内容、时间和作者的列表。需要注意的是,不同的新闻网站的HTML结构会有所不同,因此上述代码需要根据实际的HTML结构进行适当的调整。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值