Python爬取新闻网站保存标题、内容、日期、图片等数据

最新推荐文章于 2024-06-08 11:00:00 发布
最新推荐文章于 2024-06-08 11:00:00 发布
阅读量1.1w 收藏 111
点赞数 11
分类专栏： Python爬虫 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fei347795790/article/details/110234404
版权

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

基本开发环境

  • Python 3.6
  • Pycharm
import requests
import parsel
import pdfkit
import csv
import threading

相关模块pip安装即可

确定目标网页

在这里插入图片描述

获取数据

  • 标题
  • 内容 保存成PDF
  • 日期
  • 图片 保存本地
  • 详情页url、日期、图片地址等等 保存csv

在这里插入图片描述
网站是静态网页，没有什么难度
在这里插入图片描述

详情页

同样是静态页面
在这里插入图片描述
在这里插入图片描述
网页源代码已经说明数据在什么地方了，利用相关的解析工具，对网页数据进行解析即可。

代码实现

  • 请求网页以及解析
def get_html(html_url):
    response = requests.get(url=html_url, headers=headers)
    return response


def get_pars(html_data):
    selector = parsel.Selector(html_data)
    return selector
  • 保存内容 PDF格式
html_str = """
<!doctype html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Document</title>
</head>
<body>
{article}
</body>
</html>
"""
def save_article(article, title):
    html_path = '重庆新闻\\' + title + '.html'
    pdf_path = '重庆新闻pdf\\' + title + '.pdf'
    html = html_str.format(article=article)
    with open(html_path, mode='w', encoding='utf-8') as f:
        f.write(html)
        print('{}已下载完成'.format(title))
    # exe 文件存放的路径
    config = pdfkit.configuration(wkhtmltopdf='C:\\Program Files\\wkhtmltopdf\\bin\\wkhtmltopdf.exe')
    # 把 html 通过 pdfkit 变成 pdf 文件
    pdfkit.from_file(html_path, pdf_path, configuration=config)
  • 保存csv文件
f = open('新闻.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['标题', '作者', '日期', '新闻详情页'])
csv_writer.writeheader()
  • 保存图片
def save_img(img_urls):
    for i in img_urls:
        img_url = 'http://news.cqu.edu.cn' + i
        img_content = get_html(img_url).content
        img_name = img_url.split('/')[-1]
        with open('新闻图片\\' + img_name, mode='wb') as f:
            f.write(img_content)
  • 主函数
def main(url):
    html_data = get_html(url).text
    selector = get_pars(html_data)
    lis = selector.css('body > div:nth-child(4) > div > div.lists .title a::attr(href)').getall()
    for li in lis:
        content_data = get_html(li).text
        li_selector = get_pars(content_data)
        title = li_selector.css('.dtitle::text').get()  # 新闻标题
        article = li_selector.css('.acontent').get()  # 新闻内容
        name_list = li_selector.css('.dinfoa a::text').getall()  # 作者
        name = '|'.join(name_list)
        date_list = li_selector.css('.ibox span::text').getall()
        date_str = ''.join(date_list)  # 新闻日期
        img_urls = li_selector.css('.acontent p img::attr(src)').getall()   # 获取新闻内图片
        dit = {
            '标题': title,
            '作者': name,
            '日期': date_str,
            '新闻详情页': li,
        }
        csv_writer.writerow(dit)
        save_article(article, title)
        save_img(img_urls)


if __name__ == '__main__':
    for page in range(1, 11):
        url = 'https://news.cqu.edu.cn/newsv2/news-127.html?&page={}'.format(page)
        main_thread = threading.Thread(target=main, args=(url,))
        main_thread.start()

在这里插入图片描述

  • 文件PDF

在这里插入图片描述

在这里插入图片描述

  • 详情页url
    在这里插入图片描述
  • 相关图片

图片可以按照标题后缀数字123命名，这个地方可以优化
在这里插入图片描述

  • csv文件数据

在这里插入图片描述

完整代码

import requests
import parsel
import pdfkit
import csv
import threading


f = open('新闻.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['标题', '作者', '日期', '新闻详情页'])
csv_writer.writeheader()

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}

html_str = """
<!doctype html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Document</title>
</head>
<body>
{article}
</body>
</html>
"""


def get_html(html_url):
    response = requests.get(url=html_url, headers=headers)
    return response


def get_pars(html_data):
    selector = parsel.Selector(html_data)
    return selector


def save_article(article, title):
    html_path = '重庆新闻\\' + title + '.html'
    pdf_path = '重庆新闻pdf\\' + title + '.pdf'
    html = html_str.format(article=article)
    with open(html_path, mode='w', encoding='utf-8') as f:
        f.write(html)
        print('{}已下载完成'.format(title))
    # exe 文件存放的路径
    config = pdfkit.configuration(wkhtmltopdf='C:\\Program Files\\wkhtmltopdf\\bin\\wkhtmltopdf.exe')
    # 把 html 通过 pdfkit 变成 pdf 文件
    pdfkit.from_file(html_path, pdf_path, configuration=config)


def save_img(img_urls):
    for i in img_urls:
        img_url = 'http://news.cqu.edu.cn' + i
        img_content = get_html(img_url).content
        img_name = img_url.split('/')[-1]
        with open('新闻图片\\' + img_name, mode='wb') as f:
            f.write(img_content)


def main(url):
    html_data = get_html(url).text
    selector = get_pars(html_data)
    lis = selector.css('body > div:nth-child(4) > div > div.lists .title a::attr(href)').getall()
    for li in lis:
        content_data = get_html(li).text
        li_selector = get_pars(content_data)
        title = li_selector.css('.dtitle::text').get()  # 新闻标题
        article = li_selector.css('.acontent').get()  # 新闻内容
        name_list = li_selector.css('.dinfoa a::text').getall()  # 作者
        name = '|'.join(name_list)
        date_list = li_selector.css('.ibox span::text').getall()
        date_str = ''.join(date_list)  # 新闻日期
        img_urls = li_selector.css('.acontent p img::attr(src)').getall()   # 获取新闻内图片
        dit = {
            '标题': title,
            '作者': name,
            '日期': date_str,
            '新闻详情页': li,
        }
        csv_writer.writerow(dit)
        save_article(article, title)
        save_img(img_urls)


if __name__ == '__main__':
    for page in range(1, 11):
        url = 'https://news.cqu.edu.cn/newsv2/news-127.html?&page={}'.format(page)
        main_thread = threading.Thread(target=main, args=(url,))
        main_thread.start()
嗨学编程
关注
  • 11
    点赞
  • 踩
  • 111
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
使用Python的Requests和BeautifulSoup库来爬取新闻网站的新闻标题、发布时间、内容等信息，并将数据存储到数据库中
2301_76395002的博客
04-11 2434
BeautifulSoup是Python的一个HTML/XML解析库，用于从HTML或XML文件中提取数据。结合Python的requests库，可以实现网页爬取和数据提取。
python实例57-Python爬虫爬取会计师协会网站的指定文章.rar
02-20
python实例57_Python爬虫爬取会计师协会网站的指定文章.rar
python爬取某新闻网页的标题、关键字和时间
最新发布
weixin_69143858的博客
06-08 406
【代码】python爬取某新闻网页的标题、关键字和时间。
python-代码实战-爬取新闻标题
weixin_44494624的博客
02-23 5022
python-代码实战-爬取新闻标题及主要内容等
python爬虫爬取网页新闻标题-看完保证你会
热门推荐
Hexuefu_Bayonet的博客
11-13 1万+
python爬虫爬取网页新闻标题方法 1.首先使用浏览自带的工具——检查，查找网页新闻标题对应的元素位置，这里查到的新闻标题是在 h3 标签中 2.然后使用编辑器编写python代码 2.1方法一： import requests from bs4 import BeautifulSoup url = 'http://www.xxx.com/' r = requests.get(url) r.encoding = 'utf-8' soup = BeautifulSoup(r.text,'html.pa
Python爬虫实战——爬取新闻数据（简单的深度爬虫）
weixin_54243306的博客
03-02 9269
新闻数据爬取
Python爬虫 爬取标题及内容
m0_60964321的博客
09-21 8244
这次爬取过程和上篇文章中爬取必应图片大同小异常，唯一区别在于对需要登陆页面的处理，加个cookie就好啦，最后有不懂的地方欢迎评论私信哦。
利用AJAX查询新闻,Javascript ajax调用新闻内容并显示
weixin_36251174的博客
08-06 488
html如下，我们这个页面让dedecms调用数据新闻标签代码如下复制代码dedecms模板标签是否样{dede:arclist typeid='3' row='6' orderby='id'}javascript:;" onClick="getnewscontent([field:id /])">[field:title /]{/dede:arclist}生成html后页面如下在上面两句我...
用python爬取网页并导出为word文档.docx
05-06
本篇内容将介绍如何利用Python爬虫抓取网页内容，并将其存储到MongoDB数据库中，形成可管理的文档型数据。 首先，Python中的`requests`库是用于发送HTTP请求的工具，它能够帮助我们获取网页的HTML源码。例如，在...
Python基于pandas爬取网页表格数据
09-16
在Python编程中，爬取网页数据是一项常见的任务，特别是对于数据分析师和数据科学家而言。`pandas`库作为处理数据的强大工具，不仅擅长数据清洗、分析，还内置了爬取网页表格数据的功能，大大简化了网页抓取的过程。...
基于Python爬取携程网与南京相关的游记数据.zip
09-08
在本项目中，“基于Python爬取携程网与南京相关的游记数据.zip”是一个包含使用Python编程语言抓取携程网上关于南京旅游的游记信息的压缩文件。这个项目旨在展示如何利用网络爬虫技术来获取特定网站上的结构化数据，...
0514基于Python爬取Boss直聘数据.zip
05-14
【标题】"0514基于Python爬取Boss直聘数据.zip" 提供了一个学习案例，涉及使用Python编程语言来抓取Boss直聘网站上的招聘信息。这个压缩包可能包含了一系列的代码文件，用于演示如何利用Python进行网络爬虫的开发。 ...
Python爬取新闻网数据
人生苦短， 还不用Python？
11-24 4397
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资料以及群交流解答点击即可加入 基本开发环境 Python 3.6 Pycharm import parsel import requests import re 目标网页分析 今天就爬取新闻网中的国际新闻栏目 点击显示更多新闻内容 可以看到相关的数据接口，里面有新闻标题以及新闻详情的url地址 如何
python爬新闻并保存csv_python爬虫数据数据存储csv
weixin_39779032的博客
11-26 652
Python爬虫的数据存储模式有很多中，有json，mongodb，mysaql,csv，我本人了解这几个比较常用的。我们从最容易了解的csv开始。CSV（comma-separated values，逗号分隔值）是存储表格数据的常用文件格式。Microsoft Excel 和很多应用都支持 CSV 格式，因为它很简洁。下面就是一个 CSV 文件的例子：fruit,costapple,1.00ba...
金融大数据Python爬虫——(按时间爬取、一次性批量爬取多页、一次性批量爬取多家公司多页)爬取百度新闻标题、网址、日期和新闻来源(数据爬取、清洗)
Xmumu_的博客
01-01 2822
好几个月没写博文了，有空来玩玩爬虫，之前接触了一个爬虫的项目，感触挺深的，当时有个爬取巨潮网的操作，网上的代码天花乱坠，最后还是要靠自己，今天这篇算是入门级别，欢迎收藏评论。🐳🐳🐳🐳🐳
用python获取新闻
weixin_62999028的博客
05-06 200
nt=datetime.strptime(soup.select('span.date')[0].text.strip(),'%Y年%m月%d日 %H:%M')'新闻正文:' + news_dict['article'] + '\r\n')res=('标题：' + news_dict['title'] + '\r\n' +print('------目录爬取完毕-------')print('------链接获取结束------')print('------抓取结束------')print('保存出错')
python爬虫新闻爬取
weixin_62786924的博客
05-06 1157
res=('标题'+new_dict['title']+'\r\n'+"时间"+new_dict['time']+'\r\n'+'作者'+new_dict['author']+'\r\n'+"来源"+new_dict['source']+'\r\n'+print("本页共有{0}条新闻连接{1}".format(len(url_list),url_list))print("--------抓取并保存结束----------")print("-------连接获取结束--------")
Python学习笔记（1）——提取百度新闻标题、网址、日期和来源
Ama_tor的博客
01-27 2560
1、获取网页源代码 import requests #引用requests库 headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36'}#模拟浏览器访问强求，在谷歌浏览器输入about:version即可获取 url='https://www.baidu.com/s?rtt=1&
python爬取水利部
09-01
Python爬取水利部的过程可以通过以下步骤实现： 1. 引用requests、re、BeautifulSoup和pandas等库。 2. 设定要爬取的网址和用户代理。 3. 使用requests库发送HTTP请求获取网页内容，并将编码设置为UTF-8。 4. 使用BeautifulSoup库解析网页内容，根据特定的标签和属性提取目标数据。 5. 根据需要的数据结构，将提取到的数据存储在DataFrame中。 6. 将DataFrame中的数据保存到CSV文件中。 具体代码如下所示： ```python import requests import re from bs4 import BeautifulSoup from pandas import DataFrame url = 'http://www.gov.cn/zhengce/zuixin.htm' UA = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36' headers = {'User_Agent': UA} # 发送HTTP请求获取网页内容 r = requests.get(url, headers=headers) r.encoding = 'utf-8' # 使用BeautifulSoup解析网页内容 soup = BeautifulSoup(r.text, 'lxml') # 提取标题和链接 links = soup.find_all(href=re.compile('content')) titles = [str(link.string) for link in links] urls = [str(link.get('href')) for link in links] # 提取日期 attrs = {'class': 'date'} dates = soup.find_all(name='span', attrs=attrs) pattern = re.compile('(\d{4})-(\d{2})-(\d{2})') days = [re.search(pattern, date.string).group() for date in dates] # 存储数据到DataFrame data = {'date': days, 'title': titles, 'url': urls} frame = DataFrame(data) # 将数据保存到CSV文件 frame.to_csv('test.csv', index=False) ``` 这段代码使用requests库发送HTTP请求获取水利部网页的内容，然后使用BeautifulSoup库解析网页内容，提取出标题、链接和日期等关键信息。最后，将提取到的数据存储在一个DataFrame中，并将DataFrame中的数据保存为CSV文件。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [python 写hello world 之深入爬虫爬取水文信息（四）](https://blog.csdn.net/chen249191508/article/details/100562817)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [小小学习成果：Python爬虫爬取国务院最新政策](https://blog.csdn.net/INTEGRATOR_37/article/details/113386649)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值