Python爬取新闻网站保存标题、内容、日期、图片等数据

最新推荐文章于 2024-03-23 21:05:09 发布

VIP文章酸菜鱼编程

最新推荐文章于 2024-03-23 21:05:09 发布

阅读量2.9k

点赞数 5

文章标签： python

本文链接：https://blog.csdn.net/pythonxuexi123/article/details/112466649

版权

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

基本开发环境

Python 3.6
Pycharm

import requests
import parsel
import pdfkit
import csv
import threading

确定目标网页

获取数据

标题
内容保存成PDF
日期
图片保存本地
详情页url、日期、图片地址等等保存csv

网站是静态网页，没有什么难度

详情页

同样是静态页面

网页源代码已经说明数据在什么地方了，利用相关的解析工具，对网页数据进行解析即可。

代码实现

请求网页以及解析

def get_html(html_url):
    response = requests.get(url=html_url, headers=headers)
    return response

def get_pars(html_data):
    selector = parsel.Selector(html_data)
    return selector

保存内容 PDF格式

html_str = """
<!doctype html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Document</title>
</head>
<body>
{article}
</body>
</html>
"""
def save_article(article, title):
    html_path =

最低0.47元/天解锁文章

酸菜鱼编程

关注

5
点赞
踩
43

收藏

觉得还不错? 一键收藏
1
评论
Python爬取新闻网站保存标题、内容、日期、图片等数据

前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。基本开发环境Python 3.6 Pycharmimport requestsimport parselimport pdfkitimport csvimport threading相关模块pip安装即可确定目标网页获取数据标题内容保存成PDF 日期图片保存本地详情页url、日期、图片地址等等保存csv网站是静态网页，没有什么难度
复制链接

扫一扫