python入门011～python3爬虫 爬取图片，爬取新闻网站文章并保存到数据库

已于 2024-05-02 17:44:19 修改
阅读量414 收藏 9
点赞数 3
分类专栏： 程序员 文章标签： python 爬虫 数据库
于 2024-05-02 17:44:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84584628/article/details/138396041
版权
  • 安装成功后就会出现在在安装列表中，到此就说明我们安装网络爬虫扩展库成功

在这里插入图片描述

二，由浅入深，我们先抓取网页

我们这里以抓取简书首页为例：http://www.jianshu.com/


# 简单的网络爬虫

from urllib import request

import chardet



response = request.urlopen("http://www.jianshu.com/")

html = response.read()

charset = chardet.detect(html)# {'language': '', 'encoding': 'utf-8', 'confidence': 0.99}

html = html.decode(str(charset["encoding"]))  # 解码

print(html)

由于抓取的html文档比较长，这里简单贴出来一部分给大家看下


<!DOCTYPE html>

<!--[if IE 6]><html class="ie lt-ie8"><![endif]-->

<!--[if IE 7]><html class="ie lt-ie8"><![endif]-->

<!--[if IE 8]><html class="ie ie8"><![endif]-->

<!--[if IE 9]><html class="ie ie9"><![endif]-->

<!--[if !IE]><!--> <html> <!--<![endif]-->



<head>

  <meta charset="utf-8">

  <meta http-equiv="X-UA-Compatible" content="IE=Edge">

  <meta name="viewport" content="width=device-width, initial-scale=1.0,user-scalable=no">



  <!-- Start of Baidu Transcode -->

  <meta http-equiv="Cache-Control" content="no-siteapp" />

  <meta http-equiv="Cache-Control" content="no-transform" />

  <meta name="applicable-device" content="pc,mobile">

  <meta name="MobileOptimized" content="width"/>

  <
最低0.47元/天 解锁文章
2401_84584628
关注
  • 3
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python与网络爬虫案例：新闻抓取
吃不胖.
08-08 749
Requests库：一个非常流行的Python HTTP库，可以用来发送HTTP请求，获取响应内容。可以发送GET、POST、PUT、DELETE等HTTP请求，并且可以携带不同类型的Content。Selenium库：一个Python自动化浏览器控制库，可以用来模拟人类用户在网页上的操作。可以很方便地从网页中提取出需要的数据，例如标题、正文、图片等。Python是一种高级编程语言，因其优雅的语法和丰富的库而备受青睐。Scrapy库：一个Python爬虫框架，可以自动化地从网站中抓取数据。
python爬虫爬取腾讯新闻，一眼就能看懂的Python自学手册
2301_76223624的博客
04-01 687
如果你也是看准了Python，想自学Python，在这里为大家准备了丰厚的免费。
【计算机网络基础——系列13】python操作数据库储存图片，取出图片放到前端页面展示
让程序飞会的博客
06-27 1922
系列文章目录 【计算机网络基础——系列1】-matlab与python使用socket udp进行进程间通信 【计算机网络基础——系列2】-matlab与python使用socket tcp进行进程间通信 【计算机网络基础——系列3】输入url后页面会遇到的问题 【计算机网络基础——系列4】关于HTTP请求的相关内容 【计算机网络基础——系列5】前端遇到的三种网络攻击 【计算机网络基础——系列6】浏览器缓存之cookie、session、localstorage 【计算机网络基础——系列7】浏览器缓存之—h
python抓取网站数据并图形化显示（一）
weixin_43160566的博客
02-18 968
这里主要介绍通过python抓取网站数据并图形化显示先来看下最终效果首页趋势图地图显示。
python爬虫---网页爬虫，图片爬虫，文章爬虫，Python爬虫爬取新闻网站新闻！
2301_78217634的博客
01-17 1601
免费。
Python3实现的爬虫爬取数据并存入mysql数据库操作示例
12-23
本文实例讲述了Python3实现的爬虫爬取数据并存入mysql数据库操作。分享给大家供大家参考，具体如下： 爬一个电脑客户端的订单。罗总推荐，抓包工具用的是HttpAnalyzerStdV7，与chrome自带的F12类似。客户端有接单...
Python爬虫进阶之多线程爬取数据并保存到数据库
12-21
今天刚看完崔大佬的《python3网络爬虫开发实战》，顿时觉得自己有行了，准备用appium登录QQ爬取列表中好友信息，接踵而来的是一步一步的坑，前期配置无数出错，安装之后连接也是好多错误，把这些错误解决之后，找APP...
Python爬虫~已爬取目标网站所有文章，后续如何只获取新文章
01-27
Python爬虫~已爬取目标网站所有文章，后续如何只获取新文章
Python3爬虫学习之MySQL数据库存储爬取的信息详解
09-09
在Python3爬虫开发中，存储爬取到的数据是一项重要的任务。本篇内容主要讲解如何将Python爬虫获取的信息存储到MySQL数据库中，以便于后续的分析和利用。在数据量较大时，直接将数据保存在文本文件中并不利于管理和...
爬虫框架Scrapy之案例二
weixin_30532973的博客
03-06 256
新浪网分类资讯爬虫 爬取新浪网导航页所有下所有大类、小类、小类里的子链接，以及子链接页面的新闻内容。 效果演示图： items.py import scrapy import sys reload(sys) sys.setdefaultencoding("utf-8") class SinaItem(scrapy.Item): # 大类的标题 和...
利用python爬取新闻并获取新闻内容
m0_64609927的博客
04-09 5737
1.获取URL的网页内容2.利用正则表达式筛选需要的数据3.将数据保存到excel表中
使用python将新闻爬取保存进sqlite数据库并读取输出屏幕
zpeien
04-21 7698
将新闻爬取下来保存在sqlite中 直接看代码吧！ import sqlite3 import urllib.request import re,os,sys,time import base64 import requests import time import matplotlib.pyplot as plt import matplotlib.image as mping def def...
Python爬虫(selenium)从网站获取信息并存入数据库(mysql)
最新发布
2301_77016331的博客
04-22 3204
为了更直观的查看数据库里面各种信息，建议安装这个软件，连接也很简单，点新建连接，就会弹出如下页面，连接名随意，其他都不用改，密码就是你安装mysql时设置的密码，我的就是123456，之后的连接数据库等的password也都是这个。然后，如果没有数据库需要先创建一个数据库，具体方法有很多，可以直接用navicat premium，直接右键连接，再点新建数据库，便创建好了，也可以用代码连接并创建数据库。爬取一个网站的前提是了解这个网站的内容，以及网页布局，最后确定自己需要爬取的内容等。
【酷酷的知识】仅用30行Python代码就能获取实时新闻数据？
z099164的博客
12-29 1122
在本文中，我们将使用Python中的Requests和BeautifulSoup库，以及Pandas库来构建一个简单的网络爬虫，用于从珠海市生态环境局网站获取新闻数据。我们将探讨如何通过浏览器开发者工具观察网页、分析网页结构，以及使用爬虫技术从中提取有用的信息。
python爬虫系列（1）——一个简单的爬虫实例
a315612852的博客
10-31 327
本文主要实现一个简单的爬虫，目的是从一个百度贴吧页面下载图片。 1. 概述 本文主要实现一个简单的爬虫，目的是从一个百度贴吧页面下载图片。下载图片的步骤如下： 获取网页html文本内容；分析html中图片的html标签特征，用正则解析出所有的图片url链接列表；根据图片的url链接列表将图片下载到本地文件夹中。 2. urllib+re实现 #!/usr/bin/pytho...
python爬取新闻数据
qq_57344778的博客
03-22 5473
爬虫数据网址：新闻中心滚动新闻_新浪网 最近想获取一些新闻数据来做一个NLP的分类模型所以爬取了新浪的一些新闻数据用于学习使用。 首先先查看网页源码： 发现url中id和类别中的s_id相等，经过尝试替换，发现该编号确实是类别所在标签。 有发现page这个参数和页数相同，其中num=50,和pageid=153这两个参数没有太大的影响，所以就可以通过修改这两个参数的值来获得不同标签下的url了。 然后通过这个url 放入谷歌浏览器中去抓取数据所在的json： 可以发现每个数据文件..
Python爬取网站数据并存入数据库（简单易懂）
热门推荐
m0_51044151的博客
03-23 1万+
hello 大家好，最近写代码，需要用到爬虫去爬取数据，废话不多说，进入主题 既然要存入数据库，那必然需要进行数据库连接，通过Python里面的pymysql驱动去链接我们的mysql数据库，然后建立数据库游标，用户可以用SQL语句逐一从游标中获取记录，并赋给主变量，交由主语言进一步处理。 import pymysql conn = pymysql.connect(host='127.0.0.1', user='root', password='数据库密码', port=3306, database='bo
利用爬虫爬取网站图片并保存&Python
06-11
好的，这是一个非常常见的 Python 爬虫任务。我可以为您提供一些基本的思路和代码示例来实现这个功能。 首先，您需要使用 Python 的 requests 库来获取网页内容，以及使用 BeautifulSoup 库来解析 HTML 页面。您还需要使用 Python 的 os 和 urllib 库来创建目录和保存图片。 以下是一个基本的示例代码，可以爬取指定网页中的所有图片，并将它们保存在本地文件夹中： ```python import requests from bs4 import BeautifulSoup import os import urllib # 定义要爬取的网页 URL 和本地保存路径 url = 'http://example.com' save_folder = 'images' # 创建本地保存路径 if not os.path.exists(save_folder): os.makedirs(save_folder) # 发送请求并解析 HTML 页面 response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') # 查找所有 img 标签并下载图片 for img in soup.find_all('img'): img_url = img.get('src') if img_url.startswith('http'): img_name = img_url.split('/')[-1] img_path = os.path.join(save_folder, img_name) urllib.request.urlretrieve(img_url, img_path) ``` 这段代码首先定义了要爬取的网页 URL 和本地保存路径，然后创建了本地保存路径。接下来，使用 requests 库发送请求并使用 BeautifulSoup 库解析 HTML 页面。然后，查找所有 img 标签并下载图片，将其保存在本地指定路径中。 需要注意的是，这个示例代码只能下载图片，如果您需要下载其他类型的文件，可能需要使用不同的方式来处理文件名和文件类型。同时，注意网站的版权问题，不要下载未经授权的文件。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值