python入门之爬虫篇爬取图片，文章，网页

最新推荐文章于 2024-04-27 16:08:02 发布

码上得编程

最新推荐文章于 2024-04-27 16:08:02 发布

阅读量1.9k

点赞数 2

分类专栏： python3 python入门 python爬虫

本文链接：https://blog.csdn.net/weixin_42636275/article/details/104814139

版权

一，首先看看Python是如何简单的爬取网页的
1，准备工作
项目用的BeautifulSoup4和chardet模块属于三方扩展包，如果没有请自行pip安装，我是用pycharm来做的安装，下面简单讲下用pycharm安装chardet和BeautifulSoup4

在pycharm的设置里按照下图的步骤操作
在这里插入图片描述
如下图搜索你要的扩展类库，如我们这里需要安装chardet直接搜索就行，然后点击install package, BeautifulSoup4做一样的操作就行

安装成功后就会出现在在安装列表中，到此就说明我们安装网络爬虫扩展库成功
在这里插入图片描述
二，由浅入深，我们先抓取网页
我们这里以抓取简书首页为例：http://www.jianshu.com/

由于抓取的html文档比较长，这里简单贴出来一部分给大家看下

1.<!DOCTYPE html>
2.<!--[if IE 6]><html class="ie lt-ie8"><![endif]-->
3.<!--[if IE 7]><html class="ie lt-ie8"><![endif]-->
4.<!--[if IE 8]><html class="ie ie8"><![endif]-->
5.<!--[if IE 9]><html class="ie ie9"><![endif]-->
6.<!--[if !IE]><!--> <html> <!--<![endif]-->
7.
8.<head>
9. <meta charset="utf-8">
10. 10.<meta http-equiv="X-UA-Compatible" content="IE=Edge">
11.<meta name="viewport" content="width=device-width, initial-scale=1.0,user
      scalable=no">
12.
13.<!-- Start of Baidu Transcode -->
14.<meta http-equiv="Cache-Control" content="no-siteapp" />
15.<meta http-equiv="Cache-Control" content="no-transform" />
11. <meta name="applicable-device" content="pc,mobile">
17.<meta name="MobileOptimized" content="width"/>
18.<meta name="HandheldFriendly" content="true"/>
19.<meta name="mobile-agent" content="format=html5;url=http://localhost/">
20.<!-- End of Baidu Transcode -->
21.
12.    <meta name="description"  content="简书是一个优质的创作社区，在这里，你可以任性地创作，一篇短文、一张照片、一首诗、一幅画……我们相信，每个人都是生活中的艺术家，有着无穷的创造力。">
23.<meta name="keywords"  content="简书,简书官网,图文编辑软件,简书下载,图文创作,创作软件,原创社区,小说,散文,写作,阅读">
24...........后面省略一大堆

这就是Python3的爬虫简单入门，是不是很简单，建议大家多敲几遍

三，Python3爬取网页里的图片并把图片保存到本地文件夹
目标

爬取百度贴吧里的图片
把图片保存到本地，都是妹子图片奥
不多说，直接上代码,代码里的注释很详细。大家仔细阅读注释就可以理解了
在这里插入图片描述
迫不及待的看下都爬取到了些什么美图

在这里插入图片描述
就这么轻易的爬取到了24个妹子的图片。是不是很简单。

四，Python3爬取新闻网站新闻列表

这里我们只爬取新闻标题，新闻url，新闻图片链接。
爬取到的数据目前只做展示，等我学完Python操作数据库以后会把爬取到的数据保存到数据库。
到这里稍微复杂点，就分布给大家讲解

1 这里我们需要先爬取到html网页上面第一步有讲怎么抓取网页
2分析我们要抓取的html标签

在这里插入图片描述
分析上图我们要抓取的信息再div中的a标签和img标签里，所以我们要想的就是怎么获取到这些信息

这里就要用到我们导入的BeautifulSoup4库了，这里的关键代码
在这里插入图片描述
上面代码获取到的allList就是我们要获取的新闻列表，抓取到的如下

1.[<div class="hot-article-img">
2.<a href="/article/211390.html" target="_blank">
3.![](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWcuaHV4aXVjZG4uY29tL2FydGljbGUvY292ZXIvMjAxNzA4LzIyLzE3MzUzNTg2MjgyMS5qcGc?x-oss-process=image/format,png)
4.</a>
5.</div>, <div class="hot-article-img">
6.<a href="/article/214982.html" target="_blank" title="TFBOYS成员各自飞，商业价值天花板已现？">
7.<!--视频和图片保留一个-->
8.![](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWcuaHV4aXVjZG4uY29tL2FydGljbGUvY292ZXIvMjAxNzA5LzE3LzA5NDg1NjM3ODQyMC5qcGc?x-oss-process=image/format,png)
9.</a>
10.</div>, <div class="hot-article-img">
11.<a href="/article/213703.html" target="_blank" title="买手店江湖">
12.<!--视频和图片保留一个-->
13.![](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWcuaHV4aXVjZG4uY29tL2FydGljbGUvY292ZXIv

最低0.47元/天解锁文章

码上得编程

关注

2
点赞
踩
16

收藏

觉得还不错? 一键收藏
1
评论
python入门之爬虫篇爬取图片，文章，网页

一，首先看看Python是如何简单的爬取网页的1，准备工作项目用的BeautifulSoup4和chardet模块属于三方扩展包，如果没有请自行pip安装，我是用pycharm来做的安装，下面简单讲下用pycharm安装chardet和BeautifulSoup4在pycharm的设置里按照下图的步骤操作如下图搜索你要的扩展类库，如我们这里需要安装chardet直接搜索就行，然后点击in...
复制链接

扫一扫