python爬取网页隐藏内容_【Python】4行代码，爬取整个网页，最精简的爬虫，没有之一。...

这里我们主要介绍的 一种简便的，实用的，逻辑清晰，代码量少的

import requests #请求网页

from bs4 import BeautifulSoup #分析html的结构

我们主要利用到2个库：requests，bs4

库的用法，读者请自行百度。

tips：bs4库非内置库，需要另行安装：pip3 install beautifulsoup4

然后，我们再对目标进行写入：

with open('picfile','wb') as f:#这里的picfile为存放文件

f.write(pic) #这里pic为请求到的图片对象

ok，这样爬取到的pic就存到了picfile文件里了，这里介绍的为单目标存放，实际中都是多目标文件的，所以，接下来，我们将用到for循环进行处理：

(请读者自行思考，如何加for循环)

爬虫代码如下：

import requests

pic = requests.get('网址')#改成需要爬取的网址

with open('picfile','wb') as f:

f.write(pic.content)#前面有个缩进

#注:爬取成功后改一下文件名

这是最简单的入门例子，实际中，是多个内容一起爬取，下一步就是增加bs4库针对网站进行过滤，然后再加for循环进行批量存储，请读者进行思考这里是代码，运行过程

爬的是我个人博客，没有侵权

爬取的文件，改成了rtf文档，用wps打开

网页与文件比较，除了格式，其他还好。