这里我们主要介绍的 一种简便的,实用的,逻辑清晰,代码量少的
import requests #请求网页
from bs4 import BeautifulSoup #分析html的结构
我们主要利用到2个库:requests,bs4
库的用法,读者请自行百度。
tips:bs4库非内置库,需要另行安装:pip3 install beautifulsoup4
然后,我们再对目标进行写入:
with open('picfile','wb') as f:#这里的picfile为存放文件
f.write(pic) #这里pic为请求到的图片对象
ok,这样爬取到的pic就存到了picfile文件里了,这里介绍的为单目标存放,实际中都是多目标文件的,所以,接下来,我们将用到for循环进行处理:
(请读者自行思考,如何加for循环)
爬虫代码如下:
import requests
pic = requests.get('网址')#改成需要爬取的网址
with open('picfile','wb') as f:
f.write(pic.content)#前面有个缩进
#注:爬取成功后改一下文件名
这是最简单的入门例子,实际中,是多个内容一起爬取,下一步就是增加bs4库针对网站进行过滤,然后再加for循环进行批量存储,请读者进行思考这里是代码,运行过程
爬的是我个人博客,没有侵权
爬取的文件,改成了rtf文档,用wps打开
网页与文件比较,除了格式,其他还好。