以前听到别人提起爬虫总觉得很高大尚,技术高深,其实学会了之后,发现爬虫并没有想象中的那么难。
注意,在大家阅读之前,首先重点声明,触及法律的事情千万不要做,不要利用爬虫爬取一些禁止爬取的内容,不要在灰色地带打擦边球。
下面来介绍一下,这次接触到的爬虫的简单知识,用到了接口get的方法、和正则表达式
用get方法获取网页内容。
正则表达式,处理提取网页的内容。
全部过程是这样的,用get获取到文本信息,然后通过正则表达式、字符串处理的方法将字符串处理后,最终写入文件中。
需要导包如下:
import requests #导入接口请求包
import re #导入正则表达式的包