什么是爬虫
爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛,互联网就比
作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛咯,如果它遇到资源(文字,
图片、视频),那么它就会抓取下来
爬虫的步骤
(1)哪里爬:网络资源,URL;整个网页上所有数据
(2)爬什么:我们需要的。
(2)怎么爬:非常强大的正则表达式,以及许多开源库(urllib
库,BeautifulSoup(BS))
URL的一些常识
file:///Users/songchunmin/Desktop/q.jpg
https=http+ssl
https://www.baidu.com/
文本:用电脑记事本可以打开文件
超文本:文本,视频,音频,HTML,css文件。。。
超文本传输协议
协议://域名/路径-》URL(URI)地址