python爬虫
一、理解爬虫
爬虫,即网络爬虫,大家可以理解为在网络上爬行的一直蜘蛛, 互联网就比作一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛,
如果它遇到资源,那么它就会抓取下来。
二、可以做什么
三、方法
[第一步]
爬哪里(URL):获取整个页面数据
[第二步 ]
爬什么(interesting):你对什么感兴趣
[第三步 ]
怎么爬(Method):非常强大的正则表达 式,以及许多开源库(urllib,BeautifulSoup)
四、爬取整个网站
需求:将http://www.baidu.com首页对应的文本爬取下来