yqhzh的专栏

Chapter 1. 你的第一个网络爬虫 本章主要是关于不用浏览器获取数据。从一个最基本的向服务器发送Get请求一个页面开始，读取页面的HTML输出，简单的数据抽取来分离出我们想找寻的数据。本章及下一章则是连续的讲解不使用浏览器格式化和解析数据。我们来看一个例子： Alice有个web服务器，Bob用台式机去链接Alice的服务器。整个交换过程大概是这样的: 1. Bob

爬虫,Web Scraper, Scraping

Chapter2.高级HTML解析当米开朗琪罗被问道他怎样雕刻出David这样精湛的作品时，他只是重复的说道：“很简单。你只需要将不需要的部分去掉就行了。”尽管网络爬虫和大理石雕刻在很多方面都不一样，但是我们仍然也可以用相同的态度来看待我们需要从复杂的网页抽取那些我们需要的信息。你并不是总需要一个锤子当遇到一个标签的难题的时候（戈尔迪之结，希腊神话中的一个难题），我们常常试图才用多

第三章–开始爬行吧到目前为止，本书例子覆盖了单一的静态网页，含有多少有点人工包裹的例子。本章中我们将面对真是世界的问题，让爬虫穿越在多个网页甚至多个网站上。 之所以叫做网络爬虫，是因为它们在网络上爬行。爬虫的核心是循环（递归）。从一个URL获取网页内容，检查网页内容获取另一个新的URL链接，再去这个新的URL上去获取网页内容，如此循环。 然而需要注意，你可以爬取网页，但不意味你总是能这样做