认识爬虫是学习爬虫的第一步。
曾经我觉得爬虫是一个很高大上的玩意儿,高大上到我完全不知道它是做什么用的。
后来因为帮别人做一个二手车网站,需要知道所有车的类别、车型、车系,于是就用curl抓去了某网的所有这方面信息,对,你没有猜错,就是它的,算是用php的curl写了一个初级不能再初级的“爬虫”,才知道,我了个X,还能这么玩。
就用curl爬了某图片网站所有美女图片,然后听说python的爬虫用起来更爽更酷炫,就决心尝试性的学习一下。
对,我之前没有任何python基础,就把廖雪峰老师的python教程看了看。
包括这个系列笔记也是从网上别人那里学来,自己吸收之后重新写出来的。
那么,什么是爬虫呢?网络蜘蛛么?那什么是网络蜘蛛呢?
程序被写出来就是为了完成特定任务的,爬虫也是程序,被写出来也就是为了完成某种特定的任务----比如把某站美女图片下载到本机上。比如把科比一生的赛况抓取下来进行数据分析,比如……
对,这就是爬虫。
曾经我觉得爬虫是一个很高大上的玩意儿,高大上到我完全不知道它是做什么用的。
后来因为帮别人做一个二手车网站,需要知道所有车的类别、车型、车系,于是就用curl抓去了某网的所有这方面信息,对,你没有猜错,就是它的,算是用php的curl写了一个初级不能再初级的“爬虫”,才知道,我了个X,还能这么玩。
就用curl爬了某图片网站所有美女图片,然后听说python的爬虫用起来更爽更酷炫,就决心尝试性的学习一下。
对,我之前没有任何python基础,就把廖雪峰老师的python教程看了看。
包括这个系列笔记也是从网上别人那里学来,自己吸收之后重新写出来的。
那么,什么是爬虫呢?网络蜘蛛么?那什么是网络蜘蛛呢?
程序被写出来就是为了完成特定任务的,爬虫也是程序,被写出来也就是为了完成某种特定的任务----比如把某站美女图片下载到本机上。比如把科比一生的赛况抓取下来进行数据分析,比如……
对,这就是爬虫。