我一周前做出了一个可以用的简单爬虫,用的python语言,之前没学过python,跟着学校水过C语言,大概就是这个基础水平,做这个爬虫用了两周的课下时间。我现在还在继续学习相关的东西,可以说我是正在经历从完全不懂的门外汉到入门的过程,当然现在还是一个小白。
以下内容仅就我个人的经验说的(经验非常少,入门尚浅),仅供参考,大牛不要笑;)
目标:1.认识python
2.入门爬虫
3.做一个简单爬虫
准备:
1.网上下载《自己动手写网络爬虫》(资源非常多),挑有用的地方看,看第一单元不牵扯代码解析部分的东西,就是让你懂爬虫怎么工作的,基础知识。这本书用的语言是Java,代码不能借鉴,看原理就好。
2.自己安装一下python和scrapy,本来python是肯定要安装配置的,然后scrapy是之后做复杂之后用得上的基础框架。安装过程中深刻领悟一把python,这是个熟悉工具的过程。我说不具体,就是自己纠结着安装的过程会让你对python的理解更进一步,这是个从无到有的过程。贴一个自己安装后总结出来的经验帖,比一般的经验帖还要适合小白使用,之所以要写这个经验帖是因为之前自己安装的过程都是辛酸的泪水啊:42/100Days windows环境下搭建爬虫框架Scrapy(女生版),我是windows系统,如果别的系统下的,只好自行搜索了。
3.直接做一个小项目,项目是入门的最佳方法,模仿也是很有效的学习手段。网上有很多关于python爬虫的小项目,找个最简单的照做一边下来,就跟知道了1+1=2之后,3+5,9+12,这些都至少知道怎么往下了,复杂的爬虫项目其实也是在最简单项目的基础上拓展延伸调整组合出来的。这里继续恬不知耻的把我自己刚刚写爬虫的实践经验贴出来:47/100Days 零基础基于python2.7的爬虫实例,供选择参考,网上还有很多其他的小项目的教程,也可以找别的感兴趣的来照着先做一个。
最后,其实我也是一个正在努力入门的菜鸟,不免会有错误或者短见之处,希望大家可以一起交流~