有人问爬虫是写好点还是使用scrapy好点,今天就谈谈我的经验。
首先,好不好不重要,关键是我们使用哪种会更方便一点,如果是零零散散的写一些小爬虫,那边肯定是自己编写方便一点了。(第二种方法)
我一开始学的时候记得是先学的scrapy,已经会用scrapy写大多数的项目了,但是离开框架我就不会了。就是因为基础没打好,这种学习方法是错误的,想学习的朋友记住了哈。
如果你把基础打好了,在来学习各种库和框架,就会非常简单,容易上手。就比如武侠小说里写的,要练神功,需要有深厚的内力,否则就会走火入魔,就是这个道理。
Python常见的方法:
第一种:scrapy框架
import scrapy #scrapy
内置大量的功库,一般无需在导入其他库。后期编写一些复杂的爬虫,第一种+第二种,或是结合第三方库使用,所谓无所不能。
第二种:
import requests # http库,用于http请求
import re #用于正则表达提取
import time #时间模块,用于控制时间
import os #用于处理文件和目录
from lxml import etree #python的一个解析库,支持HTML和XML的解析
普通的爬虫,数据量不大,使用第2种方法就好了。主要是是练手,把基本功打好,再去使用框架,才会得心应手。
scrapy主要用于数据量大,有自己的数据系统,用了框架会省去很多事情。