Python爬虫：自己写好还是用scrapy框架好？

有人问爬虫是写好点还是使用scrapy好点，今天就谈谈我的经验。

 

首先，好不好不重要，关键是我们使用哪种会更方便一点，如果是零零散散的写一些小爬虫，那边肯定是自己编写方便一点了。（第二种方法）

 

我一开始学的时候记得是先学的scrapy，已经会用scrapy写大多数的项目了，但是离开框架我就不会了。就是因为基础没打好，这种学习方法是错误的，想学习的朋友记住了哈。

 

如果你把基础打好了，在来学习各种库和框架，就会非常简单，容易上手。就比如武侠小说里写的，要练神功，需要有深厚的内力，否则就会走火入魔，就是这个道理。

 

Python常见的方法：

第一种：scrapy框架

import scrapy  #scrapy

内置大量的功库，一般无需在导入其他库。后期编写一些复杂的爬虫，第一种+第二种，或是结合第三方库使用，所谓无所不能。

 

 

第二种：

import requests  # http库，用于http请求
import re        #用于正则表达提取
import time      #时间模块，用于控制时间
import os        #用于处理文件和目录
from lxml import etree #python的一个解析库,支持HTML和XML的解析

 

普通的爬虫，数据量不大，使用第2种方法就好了。主要是是练手，把基本功打好，再去使用框架，才会得心应手。

 

scrapy主要用于数据量大，有自己的数据系统，用了框架会省去很多事情。