scrapy常用问题

1、动态加载又对及时性要求很高怎么处理？
    1，selenium+Phantomjs
    2，尽量不适用sleep而是用WebDriverWait

2、分布式爬虫主要解决什么问题？
    1，ip        2，宽带    3，cpu    4，io

3、什么是URL？
    URL，即统一资源定位符，也就是常见的网址，统一资源定位符是对可以从互联网是得到的资源的位置和访问方法的一种简介的表示
    是互联网上标准资源的地址。互联网是的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它。

4、python爬虫有那些常用技术？
    Scrapy    Beautiful Soup    urllib        urllib2        requests

5、简单说一下你对scrapy的了解？
    scrapy是一个快速(fast)，高层次(high-leve)的基于python 的web爬虫框架，
    用来下载，并解析web页面，其parse->yield item->pipeline流程是所有爬虫的固有模式，
    构造形式主要分 spider pypipeline.py itme.py decorator.py middlewares.py setting.py

6、scrapy的优缺点？
    1，优点：scrapy是异步的
        采取可读性更强的xpath代替正则强大的统计和log系统(日志文件)，同事在不同的url上爬行支持shell方式，方便独立调试写middleware(中间件)，