![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Scrapy
dandd31
这个作者很懒,什么都没留下…
展开
-
Python_Scrapy_7.回调函数
http://www.cnblogs.com/berlin-sun/p/callbackinpython.htmlhttp://www.zhihu.com/question/19801131原创 2015-06-19 16:17:41 · 1638 阅读 · 0 评论 -
Python_Scrapy_0. 前言
开宗明义,我为什么要写这一系列的博客原创 2015-06-09 16:22:10 · 343 阅读 · 0 评论 -
Python_Scrapy_5.类的学习
因为我之前只是简单的学了一下Python,并没有深入的学习面向对象的内容. 但是学习Scrapy需要用到大量和类相关的知识, 所以需要恶补. 0.面向对象编程其实面向对象的这个概念还是比较好理解的, 和我一样是初学者的应该只接触过面向过程编程. 面向过程的编程思路只在乎程序运行的过程.而面向对象编程完全不一样.对象,object翻译成中文有 物体,目标,目的,东西的意思. 也原创 2015-06-14 21:17:17 · 448 阅读 · 0 评论 -
Python_Scrapy_6.错误与异常
看了一下官方教程的第二部分,发现用了异常处理机制.因为我的学习计划是围绕着项目进行了,天赋点不够用了就去打打挂提升下等级.0.编程时会出现的错误和异常0.代码本身的错误,也就是bug.比如 字符串少打了一个引号,引起的语法错误.1.代码使用者错误的使用代码而产生的问题. 比如需要带入整数的却带入字符串2.使用代码是因为运行环境的差异而导致的问题. 比如向硬盘里写入数据时硬盘原创 2015-06-14 22:15:46 · 1880 阅读 · 0 评论 -
Python_Scrapy_3.介绍骨架
介绍Scrapy骨架中的文件原创 2015-06-10 10:18:31 · 356 阅读 · 0 评论 -
Python_Scrapy_1.什么是Scrapy
为什么要学Scrapy?原创 2015-06-09 16:43:57 · 427 阅读 · 0 评论 -
Python_Scrapy_2.安装Scrapy
安装Scrapy原创 2015-06-10 09:07:08 · 324 阅读 · 0 评论 -
Python_Scrapy_9.网页 HTML CSS
爬虫最关键的就是数据提取,我每次都要在网页解析和数据提取上花掉大量的时间,我之前写一个单线程的爬虫90%的时间都花在这里.在加上对网页制做也挺有兴趣的所以打算花点时间稍微深入的学习下.如果想深入学习的可以去w3c上看教程,但是这里我使用了入门级的教程: 计蒜客, 以下是我的学习心得.0.基本知识网页:就是HTML文档.URL:URL就是网址,网址的本质就是IP地原创 2015-06-23 13:54:50 · 538 阅读 · 0 评论 -
Python_Scrapy_8.爬虫
终于学到重头戏了,开始要写爬虫了. 大多数的解释在官方教程上都有.import scrapyclass DmozSpider(scrapy.spider.Spider): name = "dmoz" allowed_domains = ["dmoz.org"] start_urls = [ "http://www.dmoz.org/Computers原创 2015-06-21 18:03:41 · 524 阅读 · 0 评论 -
Python_Scrapy_4.items.py
官方入门教学 items部分的代码解释原创 2015-06-10 10:51:23 · 482 阅读 · 0 评论