谢健的专栏

初试Scrapy（二）—抓取豆瓣电影排行TOP250实验上篇文章—初试Scrapy中简单认识了Scrapy，通过搭建Scrapy框架环境，测试了Scrapy的一个小例子，这篇文章中我们接着上篇文章，对Python中yeild的使用进行简单解析，然后完成一个小实验—抓取下豆瓣电影排行TOP250。 Scrapy小例子代码只有十多行（代码就不重复贴，可以看上篇文章中），个人觉得难点在yield这个关键

初试Scrapy（三）上—CSDN自动登录获取博客分类列表上一篇文章中初试Scrapy（二）—抓取豆瓣电影排行TOP250实验，通过Scrapy框架简单实现了一个豆瓣TOP250电影排行的小例子，这篇文章来学习下Scrapy框架下创建工程，同样我们给自己定一个小目标—实现CSDN自动登录，并且获取博客分类列表。为了不至于文章太长，这篇文章我打算分上下两篇，上篇主要是记录下不通过Scrapy框架实现C

初试Scrapy（五）—通过下载保存美女图片来学习下Spider中间件（Spider Middlewares）前面几篇文章都只是对Scrapy框架的一个初步了解，这篇文章中我打算稍微深入Scrapy框架中，通过下载保存美女图片的例子，去探究下Spider Middleware的相关知识。一，Scrapy架构概览要探究清楚Spider Middleware，首先得对Scrapy框架的整体架构有个大致的

初试Scrapy（三）下—CSDN自动登录获取博客分类列表接上篇文章—初试Scrapy（三）上—CSDN自动登录获取博客分类列表，这篇文章主要学习下通过Scrapy创建工程，并且实现CSDN自动登录，获取博客分类列表。一，创建工程Scrapy框架更新到现在已经很完善，可以直接通过如下命令来创建你的工程：scrapy startproject Blog_Category这命令会创建一个Blog_Cat

初试Scrapy一直想学习下Python，但是看书太慢，而且每次看书不超过十分钟就会不自觉的拿起手机，然后当放下手机的时候，就不知道自己看到哪里，所以这里索性结合有名的爬虫框架Scrapy，来学习下这个框架，进而学习下Python这门语言，在这里通过一系列的小文章记录自己的学习过程，欢迎拍砖。一、环境搭建本来是想在Win7折腾的，但是后面发现在安装Scrapy的时候一直报错，最后在网上查询有说是跟装

初试Scrapy（四）—抓取和讯论坛关键字搜索的结果本来按照计划这篇文章是要讲一讲Scrapy框架中的Spider Middleware，后来有个学金融的朋友说要我帮忙抓取下和讯论坛中通过关键字搜索正文后结果中所有的的帖子内容，发帖人，以及发帖的时间，刚好最近在学这个，拿来练练手，这种利人利己的事情，何乐而不为呢。一，代码实现整个实现思路很简单，废话不多说，直接上代码：# -*- coding: u