2018年06月_kissazhu

原创 Python爬虫（入门+进阶）学习笔记 3-2 爬虫工程师进阶（八）：去重与入库

数据去重又称重复数据删除，是指在一个数字文件集合中，找出重复的数据并将其删除，只保存唯一的数据单元。数据去重可以有效避免资源的浪费，所以数据去重至关重要。数据去重数据去重可以从两个节点入手：一个是URL去重。即直接筛选掉重复的URL；另一个是数据库去重。即利用数据库的一些特性筛选重复的数据。 def process_spider_output(self, response, result, spi...

2018-06-30 13:23:33 1731

原创 Python爬虫（入门+进阶）学习笔记 3-1 爬虫工程师进阶（七）：HTTP请求分析

Chrome浏览器相对于其他的浏览器而言，DevTools（开发者工具）非常强大。这节课将为大家介绍怎么利用Chrome浏览器的开发者工具进行HTTP请求分析Chrome浏览器讲解Chrome 开发者工具是一套内置于Google Chrome中的Web开发和调试工具，可用来对网站进行迭代、调试和分析打开Chrome开发工具在Chrome菜单中选择更多工具 >开发者工具在页面元素上右键点击，选...

2018-06-30 13:09:38 1631

原创 Python爬虫（入门+进阶）学习笔记 2-6 Scrapy的Request和Response详解

上节课我们学习了中间件，知道了怎么通过中间件执行反反爬策略。本节课主要介绍Scrapy框架的request对象和response对象通常，Request对象在爬虫程序中生成并传递到系统，直到它们到达下载程序，后者执行请求并返回一个Response对象，该对象返回到发出请求的爬虫程序Request类和Response类都有一些子类，子类用来添加基类中不必要的功能。这些在下面的请求子类和响应子类中描述...

2018-06-30 12:56:07 2933

原创 Python爬虫（入门+进阶）学习笔记 2-5 Scrapy的中间件

上一节我们学习怎么去保存爬取的结果，然而大多数时候裸奔的请求很容易被网站反爬技术识别，导致并不能获取到我们想要的数据，我们该怎么做呢？中间件就可以帮你解决这些事下载中间件（Downloader middlewares）Scrapy框架中的中间件主要分两类：蜘蛛中间件和下载中间件。其中最重要的是下载中间件，反爬策略都是部署在下载中间件中的蜘蛛中间件是介入到Scrapy的spider处理机制的钩子框架...

2018-06-30 12:49:48 1440

原创 Python爬虫（入门+进阶）学习笔记 2-4 Scrapy的项目管道

上一节已学习了选择器的应用，可是爬取到了结果该怎么处理呢？本节课主要介绍Scrapy框架的另一部分——Item管道，用于处理爬取到的数据Item管道（Item Pipeline）的介绍管道是什么Item管道(Item Pipeline)：主要负责处理有蜘蛛从网页中抽取的Item，主要任务是清洗、验证和存储数据。当页面被蜘蛛解析后，将被发送到Item管道，并经过几个特定的次序处理数据。每个Item管...

2018-06-30 12:08:36 741

原创 Python爬虫（入门+进阶）学习笔记 2-3 Scrapy选择器的用法

当我们抓取网页时，最常见任务就是从HTML源码中提取数据，可是怎么提取数据呢？当然就是用选择器了。本节课主要介绍CSS，Xpath，正则表达式，pyquery四种选择器。四大选择器Scrapy 提取数据有自己的一套机制。它们被称作选择器(seletors)，通过特定的 Xpath 、 CSS 表达式或者正则表达式来选择 HTML 文件中的某个部分的数据。我们常用的选择器有四种：CSS选择器，Xpa...

2018-06-30 11:54:34 392

原创 Python爬虫（入门+进阶）学习笔记 2-2 Scrapy安装及基本使用

Mac系统安装流程：可以直接使用pip install scrapy进行安装 Scrapy爬虫的使用一个基本的爬虫只需要两部分组成：Spider（爬虫）、Pipeline（管道）。Spider是什么？Spider类定义了如何爬取某个(或某些)网站，包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。换句话说，Spider就是定义爬取的动作及分析某个网页(或...

2018-06-30 11:42:28 411

原创 Python爬虫（入门+进阶）学习笔记 2-1 爬虫工程化及Scrapy框架初窥

本章节将会系统地介绍如何通过Scrapy框架把爬虫工程化。本节主要内容是：简单介绍Python和爬虫的关系，以及将要使用的Scrapy框架的工作流程。Python适合做爬虫的原因语言本身简单，适合敏捷开发有比较完善的工具链足够灵活，以应对各种突然状况爬虫的知识体系前端相关知识：html，css，js；浏览器相关知识；各种数据库的运用；http协议的了解；对于前后台联动的方案；爬虫进阶的工作流程Sc...

2018-06-30 11:06:24 1364

kissazhu的博客