- 博客(44)
- 资源 (25)
- 问答 (1)
- 收藏
- 关注
翻译 Scrapy1.5基本概念(十二)——异常(Exceptions)
本文为译文,原文见地址:https://docs.scrapy.org/en/latest/topics/exceptions.html异常内置的异常引用下面是一组Scrapy内置的所有异常和这些异常的适用范围。DropItemexception scrapy.exceptions.DropItem这个异常必须由数据项管道阶段抛出,以便停止处理数据项。更多信息见数据项管道。C...
2019-01-04 15:30:49 871
翻译 Scrapy1.5基本概念(十一)——配置项(Settings)
本文为译文,原文见地址:https://docs.scrapy.org/en/latest/topics/settings.html配置项Scrapy配置项允许你自定义所有Scrapy组件的行为,包括核心、扩展、管道和爬虫本身。配置项的基础结构提供了键值映射的全局命名空间,代码可以在项目的任意地方使用该命名空间来提取配置项的值。配置项还可以通过不同的机制来填充数据,后续我们会介绍。这些...
2019-01-04 15:30:29 1054
翻译 Scrapy1.5基本概念(十)——链接提取器(Link Extractors)
本文为译文,原文见地址:https://docs.scrapy.org/en/latest/topics/link-extractors.html链接提取器(Link Extractors)链接提取器是只用于从web页面(scrapy.http.Response对象)中提取链接的对象,这些链接最终会被继续追踪。在Scrapy中有一个可用的scrapy.linkextractors.Lin...
2019-01-04 15:30:20 686
翻译 Scrapy1.5基本概念(九)——请求和响应(Requests and Responses)
本文为译文,原文见地址:https://docs.scrapy.org/en/latest/topics/request-response.html请求和响应(Requests and Responses)Scrapy使用Request和Response对象来爬行web站点。通常来说,Request对象在爬虫中生成,并且系统中传递,直到它们到达下载器(Downloader),下载器执行请...
2019-01-04 15:30:12 813
翻译 Scrapy1.5基本概念(八)——Feed exports
本文为译文,原文见地址:https://docs.scrapy.org/en/latest/topics/feed-exports.htmlFeed exports于版本0.10中新增。在实现Scrapy时,最常用特性之一是能够正确地存储爬取到的数据,这通常意味着生成一个“导出文件”,其中包含了爬取到的数据(通常被称为“到处提要(export feed)”),以供其他系统使用。Scra...
2019-01-04 15:30:02 637
翻译 Scrapy1.5基本概念(七)——数据项管道(Item Pipeline)
本文为译文,原文见地址:https://docs.scrapy.org/en/latest/topics/item-pipeline.html数据项管道(Item Pipeline)在数据项被爬虫爬取到之后,这个数据项将被发送给数据项管道(Item Pipeline),数据项管道将通过一些按照顺序执行的组件来处理这个数据项。每一个数据项管道组件(有时候称为数据项管道)都是一个Python...
2019-01-04 15:25:04 395
翻译 Scrapy1.5基本概念(六)——Scrapy shell
本文为译文,原文见地址:https://docs.scrapy.org/en/latest/topics/shell.htmlScrapy shellScrapy shell是一个交互式的shell,你可以在其中非常快速地尝试和调试你的抓取代码,而不必运行爬虫。它本来是用来测试数据提取代码的,但实际上你可以用它来测试任何类型的代码,因为它也是一个常规的Python shell。这个she...
2019-01-04 15:24:46 611
翻译 Scrapy1.5基本概念(五)——数据项加载器(Item Loader)
本文为译文,原文见地址:https://docs.scrapy.org/en/latest/topics/loaders.html数据项加载器数据项加载器提供了一个方便的机制来填充爬取到的数据项(Item)。即使数据项可以使用它们自身的类似于字典API的方式来填充数据,但是数据项加载器提供了一个更方便的API从抓取过程中来填充它们。整个过程简单说就是通过自动化一些常见的任务——比如在分配数...
2019-01-04 15:24:24 431 1
翻译 Scrapy1.5基本概念(四)——数据项(Item)
本文为译文,原文见地址:https://docs.scrapy.org/en/latest/topics/items.html数据项本文主要目的是,从非结构化的数据源(比如,web页面)提取出结构化的数据。Scrapy爬虫可以提取数据并返回项Python字典一样的数据。虽然让人觉得很方便和熟悉,但是Python字典缺乏结构化:这是很容易在字段名中输入错误或者返回不一致的数据,特别是在有许多...
2019-01-04 15:23:57 463
翻译 Scrapy1.5基本概念(三)——选择器(Selector)
本文为译文,原文见地址:https://docs.scrapy.org/en/latest/topics/selectors.html#module-scrapy.selector选择器当你爬取网页时,通常需要你去执行的任务是从HTML源中提取数据。这里有一些可用的库能够帮你实现这个操作:BeautifulSoup是一个在Python程序员中非常流行的web爬取库,它根据HTML代码的...
2019-01-04 15:23:35 924
翻译 Scrapy1.5基本概念(二)——爬虫(Spider)
本文为译文,原文见地址:https://docs.scrapy.org/en/latest/topics/spiders.html爬虫爬虫是一些类,这些类定义了如何对某个站点(或一组站点)进行抓取,包括如何执行抓取(即跟踪链接)以及如何从其页面中提取结构化数据(即抓取项)。换句话说,爬虫是为特定站点(或者在某些情况下是一组站点)爬行和解析页面定义自定义行为的地方。对于爬虫,循环爬取的流程...
2019-01-04 15:23:03 759
翻译 Scrapy1.5基本概念(一)——命令行工具
本文为译文,原文见地址:https://docs.scrapy.org/en/latest/topics/commands.html命令行工具于版本0.10新增。通过scrapy命令行工具可以控制Scrapy,这里将其称为“Scrapy tool”,以便将其与子命令区分开来,子命令我们将其称为“commands”或者“Scrapy Commands”。处于多种目的,Scrapy工具...
2019-01-04 15:22:42 333
翻译 Scrapy1.5入门(四)——示例
本文为译文,原文见地址:https://docs.scrapy.org/en/latest/intro/examples.html示例通过示例是最好的学习方法,Scrapy也不例外。出于这个原因,有一个名为quotesbot的示例Scrapy项目,你可以使用它来播放和学习有关Scrapy的更多信息。它包含两个用于http://quotes.toscrape.com爬虫,一个使用CSS选择器...
2019-01-04 15:22:17 240
翻译 Scrapy1.5入门(三)——Scrapy教程
本文为译文,原文见地址:https://docs.scrapy.org/en/latest/intro/tutorial.htmlScrapy教程在本教程中,我们假设Scrapy已经在你的系统上成功安装了。如果没有,请跳转到安装向导。我们将前往http://quotes.toscrape.com/,一个列出了著名作家名言的网站。本教程会向你展示如下任务:创建一个新的Scrapy工程...
2019-01-04 15:21:54 1294
翻译 Scrapy1.5入门(二)——安装向导
本文为译文,原文见地址:https://docs.scrapy.org/en/latest/intro/install.html安装向导安装ScrapyScrapy可以运行在Python2.7版本和Python3.4或者及其以上版本。如果你正在使用Anaconda或者Miniconda,你可以从conda-forge通道来安装这个包,该通道具有Linux、Windows和OS X平台下...
2019-01-04 15:21:16 467
翻译 Scrapy1.5入门(一)——初识Scrapy
本文为译文,原文见地址:https://docs.scrapy.org/en/latest/intro/overview.html初识ScrapyScrapy是一个用来爬取web网站和提取结构化数据的应用框架,可用于数据挖掘、信息的处理或者归档。即使Scrapy最初是为web抓取(web scraping)而设计的,但它也可以使用api(如Amazon Associates web Se...
2019-01-04 15:20:27 364
翻译 Flask1.0.2系列(二十) Flask相关的模式
英文原文地址:http://flask.pocoo.org/docs/1.0/patterns/若有翻译错误或者不尽人意之处,请指出,谢谢~
2018-05-16 14:51:54 1329
翻译 Flask1.0.2系列(十九) 在Shell下工作
英文原文地址:http://flask.pocoo.org/docs/1.0/shell/若有翻译错误或者不尽人意之处,请指出,谢谢~ (新增于版本0.3。) 很多人喜欢Python的原因之一是其有用交互式shell。shell允许你实时地执行Python命令并且立即会得到一个返回结果。Flask本身不包含一个交互式shell,因为它不需要预先设置任何特定的设置,仅仅导...
2018-05-16 09:04:28 1103
翻译 Flask1.0.2系列(十八) 开发服务器
英文原文地址:http://flask.pocoo.org/docs/1.0/server/若有翻译错误或者不尽人意之处,请指出,谢谢~ 从Flask0.11版本开始,这里有多种内置方法来运行一个开发服务器。最好的方法是使用flask命令行工具,但是你也可以继续使用Flask.run()函数。1. 命令行 在开发时,强烈推荐使用flask命令行脚本(上一章内容)。因为它...
2018-05-11 16:38:33 661
翻译 Flask1.0.2系列(十七) 命令行接口
英文原文地址:http://flask.pocoo.org/docs/1.0/cli/若有翻译错误或者不尽人意之处,请指出,谢谢~ 在你的虚拟环境中安装Flask的时候会安装flask脚本——一个Click命令行接口。从终端执行,这个脚本能够访问内置的、扩展的、以及应用程序定义的命令。--help选项能够获取更多关于任何命令和选项的信息。1. 检测应用程序 flask命...
2018-05-11 16:38:27 5295
翻译 Flask1.0.2系列(十六) 扩展
英文原文地址:http://flask.pocoo.org/docs/1.0/extensions/若有翻译错误或者不尽人意之处,请指出,谢谢~ 扩展是为Flask应用程序添加功能的额外的包。举个栗子,一个扩展可以添加发送邮件的支持,或者连接到一个数据库的支持。一些扩展添加了全新的框架来帮助创建特定类型的应用程序,比如ReST API。1. 寻找扩展 Flask罗占通常...
2018-05-11 16:38:12 391
翻译 Flask1.0.2系列(十五) 使用蓝图将应用程序模块化
英文原文地址:http://flask.pocoo.org/docs/1.0/blueprints/若有翻译错误或者不尽人意之处,请指出,谢谢~ (新增于0.7版本。) Flask使用一个蓝图(blueprints)的概念来标记应用程序组件,并且在一个应用程序之中或者跨越多个应用程序之间都支持常用的模式。蓝图能很好地简化大型应用程序的工作方式,并且提供一个中心方法来为F...
2018-05-10 16:45:50 563
翻译 Flask1.0.2系列(十四) 请求上下文
英文原文地址:http://flask.pocoo.org/docs/1.0/reqcontext/若有翻译错误或者不尽人意之处,请指出,谢谢~ 在一个请求期间,请求上下文保持追踪了请求等级的数据。相较于在一个请求期间为每个方法传递一个请求对象的做法,使用request和session两个代理更加简便。 请求上下文与应用程序上下文很类似,都在在一个独立的请求内保持追踪应...
2018-05-10 16:45:39 2488
翻译 Flask1.0.2系列(十三) 应用程序上下文
英文原文地址:http://flask.pocoo.org/docs/1.0/appcontext/若有翻译错误或者不尽人意之处,请指出,谢谢~ 应用程序上下文在一个请求、CLI命令或者其他活动期间保持追踪应用程序级别数据。相较于为每个方法传递应用程序对象,我们可以直接访问current_app和g两个代理。1. 上下文的目的 Flask应用程序对象拥有很多属性,比如c...
2018-05-10 16:45:28 829
翻译 Flask1.0.2系列(十二) 可插拔的视图
英文原文地址:http://flask.pocoo.org/docs/1.0/views/若有翻译错误或者不尽人意之处,请指出,谢谢~ (新增于版本0.7。) Flask0.7引入了可插拔的视图,其灵感来源于Django下基于类而不是函数的通用视图。这样做的主要意图在于,你可以替换部分实现,并且这样做可以实现可定制的可插拔的视图。1. 基础原理 考虑以下,...
2018-05-08 14:46:36 1268
翻译 Flask1.0.2系列(十一) 信号
英文原文地址:http://flask.pocoo.org/docs/1.0/signals/若有翻译错误或者不尽人意之处,请指出,谢谢~ (新增于版本0.6。) 从Flask版本0.6开始,Flask集成了信号支持。这个支持源于blinker库的支持,并且会在其不可用的时候优雅地退出。 什么是信号呢?当动作在核心框架的其他地方或者在其他Flask扩展中发...
2018-05-08 14:46:29 375
翻译 Flask1.0.2系列(十) 配置处理
英文原文地址:http://flask.pocoo.org/docs/1.0/config/若有翻译错误或者不尽人意之处,请指出,谢谢~ (新增于版本0.3) 应用程序需要一些配置。根据不同的应用程序环境,你可能希望更改某些设置项,比如是否开启调试模式,设置密钥,或者其他环境所需的东西等等。 Flask被设计为需要配置才能启动应用程序。你可以将配置硬编码到...
2018-05-08 14:46:19 3937
翻译 Flask1.0.2系列(八) 调试应用程序错误
英文原文地址:http://flask.pocoo.org/docs/1.0/errorhandling/#debugging-application-errors若有翻译错误或者不尽人意之处,请指出,谢谢~ 对生产应用程序而言,使用日志和通知配置你的应用程序的相关描述见上一章节。这一章节我们讲述,调试部署配置和深入挖掘Python完整的调试器的要点。1. 当有疑问时,手动运行之 ...
2018-05-04 17:05:14 787
翻译 Flask1.0.2系列(七) 应用程序错误
英文原文地址:http://flask.pocoo.org/docs/1.0/errorhandling/若有翻译错误或者不尽人意之处,请指出,谢谢~ (在版本0.3新增。) 应用程序失败,服务器失败。你迟早会在生产中看到一个异常。即使你的代码100%正确,但你偶尔还是能看到异常,这是为什么呢?因为其他相关的东西可能会失败。在某些情况下,完美的代码依然能导致服务器错误:...
2018-05-04 17:05:07 677
翻译 Flask1.0.2系列(六) 测试Flask应用程序
英文原文地址:http://flask.pocoo.org/docs/0.12/testing/若有翻译错误或者不尽人意之处,请指出,谢谢~ (懒得改了,想要使用pytest的朋友,请前往http://flask.pocoo.org/docs/1.0/testing/) 一些未经测试的东西被破坏了。 这句话的出处不祥,虽然它不是完全正确的,但是也离真相不远...
2018-05-02 17:35:17 725
翻译 Flask1.0.2系列(五) 模板
英文原文地址:http://flask.pocoo.org/docs/1.0/templating/若有翻译错误或者不尽人意之处,请指出,谢谢~ Flask利用Jinja2作为模板引擎。当然你也可以使用其他不能的模板引擎,但是你仍然需要安装Jinja2来运行Flask本身。这个要求是启用丰富扩展所必须的。扩展是可以依赖于Jinja2而存在的。 这一章仅仅对如何将Jinj...
2018-05-02 14:54:10 504
翻译 Flask1.0.2系列(四) 手把手教你建Flask应用程序
英文原文地址:http://flask.pocoo.org/docs/1.0/tutorial/若有翻译错误或者不尽人意之处,请指出,谢谢~ 本章节将带你创建一个叫做Flaskr的基础博客应用程序。用户可以注册、登录、创建文章以及修改或者删除他们自己的文章。你也可以打包以及安装这个应用程序到其他电脑上。 这里假设你已经对Python很熟悉了。如果没有学习或者有些遗忘了,...
2018-05-02 11:25:44 4288
翻译 Flask1.0.2系列(三) 快速入门
英文原文地址:http://flask.pocoo.org/docs/1.0/quickstart/若有翻译错误或者不尽人意之处,请指出,谢谢~ 看完之前的内容是否已经急不可耐地想入门学习Flask了?本文会是一个关于Flask很好的入门介绍。在这里假设你已经安装好了Flask。如果你没有安装Flask,推荐你看Flask系列(二)。1. 一个简单的Flask程序 简单...
2018-04-28 09:57:54 3419
翻译 Flask1.0.2系列(二) Flask的安装
英文原文地址:http://flask.pocoo.org/docs/0.12/installation/若有翻译错误或者不尽人意之处,请指出,谢谢~ (也可以安装,懒得改成1.0.2版本了,将就看,原文地址http://flask.pocoo.org/docs/1.0/installation/) Flask依赖于一些外部库,比如Werkzeug和Jinja2。Wer...
2018-04-28 09:57:50 15003
翻译 Flask1.0.2系列(一) 前言
英文原文地址:http://flask.pocoo.org/docs/1.0/foreword/若有翻译错误或者不尽人意之处,请指出,谢谢~ 此章节主要是一些问题的回答,如在项目中使用Flask的目标,以及在什么情况下可以使用Flask,而在什么情况下不建议使用Flask。1. 何谓“微型”的定义? 这里所说的微型并不是指你的整个Web程序在一个Pyth...
2018-04-28 09:56:52 886
翻译 线程相关(二)——线程控制
2 线程控制2.1 线程属性 在线程相关(一)的帖子中,所有调用pthread_create函数的例子中,传入的参数都是空指针,而不是指向pthread_attr_t结构的指针。可以使用pthread_attr_t结构修改线程默认属性,并把这些属性与创建的线程联系起来。可以使用pthread_attr_init函数初始化pthread_attr_t结构。调用pthread
2015-12-06 17:19:18 477
翻译 线程相关(一)——线程基础
1. 线程 线程的概念就不赘述了,直接记录在Linux系统上的操作。(本系列文章示例均使用g++编译通过。)1.1 线程的创建 在传统的UNIX进程模型中,每个进程只有一个控制线程。从概念上讲,这与基于线程的模型中每个进程只包含一个线程是相同的。在POSIX线程(pthread)的情况下,程序开始运行时,它也是以单进程中的单个控制线程启动的,在创建多
2015-12-05 21:23:00 544
翻译 进程间通信简介(五)——共享内存
共享内存可以说是Linux下最快速、最有效的进程间通信。两个不同进程A、B共享内存的意思是,同一块物理内存被映射到进程A、B各自的进程地址空间,进程A可以即时看到进程B对共享内存中数据的更新;反之,进程B也可以即时看到进程A对共享内存中数据的更新。6.1整理自 《Linux程序设计第4版》、《Linux C编程从初学到精通》。
2015-10-28 16:05:19 702
翻译 进程间通信简介(四)——消息队列
5 消息队列 消息队列(message queue)是一种以链表式结构组织的一组数据,存放在内核中,是由各种进程通过消息队列标识符来引用的一种数据传送方式。像其它两种IPC对象一样,也是由内核来维护。消息队列是三个IPC对象类型中最具有数据操作性的数据传送方式,在消息队列中可以随意根据特定的数据类型值来检索消息。5.1 消息队列的概念 消息队列(也叫做报文队
2015-10-26 16:45:37 578
Linux高性能服务器编程
2015-11-03
深入理解linux内核中文第三版
2015-11-03
Tcp/Ip三卷合集
2015-11-03
完美c++ 中文第五版 扫描版
2015-10-20
linux C编程实战
2015-10-20
Linux C函数库参考手册
2015-10-16
实战LINUX_SHELL编程与服务器管理
2015-10-16
Linux内核设计与实现 第三版
2015-10-16
数据库设计解决方案入门经典
2015-10-16
算法导论 第二版
2015-10-14
C语言入门经典(第四版).part3
2015-10-14
C语言入门经典(第四版).part2
2015-10-14
C语言入门经典(第四版).part1
2015-10-14
WCF生成的WSDL内容,能否自定义binding的name属性
2019-10-24
TA创建的收藏夹 TA关注的收藏夹
TA关注的人