Python
文章平均质量分 88
rossisy
这个作者很懒,什么都没留下…
展开
-
MAC Python3&virtualenv&virtualenvwrapper安装
一. 使用Homebrew安装python3RossideMacBook-Pro:~ rossi$ brew install python3二. 使用pip3安装virtualenv和virtualenvwrapperRossideMacBook-Pro:bin rossi$ pip3 install virtualenv virtualenvwrapper原创 2017-06-11 15:28:32 · 1948 阅读 · 0 评论 -
CentOS7安装Python3
一. Linux默认安装的python版本都是2,安装python3需要先安装相关包1. gcc[root@localhost ~]# yum install gccLoaded plugins: fastestmirror, langpacksbase原创 2017-09-05 23:32:26 · 2951 阅读 · 0 评论 -
Python三神器之virtualenv&virtualenvwrapper
virtualenv是一个用于创建独立Python环境的工具,可以解决多项目之间依赖库版本不一致的问题,每个虚拟环境都是一个独立的Python环境,可以安装只属于这个环境的库。virtualenvwrapper是virtualenv的一个扩展工具,它可以是我们在使用、管理虚拟环境时更简便、易用。一. 安装1. 安装virtualenv[root@localhost bin]#原创 2017-09-06 20:38:03 · 618 阅读 · 0 评论 -
Scrapy - 简要指南
创建项目开始爬取数据之前,你必须先创建一个Scrapy项目。进入你想将项目代码保存的目录,并执行以下代码MacBook-Pro:scrapy $ scrapy startproject projectname这会创建一个以projectname命名的文件夹,文件夹中包括一个部署配置文件scrapy.cfg和一个项目的python模块(以projectname命名的另一个文件原创 2017-10-15 16:03:27 · 1022 阅读 · 0 评论 -
Scrapy - 命令行工具
Scrapy是由scrapy命令行工具来控制的,它的命令行工具为多种用途提供了一些不同的命令,每一个命令都有不同的参数和选项。一些Scrapy命令必须在Scrapy项目目录下执行,另一些可以在任何目录下执行。而那些可以在任何目录下执行的命令,如果在Scrapy项目目录下执行可能会有些不同。Scrapy命令执行环境Global commandsProject-only原创 2017-10-25 19:44:31 · 1807 阅读 · 0 评论 -
Scrapy - 普通的Spider(一)
CrawlSpider这个是Spider中爬取一般网站最常用的一种Spider,因为它提供了一种方便的机制可以自定义一套规则去追踪链接。它可能对特殊的网站或项目来说不是最适合的Spider,但是对一般情况来说已经足够了,因此我们可从这种Spider开始学习,然后修改它,或重新写一个自定义的Spider。除了从父类集成来的属性,这个Spider还有特有的属性和方法:rules - 一个Rul原创 2017-11-02 21:24:18 · 440 阅读 · 0 评论 -
Scrapy - 普通的Spider(二)
XMLFeedSpider这个Spider是用于解析XML的,它可以通过指定的节点迭代的解析XML。迭代器可以选择iternodes,xml或html。由于xml和html都需要一次性读取整个DOM然后才能解析XML,这样会有性能的问题,所以推荐使用iternodes迭代器。但是当解析有错误标记的XML时,使用html迭代器会有些帮助。使用XMLFeedSpider必须定义以下类属性来设置迭代器原创 2017-11-02 22:21:11 · 349 阅读 · 0 评论