- 博客(31)
- 收藏
- 关注
原创 Scrapy - 普通的Spider(二)
XMLFeedSpider这个Spider是用于解析XML的,它可以通过指定的节点迭代的解析XML。迭代器可以选择iternodes,xml或html。由于xml和html都需要一次性读取整个DOM然后才能解析XML,这样会有性能的问题,所以推荐使用iternodes迭代器。但是当解析有错误标记的XML时,使用html迭代器会有些帮助。使用XMLFeedSpider必须定义以下类属性来设置迭代器
2017-11-02 22:21:11
361
原创 Scrapy - 普通的Spider(一)
CrawlSpider这个是Spider中爬取一般网站最常用的一种Spider,因为它提供了一种方便的机制可以自定义一套规则去追踪链接。它可能对特殊的网站或项目来说不是最适合的Spider,但是对一般情况来说已经足够了,因此我们可从这种Spider开始学习,然后修改它,或重新写一个自定义的Spider。除了从父类集成来的属性,这个Spider还有特有的属性和方法:rules - 一个Rul
2017-11-02 21:24:18
444
原创 Scrapy - Spiders详解
Spiders是Scrapy中最重要的地方,它定义了如何爬取及解析数据,可以说Spiders是Scrapy框架中的核心所在。对Spiders来说,一般工作的步骤如下:根据初始的URLs生成Requests对象并指定处理requests对象response的回调方法。初始的URLs是由spider的start_urls属性指定的,然后默认调用start_requests方法生成对应的
2017-10-29 09:03:35
2179
原创 Scrapy - 命令行工具
Scrapy是由scrapy命令行工具来控制的,它的命令行工具为多种用途提供了一些不同的命令,每一个命令都有不同的参数和选项。一些Scrapy命令必须在Scrapy项目目录下执行,另一些可以在任何目录下执行。而那些可以在任何目录下执行的命令,如果在Scrapy项目目录下执行可能会有些不同。Scrapy命令执行环境Global commandsProject-only
2017-10-25 19:44:31
1818
原创 Scrapy - 简要指南
创建项目开始爬取数据之前,你必须先创建一个Scrapy项目。进入你想将项目代码保存的目录,并执行以下代码MacBook-Pro:scrapy $ scrapy startproject projectname这会创建一个以projectname命名的文件夹,文件夹中包括一个部署配置文件scrapy.cfg和一个项目的python模块(以projectname命名的另一个文件
2017-10-15 16:03:27
1031
原创 GIT - 基本使用命令
一. 获取GIT仓库有两种方法可以获取GIT工程项目:1. 将一个已经存在的工程或目录导入到git2. 克隆一个已经存在的git仓库1. 初始化一个已经存在的工程(目录)cd到工程的根目录,使用命令git init将其初始化MacBook-Pro:~ $ cd ~/Project/my_repository/MacBook-Pro:my_repository $ gi
2017-10-07 15:52:16
369
原创 GIT - 安装、设置和帮助
一. 安装使用brew安装GITMacBook-Pro:~ $ brew install gitUpdating Homebrew...==> Auto-updated Homebrew!Updated 1 tap (homebrew/core).==> New Formulaeakamai dep
2017-09-25 22:35:01
2233
原创 Python三神器之virtualenv&virtualenvwrapper
virtualenv是一个用于创建独立Python环境的工具,可以解决多项目之间依赖库版本不一致的问题,每个虚拟环境都是一个独立的Python环境,可以安装只属于这个环境的库。virtualenvwrapper是virtualenv的一个扩展工具,它可以是我们在使用、管理虚拟环境时更简便、易用。一. 安装1. 安装virtualenv[root@localhost bin]#
2017-09-06 20:38:03
628
原创 CentOS7安装Python3
一. Linux默认安装的python版本都是2,安装python3需要先安装相关包1. gcc[root@localhost ~]# yum install gccLoaded plugins: fastestmirror, langpacksbase
2017-09-05 23:32:26
3002
原创 CentOS7设置固定IP
IP地址的设置一般是指设置某个网卡端口的IP,所以想设置IP,首先需要弄清楚是要为哪个网卡端口设置IP,CentOS7与一般的Linux系统一样,可以通过ifconfig命令查询当前的网络设置。由上图可知我的系统目前是使用网卡enp0s3访问Internet的,我们要设置的就是enp0s3的IP地址。弄清楚要设置IP的对象后,需要到etc/sysconfig/network-scr
2017-09-05 21:56:04
37520
7
原创 iTerm2 + VIM配色(Solarized)
一. iTerm2中选择配色iTerm2中的配色是在Preferences中的Profiles下设置的,如图所示的下拉列表中第一部分提供的是自带的一些配色,第二部分则是自导入的配色,第三部分则是相关的一些功能,这里直接选择自带的Solarized Dark。ITerm2配色完成后的效果如下图二. VIM配色1. 将下载的solarized配色文件(solarized
2017-07-01 14:01:10
15546
原创 MAC Python3&virtualenv&virtualenvwrapper安装
一. 使用Homebrew安装python3RossideMacBook-Pro:~ rossi$ brew install python3二. 使用pip3安装virtualenv和virtualenvwrapperRossideMacBook-Pro:bin rossi$ pip3 install virtualenv virtualenvwrapper
2017-06-11 15:28:32
1958
原创 CentOS7下curl使用
curl工具NAMEcurl - transfer a URLSYNOPSIScurl [options] [URL...]DESCRIPTIONcurl is a tool to transfer data from or to a server, using one of the supported protocols (DICT, FILE, FTP, FTPS, G
2017-06-07 22:17:40
8740
原创 CentOS7下安装Nginx
一. 为Nginx设置yum仓库1. 创建文件/etc/yum.repos.d/nginx.repo,写入以下内容:[nginx]name=nginx repobaseurl=http://nginx.org/packages/centos/7/$basearch/gpgcheck=0enabled=12. 安装Nginx[r
2017-06-06 23:07:13
1147
原创 MYSQL - 计算行数
1. COUNT(*)计算table的行数计算pet表中的动物mysql> select count(*) from pet;+----------+| count(*) |+----------+| 9 |+----------+1 row in set (0.00 sec)mysql>计算每个人有多少宠物mysql>
2017-04-24 21:32:12
6913
1
原创 MYSQL - 模式匹配
MySQL提供标准的SQL模式匹配,可以使用"_"匹配单个字符,%匹配任意数量的字符(包括0个字符)。当使用模式匹配时,用LIKE和NOT LIKE比较操作取代=和查询以"b"开头的名字的宠物mysql> select * from pet where name like 'b%';+--------+--------+---------+------+------------+-
2017-04-12 22:36:05
758
原创 MYSQL - NULL
1. 测试NULL值,使用IS NULL和IS NOT NULL操作mysql> select 1 is null, 1 is not null;+-----------+---------------+| 1 is null | 1 is not null |+-----------+---------------+| 0 | 1
2017-04-12 20:45:14
272
原创 MySQL - 日期计算
1. TIMESTAMPDIFF() - 返回两个日期或日期表达式的差语法:TIMESTAMPDIFF(unit, datetime_expr1, datetime_expr2)返回datetime_expr2 - datetime_expr1, datetime_expr2和datetime_expr1是日期或日期时间表达式。一个表达式datetime_expr1可能是日期而另一个d
2017-04-10 21:10:53
426
原创 Maven Assembly Plugin - 将依赖包,模块,文件集和单独的文件打包输出
Maven项目中一般只会将项目的源代码编译分发,而依赖包等都不会被包括在这个范围内,即项目的最终输出不会包含依赖包、模块等项目运行时所必须的包和文件。如果想在分发的包中包含这些依赖包和模块,需要使用maven assembly plugin。Maven Assembly Plugin的使用很简单,只需在pom.xml中添加如下配置 build> finalName>restfin
2017-04-09 21:53:34
2120
原创 MySQL - 从表中查询数据信息
SELECT语句是SQL中用来查询表中数据的语句。其基本的语法格式:SELECT what_to_selectFROM which_tableWHERE conditions_to_satisfy;what_to_select指明你想查看什么,可以是表中的列组成的列表或用*表示表中所有的列。which_table指明你想从哪个表中查询数据。where子句是可选的,如果有wher
2017-03-23 22:20:11
1934
原创 MySQL基本使用
一. 连接及断开连接MySQL服务器连接MySQL服务器有两种方式,一种是连接本地的MySQL服务器,另一种是连接远程MySQL服务器,分别需要使用MySQL的本地连接账号和远程连接账号。连接本地MySQLRossideMacBook-Pro:~ rossi$ mysql -u root -pEnter password:*******Welcome to the MySQ
2017-03-21 22:19:21
288
原创 CentOS7下firewalld使用
CentOS7默认的防火墙使用的是firewalld(http://www.firewalld.org/),其相关的使用方法如下:1. firewalld的启动与停止停止:启动:查看运行状态:或2. firewalld命令行工具firewall-cmdfirewall-cmd是firewalld的主要的命令行工具查看firewalld
2017-03-11 23:42:56
2931
原创 CentOS7下使用Yum安装MySQL
一. 下载MySQL Yum仓库的RPM安装包1. 访问http://dev.mysql.com/downloads/repo/yum/ 选择对应的RPM包下载,我使用的是CentOS7,所以选择Linux7的RPM包。若使用命令行方式下载,可在shell下使用wget下载二. 安装MySQL RPM安装包安装完成后会将MySQL的Y
2017-03-11 18:21:40
21962
1
原创 Linux - du命令:显示磁盘使用情况
Linux - du命令:显示磁盘使用情况du功能: 显示磁盘使用空间大小选项: -a Display an entry for each file in file hierarchy. 显示文件目录中所有文件占用空间大小 -d depth Display an entry for all files and di
2017-03-09 21:35:27
579
原创 MAC MySQL安装及配置
安装MySQL:使用brew安装MySQL。在shell下执行以下语句安装MySQLbrew install mysql安装完成后启动mysql,验证安装是否成功。mysql.server start系统返回SUCCESS!表示安装成功。最后停止mysql:mysql.server stop配置MySQL:首次配置MySQL需要进入安全模式,使用以下命令
2017-02-09 22:07:59
364
原创 Jenkins Slave前台运行robotframework测试用例
使用Jenkins Slave运行robotframework测试用例,如果是将Slave安装成windows service即在windows的服务里启动slave,jenkins默认使用system账号运行cmd命令。此时,通过Slave执行pybot.bat --include tagname TestCase,用例是在后台执行,即使登陆Slave的系统也看不到浏览器在运行用例,这使得调试或
2016-06-22 19:29:05
1787
原创 CentOS下安装Jenkins
一. 环境准备(通过yum安装所需的软件)1. 安装JDK在shell下执行语句"yum install java"由于机器上已经安装了java所以执行语句后并没有下载及安装java。2. 安装Maven在shell下执行语句"yum install maven"同样也是因为机器上已经安装过maven所以执行语句后也并没有下载及安装maven。如
2016-01-07 21:29:49
392
原创 Could not read Username Error for Git
在用使用Vundle安装neocomplete时失败,查看log提示could not read Username for 'https://github.com': Device not configured,经检查这里提示的Username是指neocomplete的作者Shougo。因为在.vimrc文件里将插件写成"hougo/neocomplete.vim"使得git找不到该用户无法cl
2015-12-25 16:17:40
1264
原创 MacVim使用Vundle安装NERDTree并配置
vim打开用户主目录下的.vimrc文件,由之前复制到vimrc的Vundle配置中的说明" plugin on GitHub repoPlugin 'tpope/vim-fugitive'可知, 在GitHub仓库中管理的插件用这种用户名/插件名的方式在vimrc文件中表示,所以要用Vundle管理NERDTree需在vimrc文件里添加以下语句Plugin 's
2015-12-19 20:45:13
1619
原创 MAC MacVim及Vundle安装
安装MacVim:从GitHub下载MacVim,当前最新版为MacVim-7.4.dmg,下载完成后双击dmg文件安装。MacVim下载地址:https://github.com/macvim-dev/macvim/releases安装Vim的插件管理工具Vundle:Bundle主页:https://github.com/VundleVim/Vundle.vim主页有其
2015-12-19 15:00:40
7128
原创 MAC GIT服务器搭建
前几天在MAC上鼓捣了一下GIT服务器的搭建,网上搜了些资料并按自己的实际总结如下:前提:已安装GIT(MAC安装Xcode的command line tool时已包含有GIT)升级GIT:在shell下执行语句"git clone git://git.kernel.org/pub/scm/git/git.git"升级成功后,需要在MAC上新建一个账号用于管理GIT:1.
2015-12-15 21:32:16
526
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人