- 博客(17)
- 收藏
- 关注
RSS订阅转载 scrapy官方安装方法
安装依赖sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev python-dev, zlib1g-dev, libxml2-dev and libxslt1-dev are required for lxml libss...
2016-12-29 13:12:00
154
转载 ubuntu系统中安装RoboMongo
1、下载RoboMongoRoboMongo官网下载链接。选择好相应版本。2、解压文件tar -xzf robomongo-0.9.0-linux-x86_64-0786489.tar.gzcd robomongo-0.9.0-linux-x86_64-0786489 (如果移动到其他目录，请加上相应的目录。)解压后，把robomongo文件夹保存到一个常用的...
2016-12-21 12:00:00
216
转载 docker常用命令
docker安装最好的办法就是看官方网站的方法。常用命令sudo service docker start #启动systemctl start docker.service #开始启动docker info #基本信息查看docker images #本机镜像情况,-a表示全部do...
2016-12-16 23:37:00
137
转载 pyspider示例代码七：自动登陆并获得PDF文件下载地址
自动登陆并获得PDF文件下载地址#!/usr/bin/env python# -*- encoding: utf-8 -*-# Created on 2015-03-22 22:06:55# Project: pdf_spiderimport refrom pyspider.libs.base_handler import *class Handl...
2016-12-08 16:35:00
505
转载 pyspider示例代码六：传递参数
传递参数示例一#!/usr/bin/env python# -*- encoding: utf-8 -*-# vim: set et sw=4 ts=4 sts=4 ff=unix fenc=utf8:# Created on 2014-10-25 14:31:24import reimport jsonfrom libs.pprint impor...
2016-12-07 13:18:00
246
转载 pyspider示例代码五：实现自动翻页功能
实现自动翻页功能示例代码一#!/usr/bin/env python# -*- encoding: utf-8 -*-# Created on 2016-05-19 00:21:31# Project: v2exfrom pyspider.libs.base_handler import *#import reclass Handler(B...
2016-12-07 13:17:00
629
转载 pyspider示例代码四：搜索引擎爬取
搜索引擎爬取#!/usr/bin/env python# -*- encoding: utf-8 -*-# Created on 2016-03-23 08:25:01# Project: __git_lab_fixfrom pyspider.libs.base_handler import *class Handler(BaseHandler):...
2016-12-07 13:15:00
92
转载 ubuntu系统下安装pyspider：搭建pyspider服务器新手教程
首先感谢“巧克力味腺嘌呤”的博客和Debian 8.1 安装配置 pyspider 爬虫，本人根据他们的教程在ubuntu系统中进行了实际操作，发现有一些不同，也出现了很多错误，因此做此教程，为新手服务。安装pyspider安装pyspider请参考另一篇：ubuntu系统下安装pyspider及问题解决安装mysqlsudo apt-get install mysq...
2016-12-07 13:11:00
169
转载 ubuntu系统下安装pyspider：安装命令集合。
本篇内容的前提是你已安装好python 3.5。在ubuntu系统中安装pyspider最大的困难是要依赖组件经常出错，特别是pycurl，但把对应的依赖组件安装好，简单了。下面直接上代码，所有的依赖我都实践过。sudo apt-get install python python-dev python-distribute python-pip libcurl4-openssl-...
2016-12-07 13:09:00
91
转载 ubuntu系统下安装pyspider：使用supervisord启动并管理pyspider进程配置及说明
首先感谢segmentfault.com的“imperat0r_”用户的文章和新浪的“小菜一碟”用户的文章。这是他们的配置文件。我参考也写了一个，在最后呢。重点说明写在前面。本人用supervisord配置好pyspider后，pyspider一直有问题，不能正常运行。找了很久原因。最后想起，supervisord启动的进程是否正常这个问题。于是果断用supervisorctl命...
2016-12-07 11:06:00
144
转载 ubuntu系统下安装pyspider：解决pyspider启动时不启动phantomjs问题
问题描述：在建立第一个虚拟环境时，运行pyspider正常。建立第二个虚拟环境时，运行pyspider再现下面错误。应该是phantomjs没有启动成功。错误代码：(phantomjs:21507): WARNING **: Couldn't register with accessibility bus: Did not receive a reply. Possible ...
2016-12-06 10:00:00
434
转载 ubuntu系统中解决github下载速度慢问题
如果你在使用github，出现访问和下载速度慢问题，可以通过修改host解决。记得不要踩坑哦！分四步：第一步：查询速度快的IP地址在http://tool.chinaz.com/dns中查询下面三个域名：github.com把TTL值最小的IP地址记录下来。第二步：修改HOST文件进入终端命令行模式，输入sudo gedit /etc/hosts在文件最后添加...
2016-12-05 11:26:00
1932
转载 pyspider示例代码三：用PyQuery解析页面数据
本系列文章主要记录和讲解pyspider的示例代码，希望能抛砖引玉。pyspider示例代码官方网站是http://demo.pyspider.org/。上面的示例代码太多，无从下手。因此本人找出一些比较经典的示例进行简单讲解，希望对新手有一些帮助。示例说明：本示例主要是PyQuery解析返回的response页面数据。response.doc解析页面数据是pyspider的主要...
2016-11-28 22:36:00
186
转载 pyspider示例代码二：解析JSON数据
本系列文章主要记录和讲解pyspider的示例代码，希望能抛砖引玉。pyspider示例代码官方网站是http://demo.pyspider.org/。上面的示例代码太多，无从下手。因此本人找出一下比较经典的示例进行简单讲解，希望对新手有一些帮助。示例说明：pyspider爬取的内容通过回调的参数response返回，response有多种解析方式。1、response.jso...
2016-11-28 22:14:00
164
转载 pyspider示例代码一：利用phantomjs解决js问题
本系列文章主要记录和讲解pyspider的示例代码，希望能抛砖引玉。pyspider示例代码官方网站是http://demo.pyspider.org/。上面的示例代码太多，无从下手。因此本人找出一下比较经典的示例进行简单讲解，希望对新手有一些帮助。示例说明：如果页面中部分数据或文字由js生成，pyspider不能直接提取页面的数据。pyspider获取页面的代码，但是其中的js...
2016-11-28 16:50:00
310
转载 让Ubuntu使用阿里云国内源，解决下载速度慢问题。
阿里云镜像官方地址http://mirrors.aliyun.com/找到最新源地址列表：http://www.linuxdiyf.com/linux/23163.html软件包管理中心（推荐）在软件包管理中心“软件源”中选择“中国的服务器”下mirros.aliyun.com即可自动使用在终端中修改方法：sudo cp /etc/apt/sources.li...
2016-11-28 14:23:00
842
转载 让PIP源使用国内镜像，提升下载速度和安装成功率。
对于Python开发用户来讲，PIP安装软件包是家常便饭。但国外的源下载速度实在太慢，浪费时间。而且经常出现下载后安装出错问题。所以把PIP安装源替换成国内镜像，可以大幅提升下载速度，还可以提高安装成功率。国内源：新版ubuntu要求使用https源，要注意。清华：https://pypi.tuna.tsinghua.edu.cn/simple阿里云：http://mir...
2016-11-27 23:15:00
12289
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人