- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 第1.9章 scrapy之完整工程部署
1 scrapy# 安装sqliteyum install sqlite-devel # 升级python到2.7.12,注意原系统中python版本tar -zxvf Python-2.7.12.tgzcd Python-2.7.12./configure make allmake installmake clean make distclean mv /usr/bin/
2017-07-21 14:04:28
738
原创 bug宝典Python篇 pkg_resources.DistributionNotFound: The ‘pip==7.1.0‘ distribution was not found and is
#安装piptar -zxvf pip-9.0.1.tar.gz cd pip-9.0.1python setup.py install 再执行pip --version，提示下面的异常[root@ceshi187 pip-9.0.1]# pip --versionTraceback (most recent call last): File "/usr/bin/pip", line 5
2017-07-19 16:06:14
12257
1
原创 第4.1章 scrapy之web工程
简约而不简单的Django新手图文教程， 这个文档中代码已经把django的基础写得比较详细了，来了解一下WSGI这个概念下面要写的主要是django web工程的改造。 1 静态文件配置
2017-07-17 15:55:37
344
原创 第3.2章 scrapy之kafka
1 安装kafka-python kafka-python 1.3.3，通过pip install kafka-python或者kafka_python-1.3.3-py2.py3-none-any.whl下载,然后再进行pip安装 2 centos下kafka 这里参考别人的部署说明,拾人牙慧一下 Kafka单机、集群模式安装详解(一) Kafka单机、集群模式安装详解(二)
2017-07-17 15:18:49
1453
原创 第2.3章 scrapy之selenium
将selenium应用到scrapy本身并不复杂，复杂的是请求页面的时候，经常会提示timeout，而你很难很快找到解决办法，下面设置了两个时间点，单位为s，超时时间根据各自的应用决定。import sysimport timeimport randomimport tracebackfrom selenium.common.exceptions import TimeoutExceptio
2017-07-05 17:00:40
745
原创 第1.8章 scrapy之splash的使用
centos安装docker 执行docker pull scrapinghub/splash，获取splash镜像 Splash使用初体验 使用splash爬取动态页面，参考scrapy+splash 爬取动态网站(JS) 参考： docker pull不下来镜像是什么原因 Scrapy-Splash爬取淘宝排行榜（一） Scrapy-Splash爬取淘宝排行榜（二） Scrapy
2017-07-03 20:03:26
1788
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人