- 博客(6)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 创建spdier的模板
**今天我们来修改spdier中的模板**当我们新建scrapy项目的时候scrapy stratproject test 可以cd test到项目中，执行命令scrapy genspider baidu baidu.com 这么我们就创建了一个spider爬虫了，但是随着我们爬虫的深入，scrapy给我们提供的默认模板已经满足不了我们的需求的时，我们可以自定义我我们的需求。 执行scrapy
2017-05-25 21:56:25
462
原创 ubuntu安装scrapy失败 gcc
1.在ubuntu下安装scrapy出现错误error: command 'x86_64-linux-gnu-gcc' failed with exit status 1 错误如下所示： 解决方法： 1.首先更新下你的软件源，sudo apt-get update 2.然后在终端执行~$ sudo apt-get install python-dev 得到如下图所示： 3....
2017-05-21 21:02:16
499
原创 使用爬虫的小技巧
1.xpath的几种取值用法： response.xpath('//*[@id="post-110287"]/div[1]/h1/text()').extract() '//span[contains(@class, "yangshi")]/text()' #包含关系 '//span[@href="lianjie"]/h1/text()' '//span[@id="post-11
2017-05-20 14:55:03
925
原创 scrapy安装和简单使用
本文讲诉的基于一个python3的虚拟环境下安装和使用scrapy虚拟环境下安装scrapy 安装python3， 也可以同时安装python2，一起使用 创建一个虚拟环境叫python3text ，mkvirtualenv –python=C:\Users\Administrator\AppData\Local\Programs\Python\Python35\python.exe python3
2017-05-16 17:41:16
371
原创 python-虚拟环境的安装和配置
在windows和linux（ubuntu）下进行安装和配置首先windows下的操作： python要自己安装好 在cmd下执行pip install virtualenv， 温馨提示pip install 包 出现time out 的时候，可以进行镜像源的切换，可以使用豆瓣源，使用方法：pip install -i http://pypi.douban.com/simple/ virtualen
2017-05-14 22:35:09
634
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人