- 博客(5)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 pip install中的报错
问题1. Script file 'D:\Anaconda3\Scripts\pip-script.py' is not present.解决方案：再装一次pip即可解决，如下easy_install pip
2018-10-12 16:15:23
858
转载 Scrapy基础知识之发送POST请求中的坑
使用requests发送post请求先来看看使用requests来发送post请求是多少好用，发送请求Requests 简便的 API 意味着所有 HTTP 请求类型都是显而易见的。例如，你可以这样发送一个 HTTP POST 请求：r = requests.post('http://httpbin.org/post', data = {'key':'value'})使用data...
2018-10-11 15:13:10
2833
原创 Scrapy基础知识之发送POST请求：
1. Scrapy默认发送的是get请求，当我们需要发送携带参数的请求时，是需要使用 post 请求。那么可以使用 yield scrapy.FormRequest(url, formdata, callback)方法来发送POST请求。2. 如果希望程序执行一开始就发送POST请求，可以重写Spider类的start_requests(self) 方法，并且不再调用start_urls里...
2018-10-11 09:49:12
2083
原创 Python3 爬虫之 Scrapy 快速入门
初识 ScrapyScrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取（更确切来说, 网络抓取）所设计的， 也可以应用在获取API所返回的数据（例如 Amazon Associates Web Services）或者通用的网络爬虫。Scrapy 环境搭建1. 安装 Python 3....
2018-10-10 16:57:20
548
原创 Scrapy的Response 编码格式
当通过spider 发出请求之后会返回response。response是一个类，其中包括一些内置的属性。1. response.url 返回请求地址2.response.body 返回请求内容这里需要注意，body类型是str，所以body的内容编码类型是爬取页面的原类型。# 根据需求转化 response.encodingresponse.body.decode(respo...
2018-10-10 10:28:48
11122
空空如也
如何实现xml中的数据合并
2016-02-26
TA创建的收藏夹 TA关注的收藏夹
TA关注的人