python
文章平均质量分 84
sinat_28680819
难道我的理想是做个程序员?
展开
-
Python Requests post并将得到结果转换为json
编程小白一个,目前在学习python 爬虫。之前看到一个博主说些博客对于程序员来说挺重要的,没怎么在意。今天觉得面对一个问题好不容易找到解决方案,是应该记录一下。说不定还有人来讨论讨论,哈哈!之前开始接触用scrapy批量抓取网页,一直很怕面对要调用JS的内容,因为对JS和http request完全不懂,这次遇到一个小地方需要分析url请求,只能硬着头皮上了,东查查西问问的。遇到问题不能原创 2017-04-28 20:01:54 · 92612 阅读 · 7 评论 -
scrapy User Agent切换的两种方法
第一种是使用在setting里面设置middlewares。这个网上有较多版本,我觉得这个版本写的比较好,也比较新。有的旧版本还在使用scrapy.contrib.downloadermiddleware。scrapy新的版本里已经不用contrib了,直接写scrapy.downloadermiddleware就可以了。note:另外为了避免覆盖本身的middlewares.py原创 2017-05-10 21:00:58 · 732 阅读 · 0 评论 -
scrapy post request 和response方法
接上篇是在requests module里post request这里scrapy自己有request方法,一般的就用request方法就可以,post方法要用form request,例子:url="http://english.ctrip.com/chinaflights/ListPartial/GetRefundEndorseV2"payload = {'item':reinfo原创 2017-05-02 20:43:21 · 1231 阅读 · 0 评论