Alex_Zhonghang的IT博客

极客世界,希望能把技术的狂热带给每个喜欢开发的人

自定义博客皮肤

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

使用Scrapy爬取租号玩网站lol待租账号信息(完整代码)

一、项目Githun地址 https://github.com/zhonghangAlex/LOLSpider 欢迎大家访问下载!   二、LoLSpider  本项目基于scrapy,对租号玩网站的英雄联盟相关出租账号信息进行爬取,并且存取入库,使用随机User-Agent和随机高...

2019-01-20 20:32:42

阅读数 387

评论数 2

elasticsearch、elasticsearch-head、kibana(dev tools插件)的安装配置

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定...

2019-01-04 18:48:54

阅读数 363

评论数 0

scrapy shell加入user_agent

我们在运用scrapy shell调试的时候,通常会遇到返回的response的状态码为302,这是因为没有加User_Agent的原因。比如爬取拉勾网的时候,没加请求头给我返回302重定向,如图:  所以我们可以在进行scrapy shell 调试的时候,加入User_Agent进行伪装:...

2019-01-02 02:40:34

阅读数 229

评论数 0

提示
确定要删除当前文章?
取消 删除