python
GaryLea
这个作者很懒,什么都没留下…
展开
-
Python元类---道生一,一生二,二生三
点击打开链接转载 2018-05-18 16:34:01 · 1004 阅读 · 0 评论 -
Mysql 数据导入至 Mongo 简易版思路
众所周知,Mysql是一个关系型数据库。在Mongo未普及之前,几乎垄断了整个市场。Mongo的问世,其操作简易,存储方便很快就被大家所熟知、使用。两个数据库各有春秋。下面给大家介绍一个Mysql数据导入到Mongo的Demo,我自己写的简易版的。经过测试。20万的数据用了4个多小时,很慢很慢,因为没有加多任务。直接进行查询的。各位可以根据需要进行扩充。上代码: # -*- coding: u...原创 2019-04-01 09:21:02 · 402 阅读 · 0 评论 -
Django shell 使用ipython
django默认的shell不人性化,没有自动补全 要想在django中使用ipython的shell来进行测试,简单几步即可 # 第一步下载 django扩展 pip install django-extensions # 第二步下载 ipython pip install ipython # 第三步,在django setting中设置 shell 默认环境 SHELL_PL...原创 2019-03-02 11:01:33 · 1283 阅读 · 1 评论 -
scrapy 遇到乱码怎么办?一招解决
XX交通委提醒您注意爬虫安全,网站千万条,安全第一条,编码不规范,亲人两行泪 在使用scrapy数据抓取过程中,经常会遇到这种情况(58这类自己专门设置了字符集反爬措施)除外 # 解决思路 download minddlewares中有个process_response方法,修改它即可 因为 response.body 是一个 str 因此,我们需要自己组装一个response,利用...原创 2019-03-05 15:48:20 · 1614 阅读 · 2 评论 -
python 爬虫各种反爬手段小总结
爬虫的具体介绍就不说了,这里想对自己多年的爬虫中遇到的情况进行一个总结 1.模拟浏览器 2.Ip 3.登录 4.验证码 5.各种信息加密 6.请求频率 1.模拟浏览器 目前度娘一搜一大把,最集中的就是ua了,搭建一个随机ua池,不断的变化ua,很普遍的方法, 这里推荐一个大神写的开源库 fake-useragent https://github.com/hellysmile/...原创 2019-01-26 14:56:41 · 2861 阅读 · 0 评论 -
windows安装 Elasticsearch-rtf/head/kibana
elasticsearch-rtf 是elasticsearch的一个中文发行版,目前它最新版本是5.1.1(很久没有跟新版本了) 一、 elasticsearch-rtf 的安装 1.github 搜索 elasticsearch-rtf 2.将它克隆或者直接下载到本地,然后解压 3. 测试运行一下(下面是windows运行) D:\elasticsearch\elasticsear...原创 2018-11-28 15:06:59 · 306 阅读 · 0 评论 -
PHP执行python程序的方法(PHP与scrapy进行交互)
首先看PHP代码 system('PATH\python.exe PATH\xxx.py ' (PARAMS)); 一般我们执行python文件的方法是 python xxx.py, 那么,对于PHP来执行的话,同样是python xxx.py 但是PHP不知道我们python在哪,所以需要加绝对路径PATH, xxx.py也同样需要绝对路径 这里的命令解读为: system('py...原创 2018-11-10 08:47:10 · 1791 阅读 · 0 评论 -
Scrapy crawlspider LoaderItem 对图片不完整链接的拼接
在一次爬取图片链接过程中,发现图片路径不完整 度娘了好半天,对URL路径拼接的方案有两种: 1.urllib.parse.urljoin() 2.进行字符串的拼接 但是我的爬虫继承的事crawlspider,无法重写parse(重写就用不了它的方法了) 然后itemloader,无法在spider里进行上面这两种拼接方法,就尝试了在pipeline进行拼接,但是urljoin需要的u...原创 2018-11-01 10:05:54 · 1099 阅读 · 5 评论 -
windows快速搭建虚拟环境实用技巧
因为设备原因,没有使用虚拟机进行项目开展,但是项目很多,就需要搭建不同的虚拟环境,下面给大家介绍一下如何像操作Linux一样简单快捷使用虚拟环境 1.安装虚拟环境管理包 pip install virtualenvwrapper # 如果觉得慢,可以添加国内的安装源,这里使用的时豆瓣源 pip install -i https://pypi.douban.com/simple virtua...原创 2018-09-12 20:55:39 · 230 阅读 · 0 评论 -
pandas 平均线API(2018年最新)
话不多说,直接开干 import pandas as pd import matplotlib.pyplot as plt # 这里测试数据为200天的一组股票 stock_day = pd.read_csv("stock_day.csv") # 简单移动平均线 stock_day['close'][:200].rolling(5).mean().plot() # rolling(天数...原创 2018-09-12 20:30:21 · 791 阅读 · 0 评论 -
python快速搭建虚拟环境&使用IDE工具一键生成
1. 创建虚拟环境mkvirtualenv 虚拟环境名称 -p python指定版本例: mkvirtualenv django_first -p python3 注意需要联网2. 安装Django使用django 1.11.11版本,注意需要联网pip install django==1.11.11 3. 虚拟环境的命令# 虚拟环境 mkvirtualenv # 创建虚...原创 2018-07-04 08:44:08 · 323 阅读 · 0 评论 -
REST Framework 视图的使用(二)
五个扩展类:1)ListModelMixin 案例: 2)CreateModelMixin 3)RetrieveModelMixin案例: 4)UpdateModelMixin5)DestroyModelMixin案例:因为是在OneNote写的笔记,直接粘贴文字过来就成了图片..下面是视图一和二案例的模块导入以及路由定义...原创 2018-07-10 15:01:41 · 275 阅读 · 0 评论 -
多继承MRO顺序
python是一个面向对象的语言,在我学习python的过程中,很多人都向我说过,python中,一切皆是对象,说到对象这次我就提一下创建实例对象的类. 在我上篇笔记中提过,类是创建实例对象的一种特殊对象,关于对象的详细描述,请查看我的上篇笔记.言归正传,提到类,就不得不提类的三大特性: 封装 继承 多态 本章内容就类的继承来谈谈自己的看法.在类的单继承中,它的继承顺序没什么可...原创 2018-05-22 22:24:09 · 2497 阅读 · 0 评论 -
坐标转换小工具(python版)
最近在研究空间数据相关的业务,刚开始对于空间数据是懵懂的;尤其是它的各种坐标,火星,wgs84,百度mc等等,因为根据业务需求要对坐标进行各种处理,于是搜罗网上、和同事探讨,制作了一个坐标转换的小工具,方便日常使用 安装: pip install ChangeCoordinate 使用: from ChangeCoordinate import ChangeCoord coord = Ch...原创 2019-07-29 15:29:14 · 3296 阅读 · 2 评论