python
文章平均质量分 90
骄阳如火
这个作者很懒,什么都没留下…
展开
-
django-数据库报错处理及处理思路
django配置数据库后,有的人会碰到这样的报错当报这种错误的时候,通常是数据库配置有问题,比如数据库配置填写不正确。如果你确认数据库配置没问题,那你可以尝试修改下用户名,看看报错中的 for user ‘用户名’@*是否修改,如果修改了,说明读取的配置文件确实是这个配置文件,如果其他信息都确定正确,那么一种可能的原因是mysql8的加密机制问题,需要修改密码的加密方式。ALTER USER...原创 2020-02-18 14:24:42 · 578 阅读 · 0 评论 -
scikit-learn中gridSearchCV 的使用
GridSearchCV使用介绍通常算法不够好,需要调试参数时必不可少。比如SVM的惩罚因子C,核函数kernel,gamma参数等,对于不同的数据使用不同的参数,结果效果可能差1-5个点,sklearn为我们提供专门调试参数的函数grid_search。函数介绍class sklearn.model_selection.GridSearchCV(estimator, param_grid, sco原创 2017-11-13 23:26:21 · 12379 阅读 · 0 评论 -
基于Python的分布式高可用扩展引擎Ray 0.2.0发布
翻译自https://ray-project.github.io/2017/09/30/ray-0.2-release.html我们很高兴发布Ray 0.2版本发布,本次发布包括以下信息: * Plasma 对象存储性能的重大提升 * 增加基于Jpuyter 的web UI页面 * 开始可扩展增强学习库的开发 * 行为容错处理Plasma自从上次发布后,Plasma对象已经从Ray项目的基翻译 2017-10-21 11:37:57 · 2824 阅读 · 0 评论 -
基于python的高性能实时并行机器学习框架之Ray介绍
前言加州大学伯克利分校实时智能安全执行实验室(RISELab)的研究人员已开发出了一种新的分布式框架,该框架旨在让基于Python的机器学习和深度学习工作负载能够实时执行,并具有类似消息传递接口(MPI)的性能和细粒度。这种框架名为Ray,看起来有望取代Spark,业界认为Spark对于一些现实的人工智能应用而言速度太慢了;过不了一年,Ray应该会准备好用于生产环境。 目前ray已经发布了0.3.翻译 2017-11-29 15:05:55 · 9716 阅读 · 0 评论 -
supervisord配置
supervisord配置之前配置过supervisord,时间长了还是忘记了,最近再一次配置,记录下过程,方便以后再次配置。1 安装supervisord由于我安装了python,所以直接安装就可以: pip install supervisor安装后,调用命令: echo_supervisord_conf > /etc/supervisord/supervisor.conf注意:可能原创 2017-11-21 15:10:34 · 6395 阅读 · 0 评论 -
scikit-learn基础使用之一
scikit-learn基础使用之一scikit-learn是机器学习非常常用的一个包,通过scikit-learn可以方便进行机器学习算法的使用,下面总结自己在使用过程中的常用的通用方法,本文参考1 估计器(Esimator)估计器在很多时候可以理解成分类器,主要包括两个函数:fit():预测测试集的类别,参数为训练集和类别两个参数;predict():预测测试集的类别,参数为测试集from转载 2017-11-22 22:37:48 · 559 阅读 · 0 评论 -
基于Python的分布式高可用扩展引擎Ray 0.3.0发布
Ray: 0.3发布我们很高兴宣布发布Ray的0.3版本,本次发布主要包括distributed actor handles 和Ray.tune——一个新的超参搜索库,还包括修复一系列bug和提高稳定性。 为了更新到最新版本,运行:pip install -U ray超参搜索工具本版本增加了Ray.tune,这是一个分布式超参数评估工具,用于强化学习和深度学习等训练时间较长的任务,他目前包括以下功翻译 2017-12-01 15:03:17 · 806 阅读 · 0 评论 -
scikit-learn 常用模型介绍及使用(上)
scikit-learn 常用模型介绍及使用scikit-learn常用的模型及使用,包括线性回归、逻辑回归、决策树、随机森林、svm、聚类、密度聚类、LDA、HMM、贝叶斯网络等等,介绍下这些算法在scikit-learn中的使用方法。 scikit-learn中常用的方法就是fit(),predict(),predict_proba(),pedcit_log_proba()等方法,下面通过实例原创 2017-12-02 16:12:01 · 7463 阅读 · 1 评论 -
scikit-learn 常用模型介绍及使用(下)
scikit-learn 常用模型介绍及使用在上一篇文章主要介绍了机器学习中常用的模型使用方法,比如线性回归、逻辑回归、决策树、随机森林、bagging、random forest、xgboost、adaboost、svm、k-means、密度聚类、谱和谱聚类等,这些在很多的比赛中是比较常用的算法,前几天看一篇文章还介绍xgboost为何在很多比赛中都有较好的效果,速度快、精度也较高,xgboost原创 2017-12-06 19:17:30 · 2494 阅读 · 0 评论 -
猜你喜欢-DataCastle
猜你喜欢参考之文章:冠军“yes,boy!”分享,含竞赛源代码背景来自datacastle的竞赛,猜你喜欢 竞赛内容: 个性化推荐已经成为各大电子商务网站的必备服务。准确的推荐不仅可以提高商家的产品销量,更能为顾客提供优质快速的购物体验。推荐系统发展至今,已经有许多非常优秀的推荐算法,从各种不同的角度来为电子商务大厦添砖加瓦。这一次,我们特意为大家准备了一个商品网站的用户评分数据,记录了几年时转载 2017-12-15 20:40:56 · 1219 阅读 · 0 评论 -
Docker安装pyspark及验证
通过打好的包安装 下载后的配置好的文件的目录结构如下,文件下载地址: 链接:https://pan.baidu.com/s/1i8yO2X25TZ0ofSEXPmIq-g 密码:akfq├── apt.conf ├── build_network.sh ├── build.sh ├── config │ ├── apt.conf │ ├── core-site.xml │ ├─...原创 2018-07-02 11:39:22 · 1789 阅读 · 0 评论 -
机器学习流程--ML之一
机器学习概论流程机器学习处理的流程大概如下:(1)数据获取 (2)数据清洗,特征工程 (3)模型选择 (4)结果校验那么,在模型选择及结果校验过程中,有如下几个标准:过拟合与欠拟合 过拟合就是模型训练的太好了,在训练集上能够非常好的完成目的,但是在测试集上,效果却很差,通常过拟合是模型参数选择过多导致,而欠拟合就是模型在测试机和训练集上表现都不好。 欠拟合好处理,而过拟合不好处理原创 2017-10-21 19:10:10 · 899 阅读 · 0 评论 -
线性回归-ML之二
机器学习算法机器学习算法主要介绍线性回归、逻辑回归、决策树、随机森林、提升、svm、聚类、贝叶斯算法、LDA,HMM算法。线性回归方法:使用极大似然估计解释最小二乘法误差是独立同分布的,服从均值为0,方差为定值的高斯分布(中心极限定理)。中心极限定理实际问题中,很多随机现象可以看做众多因素的独立影响的综合反应,往往近似服从正态分布。计算过程似然函数计原创 2017-10-21 19:17:30 · 272 阅读 · 0 评论 -
SVM--ML之四
SVM算法简介SVM全程Support Vector Machine,支持向量机,在深度学习出来之前,长期霸占机器学习算法图像识别榜首位置多年,可见该算法的魅力,相当于冷兵器时代的长枪。线性可分支持向量机分割超平面假设在二维平面上有两个数据集,C和D为两个不想交的凸集,则存在超平面P,P可以将C和D分离。 两个集合的距离,定义为两个集合间元素的最短距离; 做集合C和集合转载 2017-10-25 22:25:57 · 366 阅读 · 0 评论 -
python 正则规则
正则表达式是Python程序设计中非常实用的功能,本文就常用的正则表达式做一汇总,供大家参考之用。具体如下:1.re 模块:核心函数和方法:(1)re.compile()(2)re.findall()(3)re.match()(4)re.search()(5)re.split()(6)re.sub()和re.subn()''' 正则表达式原创 2016-05-04 19:37:17 · 571 阅读 · 0 评论 -
odoo开发domain的使用
odoo开发中,domain的使用可以在view中,可以在model中,因此说说自己用到的一些地方。首先domain得使用方法就不说了,可以参考http://www.chinamaker.net/html/2014/study_1211/183.html,写的还是挺详细的,说说在view中的使用。1、view中字段关联的过滤在view视图中,字段之间的关联使用,比如说在地址信息中,有省原创 2016-05-05 09:25:04 · 3349 阅读 · 0 评论 -
odoo调试端口8072问题
openerp.service.server: Evented Service (longpolling) running on 0.0.0.0:8072今天调试odoo时发现调试模式没法使用,从网络查找了一下发现出现上面的情况,找到了解决方案,http://www.lxway.com/591219401.htm把odoo/openerp/__init__.pyimport s原创 2016-05-05 14:02:12 · 1742 阅读 · 0 评论 -
datetime的时间处理逻辑
datetime包括datetime和date和timedelta三个常用模块,下面就功能分别介绍一下:1、想要组一个日期和日期时间的功能: date1 = datetime.date(2016,12,31)>>> date1datetime.date(2016, 12, 31)>>> datetime1 = d原创 2016-05-19 15:12:51 · 410 阅读 · 0 评论 -
odoo中根据模型生成viwe视图的框架代码
工作一段时间了,由于后台是odoo,而odoo得view视图根据model中定义的类型进行生成,由于每次都要重复写很多东西,而且还容易出错,因此我写了一个根据model生成view视图的框架,生成好后,根据模型中定义的fields再填充数据进去,提高了一点效率。#coding=utf-8import reimport ostmp_head_view = """ """t原创 2016-07-26 09:03:44 · 748 阅读 · 0 评论 -
odoo根据模型生成security配置信息
在odoo开发中,根据model生成security也是重复性且容易犯错的阶段,因此我也写了一个简单的生成程序,可以生成相应的,下面是我的程序。#coding=utf-8import reimport osname_re = re.compile(r"\'([^\']*)\'")name_line_re = re.compile(r" _name")def get_secur原创 2016-07-26 09:11:18 · 564 阅读 · 0 评论 -
pandas读取excel数据
最近学数据分析,需要读取excel数据,用pandas读取excel数据还是很方便的,写了一个函数读取数据:def load_excel_data(filename): data = pd.ExcelFile(filename) print data.sheet_names df = data.parse("Sheet1") id = df['ID'] pri原创 2016-09-13 10:48:03 · 6450 阅读 · 0 评论 -
python在hadoop上运行
1、命令样式: hadoop jar $STREAM \-files ./mapper.py,./reducer.py \-mapper ./mapper.py \-reducer ./reducer.py \-input /user/$(whoami)/input/*.txt \-output /user/$(whoami)/output hadoo原创 2016-09-01 16:15:37 · 847 阅读 · 0 评论 -
Celery学习总结
Celery学习总结 celcery是一个任务分发系统,总体我的感觉就是通过将需要执行的任务交给celery,在celery内进行任务的执行,celery需要消息中间价存放你的任务,这时可以用redis或者rabbitmq作为消息中间件,用来存消息和读消息。1、celcey简介celery是一个简单、灵活可靠的,处理大量消息的分布式系统,并且提供维护这样一个系统的必需的工具。专注于实时处理的任原创 2016-09-01 16:23:45 · 426 阅读 · 0 评论 -
python中patch的使用
1、由于python是一切皆对象,当我们import一个module时,python会做以下几个事情: 导入一个module 将module对象加入到sys.modules中,后续对该module的导入将直接从该dict中获得 将module对象加入到golbal dict中因此当我们引入一个模块时,会从global中查找,如果需要替换原有模块,需原创 2016-09-19 10:53:07 · 14953 阅读 · 11 评论 -
python 装饰器的使用
学习python的装饰器,按照看的教程自己操作一遍#coding=utf-8def auth(func): def inner(*args,**kw): print 'first run %s!'%func.__name__ funcs = func(*args, **kw) print 'after run %s!'%func转载 2016-05-04 14:05:43 · 496 阅读 · 0 评论