![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
u011047955
这个作者很懒,什么都没留下…
展开
-
spark从notebook启动
环境准备:anaconda3、spark1.把pyspark文件夹复制到sitepakage中2.设置spark_home和pythonpath原创 2019-04-29 16:50:50 · 286 阅读 · 0 评论 -
spark中pmml文件创建方式
def saveToLocalFile(pmml:PMML,path:String): Unit ={JAXBUtil.marshalPMML(pmml, new StreamResult(path))}原创 2019-04-16 11:48:44 · 405 阅读 · 0 评论 -
箱线图
学习箱线图的时候,总感觉学的不顺手,先了解箱线图原理有很大的帮助。本篇适用于初学者举一例:(数据是编的)某大学22位学生离校时间(天):1 2 2 2 3 3 3 4 4 5 5 5 6 6 7 &...转载 2019-04-11 11:39:22 · 3016 阅读 · 0 评论 -
pandas分组排序功能
在一个班级里,学生考试科目有语文、数学、英语,分别有对应的成绩。现在,想要列出每个科目班级的前五名的情况,要求包含科目、姓名、成绩、名次。通过以下代码实现:import pandas as pda=['小红','小绿','小蓝','小白','小青','小紫','小粉','小傻','小红','小绿','小蓝','小白','小青','小紫','小粉','小傻','小红','小绿','小蓝','...原创 2019-03-28 10:30:30 · 7087 阅读 · 0 评论 -
参数调优开发总结--问题1--L1、L2正则化转化为弹性网参数和正则化参数
Spark中的逻辑回归算法中有两个参数,regParam正则化参数和elasticNetParam弹性网参数,通过设置这两个参数,可以间接确定算法中的L1和L2参数。反推公式公式比较简单,可以从源码中看到,如下val regParamL1 = $(elasticNetParam) * $(regParam)val regParamL2 = (1.0 - $(elasticNetPara...原创 2019-02-15 17:31:51 · 1548 阅读 · 0 评论 -
逻辑回归损失函数和对数损失函数的关系
以单样本为例,逻辑回归损失函数C=−yz+ln(1+ez)C=-yz+ln(1+e^{z})C=−yz+ln(1+ez)其中z=wxz=wxz=wx∂C∂z=−y+11+e−z={1,y=10,other values \frac{\partial C}{\partial z}=-y+\frac{1}{1+e^{-z}}=\left \{\begin{array}{cc}1, &...原创 2019-01-23 13:35:28 · 2763 阅读 · 5 评论 -
centos6--xlearn安装方式及采坑记录
初始的安装环境是centos6gcc版本是4.4.7安装xlearn需要满足c++11的标准。安装xlearn的目的主要就是想要调用ffm模型。直接说满足安装条件的最短路径吧。主要就是需要升级gcc,gcc 6.3.0是满足的,6.1.0是不行的,因为已经安装成功,其他版本没有去尝试。yum -y install centos-release-sclyum -y install devt...原创 2019-06-28 14:26:34 · 369 阅读 · 0 评论