spritezhong的博客

Logistic回归1.先给出Sigmoid函数由这个函数生成的曲线称为Sigmoid曲线对于二元分类，符合伯努利分布（the Bernoulli distribution, 又称两点分布，0-1分布），因为二元分类的输出一定是0或1，典型的伯努利实验。所以：由最大似然函数可知两边同时取对数：因为求似然函数的最大值，所以采用梯度上

知识点补漏：1.仿射函数和线性函数的区别：简单来说仿射变换就是线性变化加上一个平移。知乎上看到的一个很好的解释：搬---作者：Cascade链接：https://www.zhihu.com/question/20666664/answer/15790507来源：知乎著作权归作者所有，转载请联系作者获得授权。以下内容仅涉及图形变换，未考虑更为抽象的概念。为了方

看完GBDT详解，才发现GBDT这四个 词已经完全概括了这个算法的思想，Gradient是核心关键词，算法的目的是减少残差，采取的策略是在残差减少的梯度方向上建立新的模型。算法伪代码如下图： 由算法流程图，可以清晰地发现一、起初，先获得loss的初始值，这里的loss可以是Table10.2中的多个标准，对于每一种loss得到的梯度表达式也不一样。二、下面的

SVM总结在学习机器学习的常用算法中，在SVM上花费了大量的时间，今天写个知识点总结吧！ SVM包括：线性可分向量机、线性支持向量机和非线性支持向量机。线性可分向量机：顾名思义，构建它的条件是训练数据线性可分，学习策略是最大间隔法。可以表示为凸二次优化规划问题，其原始最优化问题为 minw,b12||w||2min_{w,b} \frac{1}{2} ||w|| ^{2} s.t. yi(

csvfile=open(filepath,'w')，在python2版本中可以用file()函数打开writer=csv.writer(csvfile)第二个参数表示写入的模式，几种常见的模式参数常用值模式参数常用值值模式'r'读模式‘w’写模式‘a’追加模式‘b'’二进制模式‘+

背景：最近在写一个python的项目时，需要用到protobuf数据结构，本人的python环境是python3.5。前提准备：在protobuf下载地址  下载 protobuf-python-3.5.1.zip和protoc-3.5.1-win32.zip并解压。1. 首先把protoc-3.5.1-win32文件夹下面的protoc.exe移至protobuf-python-3.5.1/sr...

看了论文《TencentBoost: A Gradient Boosting Tree System with Parameter Server》，主要从以下三个方面阐述论文思想：一 ，woker端的工作（其中有一个节点是leader worker主要负责sample features，合并梯度图）：    1.每个worker根据分配到的数据，统计部分特征的分位图，然后把统计的分位图Push到s...