机器学习
文章平均质量分 77
jxzheng95
这个作者很懒,什么都没留下…
展开
-
提升方法
Blending and BaggingUniform BlendingG(x)=1T∑t=1Tgt(x)G(x) = \frac{1}{T}\sum_{t=1}^Tg_t(x)gtg_t 应该是多元化的,才会比单个的假设更好Linear BlendingAny Blending简单模型的组合不一定是线性的,还可能是非线性的。 BAGgingbootstrap aggregation(BAGgin原创 2017-05-20 17:17:46 · 244 阅读 · 0 评论 -
信息熵和散度
信息熵和散度信息量首先给出香农信息量的概念:信息量需要具有三个性质事件出现的概率越大,所包含的信息量越小可加性不能为负满足这三个性质的唯一函数h(x)=−log2pxh(x)=-log_2p_x pxp_x是事件xx发生的概率熵熵是所有事件发生的信息量的期望 H(p)=−∑ipi∗log2piH(p)=-\sum_ip_i*log_2p_i 熵也可以看作是最小平均编码长度。参考熵和编码原创 2017-11-12 12:56:39 · 631 阅读 · 0 评论 -
numpy和pandas的axis
numpy的axisstackoverflow的回答 简单易懂的例子:x = np.arange(60).reshape(3,4,5)引用x的元素就是形如x[0,1,2],而axis就指下标所在的维度。x.sum(0) # 表示在第0维上塌缩,最后的结果的shape是(4,5)pandas的axisstackoverflow的回答 axis=0表示沿着纵轴...原创 2018-04-14 22:13:22 · 305 阅读 · 0 评论 -
【线性代数的本质】笔记
【线性代数的本质】“线性代数的本质”是3blue1brown的视频,看了之后可以对线性代数有更多直观的理解。序言几何上的理解能让你判断出解决特定问题需要用什么样的工具,感受到他们为什么有用,以及如何解读最终结果,数值上的理解则能让你顺利应用这些工具。矩阵与线性变换矩阵的列向量可以看作是原空间的基向量经过变换后的形式。 矩阵的秩表示变换后列空间的维数。 上...原创 2018-04-04 14:02:22 · 528 阅读 · 0 评论 -
InvalidArgumentError:You must feed a value for placeholder tensor
InvalidArgumentError:You must feed a value for placeholder tensor ‘Placeholder_2’ with dtype float and shape [128,100,10]在运行sess.run(tf.global_variables_initializers())时因为使用了tf.py_func,它的返回值是shape=&l...原创 2018-11-02 14:59:28 · 3894 阅读 · 0 评论 -
林轩田“机器学习基石”笔记(1) 机器学习理论基础
Feasibility of Learning直观来讲机器学习其实是用采样估计整体。When Can Machines Learn?No Free Lunch (必须有归纳偏好才可以学习)假如没有明确要学习的问题,对于样本,所有的模型假设fff同等重要,那么从D\mathcal{D}D中学习去推断D\mathcal{D}D以外的是注定失败的。在西瓜书中,把NFL定理认为是归纳偏好。也就是...原创 2019-02-27 21:14:28 · 280 阅读 · 0 评论 -
机器学习之树模型
决策树模型,树的结构固定,自顶向下分叉。优化方法就是搜索某个特征的取值范围作为分支的界限。所以,各种决策树模型的体现在度量信息增益的方式,Formally讲,就是损失函数。回归树用MSE,分类树用交叉熵。xgboost模型推导第t步的损失函数得到新的目标函数并进一步,将它分解为T个叶子节点上子目标函数之和(方便下边搜索树结构使用)。解这个二次函数的最小值问题得到形式化的解法。贪心...原创 2019-06-22 19:01:46 · 434 阅读 · 0 评论