总结
关注
分享
扫一扫
五道口纳什
wx公众号/B站：五道口纳什
展开
-
机器学习算法的流程总结
应当选择哪一种距离度量方式？KNN K值如何确定？也即如何确定超参。 problem-dependent，具体问题具体分析；try what hyperparameters work best on test set. 并非是一个好主意，测试集（模型还未见过的数据）最好的用途在于作为模型泛化能力的评价，应当十分节俭地使用；0. 数据集的切分可采用如下方式对数据集进行切分：原创 2016-10-23 18:47:17 · 1024 阅读 · 0 评论 -
辨异 —— 机器学习概念辨异、模型理解
1. Multi-class、Multi-labelMulti-class Classification：多分类问题，即在多于两个类别中选择一个；Multi-label Classification：判断一个样本是否同时属于多个不同类别；原创 2016-10-25 18:06:37 · 1301 阅读 · 0 评论 -
数据科学（data science）概览
0. 硬件平台设计一种分层的体系结构： 自下到上依次是：硬件层分布式系统层分布式管理层分布式处理层应用层；1. 总论原创 2016-12-29 16:29:17 · 1192 阅读 · 0 评论 -
基于梯度的权重更新优化迭代算法
有时间参数 tt 参与的一般都为迭代式的算法gt 表示当前时刻的梯度；γ,β：常数；原创 2017-03-20 18:44:37 · 1380 阅读 · 0 评论 -
树 —— 总论
真二叉树（proper binary tree）：不含一度结点的树（只有 0 度和 2 度的结点）；原创 2016-09-16 15:22:21 · 1101 阅读 · 0 评论 -
机器学习 vs. 深度学习
1. bias/vairanceTrend # 1：Scale driving Deep Learning process.原创 2016-12-07 15:36:06 · 940 阅读 · 0 评论 -
机器学习、深度学习概念术语的理解
1. retina layer、receptive fields m-1 层，也即最开始的层，代表 retina layer 视网膜层（表示整个网络结构的输入）m 层，具有宽度为 3 的 receptive fields，也因此 m 层的神经元只连接着其邻接层（retina layer，m-1 层）中的 3 个神经元；原创 2016-11-02 15:33:01 · 2617 阅读 · 0 评论 -
算法（algorithm）、模型（model）与框架（framework）
模型对应的数学公式，公式中往往有待学习得到的参数，因此在进行训练或者学习时，首先初始化这部分参数（0 或标准正太分布）；算法则是一套处理的流程；引入新的记号（变量）；对参数进行update；算法执行结束，意味着最终的参数也学习得到；框架，可以 embed 各种不同的求解算法；原创 2016-11-23 11:41:36 · 13734 阅读 · 1 评论 -
性能优化—— 代码优化
At the heart of all mathematics are numbers.原创 2016-11-05 23:15:42 · 1236 阅读 · 0 评论 -
机器学习算法时间复杂度的考虑
1. 最小二乘法min∥Ax−b∥22\min \|Ax-b\|_2^2存在解析解，x⋆=(ATA)−1ATbx^\star=(A^TA)^{-1}A^Tb时间复杂度正比于 n2kn^2k（其中 A∈Rk×nA\in \mathbb R^{k\times n}） kk 表示样本的数量，nn 表示 features/regressors原创 2016-11-08 00:29:21 · 5428 阅读 · 1 评论 -
机器学习、深度学习实战细节（batch norm、relu、dropout 等的相对顺序）
1. 分类和预测评估：准确率；速度；健壮性；可规模性；可解释性；原创 2016-10-30 01:39:11 · 8955 阅读 · 1 评论