Zhang's Wikipedia

玩就玩大的

基于梯度的权重更新优化迭代算法

有时间参数 tt 参与的一般都为迭代式的算法 gt 表示当前时刻的梯度; γ,β:常数;

2017-03-20 18:44:37

阅读数 333

评论数 0

数据科学(data science)概览

0. 硬件平台设计一种分层的体系结构: 自下到上依次是: 硬件层 分布式系统层 分布式管理层 分布式处理层 应用层; 1. 总论

2016-12-29 16:29:17

阅读数 406

评论数 0

机器学习 vs. 深度学习

1. bias/vairance Trend # 1:Scale driving Deep Learning process.

2016-12-07 15:36:06

阅读数 325

评论数 0

算法(algorithm)、模型(model)与框架(framework)

模型对应的数学公式,公式中往往有待学习得到的参数,因此在进行训练或者学习时,首先初始化这部分参数(0 或标准正太分布); 算法则是一套处理的流程;引入新的记号(变量); 对参数进行update; 算法执行结束,意味着最终的参数也学习得到; 框架,可以 embed 各种不同的求解算法;

2016-11-23 11:41:36

阅读数 4269

评论数 0

机器学习算法时间复杂度的考虑

1. 最小二乘法min∥Ax−b∥22 \min \|Ax-b\|_2^2存在解析解,x⋆=(ATA)−1ATbx^\star=(A^TA)^{-1}A^Tb 时间复杂度正比于 n2kn^2k(其中 A∈Rk×nA\in \mathbb R^{k\times n}) kk 表示样本的数量, nn...

2016-11-08 00:29:21

阅读数 1485

评论数 0

性能优化—— 代码优化

At the heart of all mathematics are numbers.

2016-11-05 23:15:42

阅读数 619

评论数 0

深度神经网络:特点、问题及解决

1. Vanishing Gradient(梯度消失) Greedy Layer-wised Pretraining(贪婪逐层预训练)和有监督调优训练, Hinton 和他的学生 Salakhutdinov G. E. Hinton and R. R. Salakhutdinov,”Reduci...

2016-11-04 09:47:00

阅读数 477

评论数 0

机器学习、深度学习概念术语的理解

1. retina layer、receptive fields m-1 层,也即最开始的层,代表 retina layer 视网膜层(表示整个网络结构的输入) m 层,具有宽度为 3 的 receptive fields,也因此 m 层的神经元只连接着其邻接层(retina layer,m-...

2016-11-02 15:33:01

阅读数 1643

评论数 0

机器学习、深度学习实战细节(batch norm、relu、dropout 等的相对顺序)

1. 分类和预测评估: 准确率; 速度; 健壮性; 可规模性; 可解释性;

2016-10-30 01:39:11

阅读数 3491

评论数 0

辨异 —— 机器学习概念辨异、模型理解

1. Multi-class、Multi-label Multi-class Classification:多分类问题,即在多于两个类别中选择一个; Multi-label Classification:判断一个样本是否同时属于多个不同类别;

2016-10-25 18:06:37

阅读数 479

评论数 0

机器学习算法的流程总结

应当选择哪一种距离度量方式?KNN K值如何确定?也即如何确定超参。 problem-dependent,具体问题具体分析; try what hyperparameters work best on test set. 并非是一个好主意,测试集(模型还未见过的数据)最好的用途在于作为模型泛...

2016-10-23 18:47:17

阅读数 435

评论数 0

树 —— 总论

真二叉树(proper binary tree):不含一度结点的树(只有 0 度和 2 度的结点);

2016-09-16 15:22:21

阅读数 500

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭