- 博客(11)
- 收藏
- 关注
RSS订阅转载 李宏毅unsupervised learning: Deep Auto-encoder课堂笔记
PCA做法 deep auto-encoder做法---deep auto-encoder还原的图会更接近原图，但这并不是重点，要不然直接输出原图就好了，降维干嘛 重点是降维后能分开 例子： ----- 转载于:https://www.cnblogs.com/lunotebook/p/11512741...
2019-09-12 16:49:00
143
转载 李宏毅unsupervised learning-Word Embedding 课堂笔记
有多少个词汇就有多少维向量，只有表示它那维是1其他都是0。这样不知道词汇之间的关系，所以可以采用class。但是这样太粗糙了，引入word embedding。 word embedding简介： 根据词汇的上下文找出它的vector count based：两个词经常一起出现，给他们一个相似的向量 prediction based： 这种推...
2019-09-12 10:59:00
118
转载 李宏毅unsupervised learning-Neighbor Embedding 课堂笔记
凭借的是降维前的空间中，每一个点和它的邻居之间的关系进行降维。 也叫流形学习Manifold Learning。 那个点离黄色点更远还是离红色点更远呢，表面上好像黄色点更远，但是按照形状其实红色更远，就像要降维之后再观察 方法一：局部线性嵌入（LLE） LLE目的也是降维，第一步找出wij K不能太大也不能太小。 方法二：Laplacian Eige...
2019-09-12 10:59:00
147
转载 李宏毅unsupervised learning-Linear Methods（lecturte13）课堂笔记
贴标签，不知道要分成多少类？就要根据经验决定。----->简单介绍K近邻 两两计算相似度（相似度高的两个），切一刀看哪些在一组 cluster时就是以偏概全，每个object都一定属于某个cluster，但这样太过粗糙，所以要用一个vector表示一个object。 dimension reduction被引入，简介： 假设三维空...
2019-09-11 11:06:00
126
转载 李宏毅RNN+LSTM（lecturte21）课堂笔记
把词汇变成一个向量，方法： 用other表示不在词汇组里的向量 以及用26个字母表示 希望如此：但是不理解出发还是到达 我们希望neural network有记忆力，可以根据上下文产生不同output，所以产生了RNN： 举例说明： 给memory一个初始值[1,1]蓝色格子，带入计算 蓝色格子被更新为之前绿色格子的[2,2]，再次计算并更新R...
2019-09-04 17:38:00
150
转载 李宏毅CNN（lecturte10）课堂笔记
CNN一般用于影像的辨识上。 CNN优点：可以只看图片部分关键特征；出现在图片不同位置的特征不需要重新定义参数；可将图片维持特征下进行放缩。 简单说明CNN： 讲解： filter参数是学出来的 假设filter已经训练好，作内积和得新矩阵。 filter1的作用：3出现代表右斜线连续三个1 如果是彩色图片，就要加上RGB数值就有...
2019-09-02 10:41:00
128
转载 李宏毅training DNN（lecturte9-1 ）课堂笔记
deep learning效果不好，从哪些方面做改进呢？ 得到一个神经网络，检查在training data上的表现，好的话检查在testing data上表现。 testing data上表现不好，不一定是过拟合，要结合training data上表现。 改进方法：dropout可以在测试集上取得较好结果 layer越深很可能发生梯度消失问题 引入 采用相当于 M...
2019-08-30 10:15:00
87
转载 李宏毅back propagation（lecturte7 ）课堂笔记
正向具体过程： 举例： 反向具体过程： 假设问号项已知，有 所以说反向传播就可以理解为 此时是假设是最后输出层： 假如不是最后输出层，是中间某一层： 继续算下去 一直到输出层为止 从前往后需要太多，所以可以选择直接从后往前算，例子为从5，6先开始，到3，4再往前 总结： 转载于:https://www.cnblogs.com/lunote...
2019-08-27 16:43:00
87
转载 李宏毅deep learning（lecturte6）课堂笔记
连接是手动设置的，weight和bias是调出来的，一个神经网络将参数设置好就是一个function deep指的就是许多隐藏层 可以表示成矩阵方便运算 ------------ 手写数字举例： 输入256维向量，输出10维，每个代表输出为数字0，1……9的几率 计算损失就是计算y和y^的交叉熵损失 找一个θ*使total loss最小 怎...
2019-08-27 15:46:00
75
转载 李宏毅classification+Logistic Regression（lecturte4+5）课堂笔记
穷举最好函数最基本方法结合贝叶斯公式、全概率公式，算概率 简单例子： 红圈里根据数据算出 。 极大似然估计： 某个μ和∑的Gaussian就是每个样本点的几率 穷举所有μ和∑，能使likelihood 式子最大的μ和∑我们就认为它们是最有可能产生那79个点的μ*和∑*。易知μ*和∑*的最佳解。 每个类总用不同的μ和∑，可能会效果不好或者过拟合，选择...
2019-08-27 11:12:00
89
转载 李宏毅Gradient Descent（lecturte3）课堂笔记
其中，learning rate：η ：梯度，它实际是个vector。Gradient可以考虑成Loss等高线的法线方向 learning rate要小心调节 红线的learning rate就是刚刚好，蓝线太慢了，绿线黄线太快了。可以通过画右边图来观察。 越学习越慢，不同的参数最好提供不同的learning rate。 怎么选择learning rate呢？可以采用...
2019-08-22 15:03:00
98
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人