Dan的专栏

在Tensorflow中，无论是占位符还是变量，它们实际上都是Tensor，从Tensorflow的名字中，就可以看出Tensor在整个系统中处于核心地位。Tensorflow中的Tensor并不是具体的数值，只是一些我们希望Tensorflow系统计算的节点。softmax识别手写数字# 导入tensorflowimport tensorflow as tf# 导入数据集from...

基本原理根据标签（label）和频率建立霍夫曼树；（label出现的频率越高，Huffman树的路径越短） Huffman树中每一叶子结点代表一个label；层次之间的映射将输入层中的词和词组构成特征向量，再将特征向量通过线性变换映射到隐藏层，隐藏层通过求解最大似然函数，然后根据每个类别的权重和模型参数构建Huffman树，将Huffman树作为输出。 模型的训练Huffm...

题目来源：面试笔试整理3：深度学习机器学习面试问题准备（必会） 深度学习面试题 深度学习岗位面试题1. BP推导。推导过程见：机器学习 学习笔记（19）神经网络    BP神经网络与Python实现2. 梯度消失与梯度爆炸：梯度消失：这本质上是由于激活函数的选择导致的， 最简单的sigmoid函数为例，在函数的两端梯度求导结果非常小（饱和区），导致后向传播过程中由于多次...

k-means算法的优、缺点1、优点：①简单、高效、易于理解②聚类效果好2、缺点：①算法可能找到局部最优的聚类，而不是全局最优的聚类。使用改进的二分k-means算法。②算法的结果非常依赖于初始随机选择的聚类中心的位置，可以通过多次执行该算法来减少初始中心敏感的影响。方法1：选择彼此距离尽可能远的k个点作为初始簇中心。方法2：先使用canopy算法进行初始聚类，得到k个ca...

以下博文转自：https://blog.csdn.net/qq_15738501/article/details/79036255  感谢 最近做了一个数据挖掘的项目，挖掘过程中用到了K-means聚类方法，但是由于根据行业经验确定的聚类数过多并且并不一定是我们获取到数据的真实聚类数，所以，我们希望能从数据自身出发去确定真实的聚类数，也就是对数据而言的最佳聚类数。为此，我查阅了大量资料和博...

题目来源：面试笔试整理3：深度学习机器学习面试问题准备（必会） 面试笔试整理4：机器学习面试问题准备（进阶） 深度学习面试题 深度学习岗位面试题1. 决策树相关：主要见机器学习 学习笔记（8） 决策树KL散度用于度量两个分布的不相似性，KL(p||q)等于交叉熵H(p,q)-熵H(p)。交叉熵可以看成是用q编码P所需的bit数，减去p本身需要的bit数，KL散度相当于用q...

题目来源：面试笔试整理3：深度学习机器学习面试问题准备（必会） 深度学习面试题 深度学习岗位面试题1. CNN问题：（1） 思想 　　改变全连接为局部连接，这是由于图片的特殊性造成的（图像的一部分的统计特性与其他部分是一样的），通过局部连接和参数共享大范围的减少参数值。可以通过使用多个filter来提取图片的不同特征（多卷积核）。 　　 （2）filter尺寸的选择 　...

LeNet5LeNet-5：是Yann LeCun在1998年设计的用于手写数字识别的卷积神经网络，当年美国大多数银行就是用它来识别支票上面的手写数字的，它是早期卷积神经网络中最有代表性的实验系统之一。LenNet-5共有7层（不包括输入层），每层都包含不同数量的训练参数，如下图所示。 LeNet-5中主要有2个卷积层、2个下抽样层（池化层）、3个全连接层3种连接方式卷积层 卷积...

卷积层深度/depth（解释见下图） 步长/stride （窗口一次滑动的长度） 填充值/zero-padding参数共享机制　　在卷积层中每个神经元连接数据窗的权重是固定的，每个神经元只关注一个特性。神经元就是图像处理中的滤波器，比如边缘检测专用的Sobel滤波器，即卷积层的每个滤波器都会有自己所关注一个图像特征，比如垂直边缘，水平边缘，颜色，纹理等等，这些所有神经元加起来就...

门控RNN要做的事情就是让神经网络学会决定何时清除状态，而不是手动决定。引入自循环的巧妙思想，以产生梯度长时间持续流动的路径是初始长短期记忆（long short-term memory，LSTM）模型的核心贡献。其中一个关键扩展是自循环的权重视上下文而定，而不是固定的。门控此自循环（由另一个隐藏单元控制）的权重，累积的时间尺度可以动态地改变。在这种情况下，即使是具有固定参数的LSTM，累积的...

Tensorflow中数据读取的基本机制。事实上，必须先读入数据后才能进行计算，假设读入用时0.1s，计算用时0.9秒，那么没过1s，GPU都会有0.1s无事可做，大大降低了运算的效率。解决这个问题的方法将读入数据和计算分别放在两个线程中，读取线程不断地将文件系统中的图片读入一个内存的队列中，而负责计算的是另一个线程，计算需要数据时，直接从内存队列中读取就可以了。这样可以解决GPU因为I/...

N-Gram是大词汇连续语音识别中常用的一种语言模型，对中文而言，我们称之为汉语语言模型(CLM, Chinese Language Model)。汉语语言模型利用上下文中相邻词间的搭配信息，可以实现到汉字的自动转换。汉语语言模型利用上下文中相邻词间的搭配信息，在需要把连续无空格的拼音、笔划，或代表字母或笔划的数字，转换成汉字串(即句子)时，可以计算出具有最大概率的句子，从而实现到汉字的自动转...