- 博客(16)
- 收藏
- 关注
RSS订阅转载 二叉树
沿每个节点v到根r的唯一通路所经过边的数目，称作v的深度，记作depth（v)。v的孩子总数，称作其度数或度，记作deg（v)。无孩子的节点称作叶节点，包括根在内的其余节点称作内部节点。v所有后代及其之间的联边称作子树，记作subtree(v)。树T中所有节点深度的最大值称作该树的高度，记作height(T).任一节点v所对应子树subtree(v)的高度，亦称作该节点的高度，记作h...
2019-09-01 12:22:00
130
转载 词嵌入、word2vec
词汇表使用one-hot编码，一个词在一列向量里只有一个位置是1，其他位置为0，缺点是浪费空间，而且看不出各个单词之间的关系。词嵌入用一个高维向量表示一个单词，意思相近的词的词嵌入比较接近，泛化能力强。高维空间不好表示，t-SNe算法可将高维空间映射为二维空间。apple与orange挨得较近。学习词嵌入通常会考察很大文本集，几十亿单词很常见。可以下载词嵌入矩阵，用于自己...
2019-08-31 21:42:00
168
转载 双向、深层循环神经网络
双向RNN可以让某一单元的输出不仅可以考虑之前的信息，也可以考虑后面时间步的信息。前向传播分为从左向右，从右向左两部分，这样，隐藏层神经元会产生两个激活值，均对输出有影响。对很多NLP问题，双向带有LSTM的RNN用的最多。缺点是必须获取整个序列才能获得输出。如果要学习复杂的函数，需要将更多层堆叠起来构建更深的模型。a[l]<t>,l表示l层，t表示时间步。一...
2019-08-30 21:11:00
405
转载 神经网络梯度爆炸、消失问题、门控循环单元GRU、长短期记忆LSTM
nn：w比1大，会造成激活函数、梯度爆炸。w比1小，梯度会消失。随机化初始权重有助于解决这个问题。RNN同样有梯度消失问题，反向传播时后面的梯度很难传到前面的层，从而影响到前面的层的计算。梯度爆炸会发生数值溢出，可以通过修剪、缩放来解决。GRU：记忆细胞C<t>的作用是提供记忆的能力。候选值C^<t>重写记忆细胞。更新门Γu是一个介于0和1之间的数，决...
2019-08-30 00:28:00
507
转载 RNN语言模型和序列生成
语言模型告诉你特定句子出现的概率是多少。为了建立一个好的RNN模型，需要包括很大语料库的训练集。将每个单词都转成one-hot向量，包括结尾标记和标点符号、未见单词，作为输入。第一个时间步的输入是零向量，做一个sorftmax，输出字典里所有单词的概率。以后每一步的输入为一个单词one-hot，输出下一个单词的概率。对所有输出交叉熵求和，再反向传播。将输出相乘得到整个...
2019-08-29 20:29:00
514
转载 Eager Execution
Tensorflow的Eager Execution是一种命令编程环境，操作会返回具体的值。 要启动Eager Execution，请将tf.enable_eager_execution()添加到程序或控制台回话的开头。 启用Eager Execution会改变TensorFlow操作的行为方式，现在他们会立即评估并将值返回给Python。tf.Tensor对象会引用具体...
2019-08-15 00:31:00
158
转载 C++函数模板和类模板
所谓函数化多态性，就是将程序所处理的对象的类型参数化，使得一段程序可以用于处理多种不同类型的对象。1.函数模板template<class T>//定义函数模板void outputArray(const T* array,int cout){ for(int i=0;i<cout;i++) cout<<array...
2019-08-14 00:07:00
163
转载 C++多态性
1.运算符重载#include<iostream>using namespace std;class Complex{ public: Complex(double r=0.0,double i=0.0):real(r),imag(i){} Complex operator+(const Complex &am...
2019-08-13 23:25:00
92
转载 栈的应用——逆序输出和括号匹配
1逆序输出在栈所擅长解决的典型问题中，有一类具有以下特征：首先，虽有明确的算法，但其解答却以线性序列的形式给出；其次无论递归还是迭代实现，该序列都是依逆序计算输出的。最后，输入和输出规模的不确定，难以实现确定盛放输出数据的容器大小。因其特有的“后进先出”特性及其在容量方面的自适应性，可使用栈来解决此类问题。进制转换：任给十进制整数n，将其转换为λ进制的表示形式。voi...
2019-08-10 18:05:00
360
转载 python生成器与表达式
生成器函数：使用常规的def语句进行编写，但是使用yield语句一次返回一个结果，在每次结果产生之间挂起和恢复他们的状态。生成器表达式：类似列表推导，但是，它们返回按需产生结果的一个对象，而不是创建一个结果列表。def gensquares(N): for i in range(N): yield i**2for i in gensqu...
2019-08-10 15:45:00
96
转载 python迭代器和推导
如果对象时实际保存的序列或是在迭代工具上下文中（例如，for循环）一次产生一个结果的对象，那么就看作是可迭代的。总之，可迭代对象包括实际序列，以及能按照需求计算的虚拟序列。术语可迭代对象与迭代器在指代支持迭代的对象的时候，常常是可以互换的。一般倾向用可迭代对象（iterable）来指代一个支持iter调用的对象，同时用迭代器（iterator）来指代一个支持next（I）调用的对象。...
2019-08-10 00:04:00
108
转载 C++继承与派生
1 类的继承方式有public（共有继承）、protected（保护继承）、private（私有继承）三种。不同的继承方式，导致原来具有不同访问属性的基类成员在派生类中的访问属性也有所不同。这里说的访问来自两个方面：一是派生类中的新增成员访问从基类继承的成员。二是在派生类外部（非类族内的成员），通过派生类的对象访问从基类继承的成员。2 类型兼容规则是指在需要基类对象的任何地方，都可以...
2019-08-07 23:22:00
125
转载 tensorflow.keras
在keras中，可以通过组合层来构建模型。模型是由层构成的图。最常见的模型类型是层的堆叠：tf.keras.Sequential.model = tf.keras.Sequential()# Adds a densely-connected layer with 64 units to the model:model.add(layers.Dense(64, activa...
2019-08-06 23:59:00
102
转载 递归算法
递归允许函数自我调用1.线性递归判断n=0之类的平凡情况以免无限递归而导致系统溢出。这类平凡情况统称为递归基。平凡情况可能有多种，但至少要有一种，且迟早必然会出现。对列表进行求和：def sums(ls): if len(ls)<1: return 0 else: return sums(ls[:-1])+...
2019-07-30 15:40:00
192
转载 tensorfolw学习笔记——张量、微分、自定义训练、keras
1张量张量可以使用GPU加速，可以自动将python内置数据类型转换为张量。张量有形状和数据类型。张量与numpy主要区别为：1张量可以用GPU加速2张量不可变。Tensors和Numpy ndarrays可以自动相互转换。Tensors使用.numpy()方法可以显示转换为ndarray。这种转换让Tensors和ndarray共享了底层内存。Tensors可能在GPU内存可是...
2019-07-29 23:20:00
318
转载 python可变长参数、key-only参数之收集和解包参数
可变长参数在函数定义中，收集参数。如：>>>def f(*args):print(args)>>>f(1)(1,)>>>f(1,2,3,4)(1,2,3,4)>>>def f(**args):print(args)>>>f(a=1,b=2){'a':1,'b':2}...
2019-07-29 22:03:00
232
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人