sunghosts的专栏

大部分情况下，我们不需要关注背后具体所选择的kernel，因为它背后已经做了最优的选择。V100卡属于sm 7.0，不支持Flash attention，但是我们可以看到默认采用的kernel是sdpd_mem_eff，它相比sdpd_math，速度提升非常明显（6ms vs 16ms）。这里我在batch_size=8下，跑出来运行时间大约是16s（A100下是6.6s），而只采用SDPA的版本运行时间约17s（A100下是7.3s），还是有一定的加速效果的（不过V100相比A100还是太弱了）。

其中，p表示范数(这里是2范数)，dim表示计算范数的维度(默认为1)，eps是为了防止分母为0；方便记忆，二维矩阵中， dim=1表示在行内进行归一化，dim=0表示在列内进行归一化。这里作用的是维度0；维度0上只有1个通道，因此归一化之后全为1，即。代码中针对维度1进行归一化。维度1有3个通道，具体的计算细节为。在使用过程中，对dim的理解不够到位，来三个代码实验一下。

如果你像我一样，发现记住PyTorch/TensorFlow中那些计算点积、外积、转置、矩阵-向量乘法、矩阵-矩阵乘法的函数名字和签名很费劲，那么einsum记法就是我们的救星。此外，einsum这样的领域特定语言有时可以编译到高性能代码，事实上，PyTorch最近引入的能够自动生成GPU代码并为特定输入尺寸自动调整代码的张量理解（Tensor Comprehensions）就基于类似einsum的领域特定语言。

class my_model(Model): def __init__(self, dim): super(my_model, self).__init__() self.Base = VGG16(input_shape=(dim), include_top = False, weights = 'imagenet') self.GAP = L.GlobalAveragePooling2D() self.BAT = L.Bat

腾讯开源的word2vec模型。原版15个G，一般爱好者很难玩出来。所以做了一些小的。方便大家使用。5000-small.txt 这个有5000词，可以下下来玩玩45000-small.txt 这个有4.5w的词，已经能解决很多问题了70000-small.txt 7w词 133MB https://pan.baidu.com/s/1DprHD8HwEqkWRBG0ss2y1A100000-small.txt 10w词 190MB https://pan.baidu.com/s/1KqPOwfr

摘要使用keras构建深度学习模型，我们会通过model.summary()输出模型各层的参数状况，如下：________________________________________________________________Layer (type) Output Shape Param # =================================================================dens

The keras.json 配置文件包含以下设置：{ "image_data_format": "channels_last", "epsilon": 1e-07, "floatx": "float32", "backend": "tensorflow"}image_data_format: 字符串，“channels_last” 或者 “channels_first”。它指定了 Keras 将遵循的数据格式约定。(keras.backend.image_data

transformers在cuda8下的 BertForMaskedLM.from_pretrained 执行时会报 “段错误 (核心已转储)” 的错误，应该是cuda版本的问题，使用cuda10后错误消失

转载：https://www.jianshu.com/p/756541f9ff40