cuipanguo的博客

chatgpt概要

转载《https://mp.weixin.qq.com/s/HJytXba8s0A7VWgGVXSdOw》CMU、华盛顿大学、南加州大学、MIT、MILA、密歇根大学、爱丁堡大学、DeepMind、伯克利、Apple…如果我说来自这些地方的dalao共同发表了一篇文章，你相信么？但别惊讶，在即将召开的EMNLP'20的长文列表里，我们就真找到了这样一篇“奇文”。一篇论文引得众星云集，那解决的必然不是小问题。这不，作者也很贴心地把他们所希望解决的问题斜体独行地放在了论文的首栏里——Where is N

1、先说为什么会有BN： 我们在训练一个深度网络的时候，每一层的结果对整体结果都有很大影响的。而我们每次网络的输入都是batch_size大小的，这样做的目的是避免错误样本导致的梯度更新错误，而就是这样的batch_size个样本，他们在中间层的网络输出按道理来说应该分布是类似的，但是实际情况不是这样，他们的输出分布是乱七八糟的，网络层数越大，这种差异就越大，这就导致梯度更新方向手足无措，这...

https://blog.csdn.net/xbinworld/article/details/83063726

这两者计算的都是文档和文本之间的相似度，如果是两个短文本貌似也可以。1、TF-IDF = TF * IDF 假设文本是“我怎么这么帅气”，4个词，第一个词“我”， 文档1中一共有10个词，“我”有2次，这个词的词频都是2，这就是TF 第一个词“我”，在所有文档中，有“我”这个词的文档数是m，文档总数是n，则IDF = log（n/（m+1）） 所有词叠...

1、以前怎么计算两句话的相似度呢？就是词袋模型 我很帅 》[1（我）,1（帅）,1（很）,0（不）] 我不帅 》[1,1,0,1]2、现在怎么计算呢？就是把每个字转换成一个向量（也可以把一句话变成一个向量）下面是两种经典模型CBOW简单说一下：一共N个字，上下文各两个字，每个字是一个1*N向量，对应位置是1，其余全为0.然后呢乘以一个N*K的矩阵，K...

1、下载安装，网络差的话就会失败，一般就是下载超时什么的，之前说过解决办法，但这里建议找个好点的网络就ok，安装步骤随便找个勾勾选项就ok，影响不大2、下面尽量超级详细点： 1、启动：随便找个空地方右键点击Git Bash here 2、你的igit远程仓库应该有两种模式SSH和HTTP，http有点坑，下载慢，上传慢，你文件大的话就会超时，各种失败，...

https://www.sohu.com/a/226611009_633698

Lattice LSTM由于中文的实体一般都是由词语组成的，所以分词与NER在中文领域具有很强的相关性，一般操作是先分词，再做词序列标注。很明显的，分词错误会导致ner的错误，尤其在开放领域，跨领域分词仍然是一个难题。简单来说Lattice LSTM是利用字符作为输入的基础上，加上了分词的信息，就这样，没了，具体怎么加的，看一下文章接下来来讲1、文章首先介绍了关于中文的两种实体识别的方...

开始撸代码：1.先定义参数， batch_size：64 epoch：40 hidden_dim：300 learning_rate：0.001 dropout：0.5 embedding_dim：300 optimizer：Adam cl...

BiLSTM+CRF:如果看了之后还看不懂，我自罚三杯！！！参考的是国外一个很好的博客，原文链接：https://createmomo.github.io/2017/12/06/CRF-Layer-on-the-Top-of-BiLSTM-7/现在抽空学习一下知识图谱方面的知识1、Introduction：1.1 开始之前： 假设我们有两个实体类别：person...

1、sigmoid函数 所以啊很明显，会导致梯度消失（因为在反向传播BPTT过程中，在对w求导时，会包含f(x)的导数，多层时就相当于0.25的n次方，前面的单元更新态度太小了，所以是梯度消失啦）...

学习链接：https://blog.csdn.net/Solo95/article/details/848421441、指数加权平均： 2、使用动量的梯度下降： 3、RMSprop算法： 4、Adam算法：dw相当于一阶矩，平方相当于二阶矩。没了，就是这么简单...

直接贴代码# 将模型保存为可用于线上服务的文件（一个.pb文件，一个variables文件夹）# print('Exporting trained model to', save_dir)builder = tf.saved_model.builder.SavedModelBuilder(save_dir)# 服务器专用代码classification_signature = (...

1、进入PyTorch的官网：https://pytorch.org/get-started/locally/选择你需要安装的版本，Run this Command指的是cmd命令下运行的代码，分别安装torch和相应的深度学习库，当然有的时候会报错，如报错ReadTimeoutError，这个错误指的是你电脑下载这个文件速度太慢了超时了，有两种解决办法：1、设置超时时间： ...