升级打怪之路

1.常用APItorch.nn神经网络库,包括网络层与损失函数torch.nn.functional神经网络基本函数torch.Tensor 基本数据结构torch.autograd自动微分计算梯度torch.optim 通用优化算法包（SGD,Adam）torchvision2.

一、原理介绍（比权重衰退效果更好），在数据里面加入随机噪音。dropout是在层之间，加入噪音,1.【方法如下】E[x’]=x 保证期望不变，p的概率下，取值改为0.其他情况下：改为 x/(1-p)2.【用法】对隐藏层的输出h，做dropout，得到h’常用于多层感知机（全连接层的隐藏层 ）的隐藏层输出上，丢弃概率，是一个超参数【常用值有： 0.5 0.9 0.1】3.【dropout只在训练中用】dropout是一个正则项，正则项只在训练过程中用，正则项只会对权重产生影响

ELMo的出现开创了一种上下文相关的文本表示方法，很好地处理了一词多义问题，并在多个典型任务上有了显著的效果提升。 其后，GPT和BERT等预训练语言模型相继被提出，自此便进入了动态预训练技术的时代。尤其是BERT的出现，横扫了自然语言处理领域的多个典型任务，极大地推动了自然语言处理领域的发展,成为预训练史上一个重要的里程碑模型。此后，基于BERT的改进模型、XLNet等大量新式预训练语言模型涌出，预训练技术在自然语言处理领域蓬勃发展。 在预训练模型的基础上，针对下游任务进行微...

关于使用anaconda出现CondaHTTPError问题的解决:更换为清华镜像网址http://www.lqkweb.com/blog.php?id=18下面的方法非常方便，不需要安装虚拟环境anaconda 中如何安装TensorFlow（超级方便）https://blog.csdn.net/weixin_47059145/article/details/106864136?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefaul