遇到ModuleNotFoundError: No module named xxx 会发现，路径只有conda的lib库以及当前运行文件的路径，也就是"xxx/code/scripts"train.py需要import src.utils as utils。此时，python解释器当然是搜索不到src文件夹下的文件了。显然，不是因为缺少包导致的问题。打印下当前文件的搜索路径。
关于为什么分类问题不能使用MSE 从本质上讲，交叉熵衡量的是同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布和预测概率分布之间的差异，所以交叉熵本质是概率问题，和几何上的欧式距离无关，在回归问题中才有欧式距离的说法。这就要求使用激活函数对最后一层进行处理，二分类使用sigmoid，多分类就使用softmax，这两个函数本质上是等价的。也是可以的，但是更多的是将回归问题转变为分类问题（离散化），然后使用交叉熵损失函数。，因此，只有在a被正确预测（a=1），且b和c都是相同值时，loss最小。
论文笔记｜Not All Tasks Are Equally Difficult MultiTask Reinforcement Learning with Dynamic Depth Routing 论文笔记 Not All Tasks Are Equally Difficult-- Multi-Task Reinforcement Learning with Dynamic Depth Routing提出了一种动态深度路由（D2R）框架，该框架学习策略性地跳过某些中间模块，从而为每个任务灵活选择不同数量的模块;进一步引入了 ResRouting 方法来解决离策略训练期间行为和目标策略之间不同的路由路径问题
论文笔记｜OUTRAGEOUSLY LARGE NEURAL NETWORKS- THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER 论文阅读笔记，ICLR 2017的OUTRAGEOUSLY LARGE NEURAL NETWORKS- THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER，引入了稀疏门控专家混合层（MoE），由多达数千个前馈子网络组成。可训练的门控网络确定用于每个示例的这些专家的稀疏组合。
什么是HER（Handsight Experience Replay） 记录HER算法的核心内容。motivation：为了解决反馈稀疏的问题，修改目标，从而使有效回报数量变多 问题formulation: 稀疏奖励的情况
终端复用器tmux安装与使用 跑模型防止ssh连接中断--tmux的安装与使用在使用DDP(Huggingface 的accelerate，本质还是DDP) 单机多卡训练时，本来想着用nohup后台运行，这样就不用担心ssh断开连接了，但是DDP使用nohup出现了问题，训练一半的时候会突然中断（收到了中断的信号）nohup跑一段时间显示Message: 'Received 1 death signal, shutting down workers'，网上找到的解决方法并记录
HuggingFace Accelerate整合wandb记录实验 看了半天HuggingFace教程没看明白怎么添加其他wandb run的参数（我还是太菜了!），最后在wandb的教程中找到了…传入init_kwargs参数即可。
DL_CrossEntropyLoss使用注意事项 在使用CrossEntropyLoss 时，因为结合了LogSoftmax 和NLLLoss函数，不需要在输出层增加softmax，也不需要将label/target转换为onehot编码，如，label=2，不需要转化为001，当然输出层是输出C个值(C个类)。
DL_残差网络(ResNet) 将网络学习目标改为学习残差函数，也就是目标值与预测值的差，通过一个跳跃连接可以解决梯度消失问题，这样就可以搭建更深的网络结构，得到更好的训练结果ResNet是何恺明何博士的辉煌战绩之一，是CNN图像处理史上的一件里程碑事件，主要有如下两点：（1）提出了残差网络结构，将网络的拟合对象转变为拟合残差。在一定程度上解决了模型退化问题以及网络的梯度消失/爆炸问题，突破了1000层的网络深度，使得大规模深度网络成为可能。（2）使用Batch Normalization加速训练（舍弃dropout）
ML_k近邻(KNN) k近邻(k-Nearest Neighbor, 简称kNN)是一种常用的监督学习方法，最简单和最常用的分类算法之一，区别于K-means算法。基本原理就是根据某种距离度量找出训练集中与其最靠近的k个训练样本，然后根据这k个“邻居”的信息进行预测。在分类任务中，可使用“投票法”；在回归任务中，使用“平均法“。
ML_线性判别分析(LDA) LDA算法是一种有监督的机器学习算法，对于分类问题，给定训练集， 设法将高维样本数据投影到最佳判别向量空间，以达到特征提取的效果，投影后使得同类样本的投影点尽可能接近，不同类样本的投影点尽可能相互远离。
MAC应用无法打开或提示“来自身份不明开发者” MAC应用无法打开或提示“来自身份不明开发者”原因是mac系统默认只能安装靠谱渠道（有苹果审核的 Mac App Store）下载的软件或被认可的人开发的软件。解决方法：设置→安全与隐私→通用将“允许应用来自”，改为⚠️如果没有任何来源这一项在终端输入以下命令：sudo spctl --master-disable回车，重新打开设置里的隐私与安全，就有了参考文章：https://xclient.info/a/74559ea2-7870-b992-ed53-52a9d988e382.h
Chrome V8引擎介绍 随着Web相关技术的发展，JavaScript所要承担的工作也越来越多，早就超越了“表单验证”的范畴，这就更需要快速的解析和执行JavaScript脚本。V8引擎就是为解决这一问题而生，在node中也是采用该引擎来解析JavaScript。V8是如何使得JavaScript性能有大幅提升的呢？通过对一些书籍和文章的学习，梳理了V8的相关内容，本文将带你...
关注
