人上人酿酒师的博客

对于不同的任务，仅需要插入不同的prompt 参数，每个任务都单独训练Prompt 参数，不训练预训练语言模型，这样子可以大大 缩短训练时间，也极大的提升了模型的使用率。例如，下图的BERT/BART/ERNIE 均为预训练语言模型，对于人类提出的问题，以及线索，预训练语言模型可以给出正确的答案。前面两个阶段都依赖于有监督学习，但是这个阶段里的预训练可以不需要有监督的数据，极大的降低了对监督语料的依赖。更注重于目标的设计，合理设计预训练跟微调阶段的目标函数，对最终的效果影响深远。

Rasa NLU：提取用户想要做什么和关键的上下文信息Rasa Core：基于对话历史，选择最优的回复和动作通道(channel)和动作(action)：连线对话机器人与用户及后端服务系统。tracker store、lock store和event broker等辅助系统组件之间的顺序关系至关重要。例如，NER组件需要前面的组件提供分词结果才能正常工作，因此前面的组件中必须有一个分词器。组件是可以相互替换的。例如，清华大学开发的分词器和北京大学开发的分词器均能提供分词结果。

大语言模型发展历程，分为 Encode-only、Encode-Decode、Decoder-only

Langchain + chatglm 本地QA 过程

chatglm + LORA 微调

bert/roberta/xlnet/macbert/electra等等tiny、base、small、large、xlarge等等版本，tensorflow和torch版本

tf2.2 依赖第三方包版本匹配，Keras、transformers、bert4keras、rasa

主流的语言模型学习资料

PSI2022/02/08 17:33参考资料：PSI解释：https://zhuanlan.zhihu.com/p/79682292[https://mwburke.github.io/data%20science/2018/04/29/population-stability-index.html](https://mwburke.github.io/data science/2018/04/29/population-stability-index.html)代码https://git

category类型和数值类型 输入 神经网络

全连接层 二分类 激活函数 和 loss 的选择

AUC TPR FPR ROC 评价指标

XGBoost Random Forest 特征选择

特征选择特征选择的目的减少特征数量、降维，使模型泛化能力更强，减少过拟增强对特征之间的理解去掉变化小的特征统计样本个数这应该是最简单的特征选择方法了：假设某特征的特征值只有0和1，并且在所有输入样本中，95%的实例的该特征取值都是1，那就可以认为这个特征作用不大。如果100%都是1，那这个特征就没意义了。当特征值都是离散型变量的时候这种方法才能用，如果是连续型变量，就需要将连续变量离散化之后才能用，而且实际当中，一般不太会有95%以上都取某个值的特征存在，所以这种方法虽然简单但是不太好用。可以

TensorFlow中文官方网站离散和连续特征怎么喂入模型：https://tensorflow.google.cn/tutorials/structured_data/preprocessing_layersKeras 和 TensorFlow 版本 匹配信息：https://docs.floydhub.com/guides/environments/Keras Embedding 和W2V例子：https://zhuanlan.zhihu.com/p/279395289Keras 自定义Embed

无论模型是传统的ML，还是DL模型，处理的都是连续性变量（特征），在现实开发中，特征往往存在着两种状态–离散和连续。机器学习模型处理的都是连续型数据（loss，梯度更新权重，不连续则没有办法去更新权重），对于离散型遍历有以下几种处理方式：将类别无序 ——> 连续 （one-hot）将类别有序 ——> 连续 （Label Encoder），一般将类别数值型 利用 Label Encoder 进行编码，转化成连续型特征。 即是对不连续的数字或者文本进行编号类别型变量范围在范围较小时 推荐

参考链接：SQL：group by ：https://blog.csdn.net/make_1998/article/details/82938038https://blog.csdn.net/weixin_44112790/article/details/117129217https://www.cnblogs.com/chenzechao/p/11273980.html【hive 】cube 和 roll up https://www.cnblogs.com/zzhangyuhang/p/9

文章目录所依赖的包1. 标准化2. 定义模型和指标3. 基线模型4. 设置正确的初始偏差---初始化偏差5. 初始化 权重6. 训练模型7. 类别 权重8. 用class_weight 训练模型9. 评估指标10. 过采样11. 总结：11.1. 加入 初始化偏差，有助于 加快收敛速度。在输出层增加11.2. 加入初始化权重，有可比性11.3. 引入class_weight，11.4. 评估指标11.5. 混淆矩阵11.6. roc:12. 代码总结13. 参考：所依赖的包import tensorfl

假如数据集是（5000，28，128），其中5000指的是样本个数，（28，128）便是具体每个样本的行列数，28就是lstm中的时间步数；假如定义一个lstm层为 LSTM（output_dim= 256，activation=，input_shape= （28，128）），那么每个时间步输出的是一个元素个数为256的一阶向量，所有时间步集合起来就是（28，256）的二阶向量。至于模型是用所有时间步的输出，还是只用最后一个，就看具体怎么设计了。对应：（N，T，F）=&g...

Redis学习文章目录Redis学习1. install redis修改 redis.conf创建本地与docker映射目录，即本地存放位置可以自定义，因为我的docker的一些配置文件都是存放在/data目录下面的，所以我依然在/data目录下创建一个redis目录，这样是为了方便后期管理2. Redis优势3. Redis数据类型4. Redis 命令5. Key 命令6. String 命令7. Hash命令 特别适合用于存储对象8. List命令9. Set 集合10. HyperLogLog