关于Windows下的弱智记事本

由于之前用过一段时间Windows调试网站,家里的电脑也是Windows,在折腾网站修改文件的时候碰见过一些非常奇葩、弱智的问题。

其实我很早以前就不用Win自带的记事本了,一直Notepad++和Editplus混合使用,但是当时也不知道什么原因,用记事本编辑了一个插件的php文件,结果微信公众平台里面token验证失败一直报错,折腾一晚上,到最后才知道由于用记事本打开编辑,文件袋BOM,导致token验证失败。从此坚决再也不碰记事本!!

Windows下自带的记事本致命缺陷:千万不要使用Windows自带的记事本编辑任何文本文件。原因是Microsoft开发记事本的团队使用了一个非常弱智的行为来保存UTF-8编码的文件,他们自作聪明地在每个文件开头添加了0xefbbbf(十六进制)的字符,你会遇到很多不可思议的问题,比如,网页第一行可能会显示一个“?”,明明正确的程序一编译就报语法错误,等等,都是由记事本的弱智行为带来的。建议你下载Notepad++、Editplus等代替记事本,不但功能强大,而且免费!记得把Notepad++的默认编码设置为UTF-8 without BOM(由于兼容性,带BOM的utf-8在一些浏览器中显示为乱码)即可。



### 对大型预训练模型进行微调的方法 对于大型预训练模型的微调,存在多种策略来优化性能并减少资源消耗。具体来说: #### 微调方式的选择 有三种主要类型的微调方法适用于不同的场景和需求[^1]。 - **仅预测模式** 这是最简单的形式,其中预先训练好的模型被用于直接做预测而不改变其任何参数。这种方式适合于源域与目标任务非常相似的情况,在这种情况下能够快速获得较好的效果而无需额外训练时间。 - **部分微调(迁移学习)** 此方法涉及冻结大部分网络权重,只调整最后一层或多层以适应新任务的需求。这通常意味着更改全连接层(fc layer),以便它可以处理新的类别数。这种方法既利用了原始模型强大的特征提取能力又减少了过拟合的风险。 - **全面微调** 当希望进一步改进模型表现时可以选择此选项,即不仅更新顶层还解冻一些甚至全部卷积层来进行端到端的学习。虽然这样做会显著增加计算成本,但对于那些拥有充足算力并且追求更高准确性的项目而言可能是值得的投资。 #### Adapter-Tuning 方法简介 除了上述传统意义上的微调外,还有专门设计用来应对大规模预训练模型特殊挑战的技术——比如 Adapter-Tuning 。这是一种轻量级方案,通过向现有架构内部添加小型辅助结构(称为适配器) 来实现高效的任务定制化改造[^3]。这些新增组件允许在不影响整体稳定性的同时引入必要的灵活性去捕捉特定领域内的细微差别。 ```python class Adapter(nn.Module): def __init__(self, input_size=768, adapter_size=64): super().__init__() self.down_project = nn.Linear(input_size, adapter_size) self.up_project = nn.Linear(adapter_size, input_size) def forward(self, hidden_states): adjusted_hidden_state = self.down_project(hidden_states) nonlinearity_applied = torch.relu(adjusted_hidden_state) output = self.up_project(nonlinearity_applied) return output + hidden_states ``` 这段代码展示了如何构建一个基本版本的 Adapter 层,它接受来自 BERT 或其他 Transformer 架构中的隐藏状态作为输入,并经过两次线性变换以及 ReLU 激活函数作用后再返回给原位置继续传播下去。 #### 实践建议 当决定采用哪种方式进行微调时应考虑多个因素,包括但不限于可用硬件条件、预期精度水平及开发周期长短等实际限制条件。如果目标是在短时间内得到满意的结果,则可能更倾向于选择前两种较为保守的方式;而对于长期研究或工业界应用则不妨尝试更加激进但也更有潜力取得突破进展的做法。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值