记录炼丹ing

最近一个月一直训练绿色系客厅风格的lora，当初训练这个风格是因为在网上随便找的图片就拿去训练了，并没有对训练集进行精挑细选。要知道训练集的质量对训练结果有着至关重要的作用。也正是因为这样，训练的结果总是不尽人意，前前后后训练了好多，要tu了wuuw

训练集的缺点：

1. 训练集图片太过单一，反映在窗子的位置几乎都在侧面，以至于在后面推理时总是生成侧面窗子的客厅。要找户型多样的装修图像。
2. 训练集中绿植/树太多，而且还很模糊，导致训练结果不佳。这个占的因素较大。以后可不能找树木/绿植太多的训练集了。
3. 有些图像本身就质量不高（整体模糊/个别物体模糊如毯子，椅子图案，地毯图案）。自己都看着不清楚的话，就pass,一定要找清晰的清晰的。
4. 训练集图片严格意义上不是一个风格的，例如，墙壁颜色不是严格一个色，浅绿，深绿乱七八糟，还有两张是白色的（12.png)，说不出来的颜色的(15.png)emm

输入图的要求：

输入毛坯房的图尽量还是要和训练集图片对应，或者或者相差较小，否则拟合效果不好。

训练集标签caption：

1. 像是沙发，桌子，椅子（窗帘）这些元素在生成时自带的话，那就删掉这些提示词。可能会好一丢丢。
2. 关键词触发还是有用的。
3. 可能需要自然语言和tag结合使用更好吗？待定，还没验证。我太懒了，不想验证，还是tag吧。

训练参数：

1. 训练步数：我也不知道。训练步数对了就过拟合（没有加正则化的时候），表现为每次生成都大差不差，甚至每次生成窗户位置都是侧边的，无语。20多张照片时可能3000-5000就行了？不知道5000会不会多了。不知道,后面结合正则化再研究研究...
2. epoch:20的时候loss在一点一点下降，具体多少最好我也不知道
3. 优化器：先da,zai lion

要解决的问题

1. 模型泛化能力较低，表现在对没出现的户型（窗户）不能很好的拟合。如果调低denoise strength，会拟合窗户，但是风格会减弱，且很模糊。两者不能兼得阿，怎么解决类
2. 生成的总是很相似，过拟合了吗？怎么防止过拟合？训练步数不要太多？
3. 筛选数据集，输入毛坯图也得好好找，还得注意角度