AI大模型如何赋能电商行业，引领变革？
如何使用AI技术实现购物推荐、会员分类、商品定价等方面的创新应用？如何运用AI技术提高电商平台的销售效率和用户体验呢？欢迎分享您的看法
switch MLPmixer会非常有效
稀疏网络和稀疏训练大有前途前途。一个样本一般只会涉及少量参数，更新的时候也只需要更新少量参数。不但能节省训练参数，预测时间也能大大减少。这也和人脑的结构较一致。
谷歌的relu2激活函数真的很好。相比relu，relu2是处处可导的，而且在大于1的区域，导数大于relu的，更有利于快速收敛。相比sigmoid，relu2没有梯度消失的问题。简单又完美！
更新梯度的时候大部分梯度是没有必要更新的，只有少数梯度值得更新。梯度更新本来就该是稀疏的，每次只更新少量梯度，可以极大的提高模型训练效率。
婴儿总是对新鲜的事物有兴趣。今天要这个玩具，明天就腻了，明天对抽屉感兴趣，后天又对垃圾桶感兴趣了，总是在不断学习新东西。
人类学习新知识的时候，总从易到难。比如学单词，需要对新单词单独花时间来记忆，才能将新单词记住学会。训练模型时也应该这样，对困难样本重点学习。
纯MLP模型，如何加入多头注意力？不同头学习不同的模式，有些关注局部，有些关注整体。将transformer中两层全部换成MSA，效果如何？
普金的漫画像，人类也能一眼识别。对图像进行一定的拉伸，旋转，扭曲后，人还能识别出来。扭曲操作似乎目前还没有在cv中使用。
Simsiam目标是学习不变量，用两个异构模型来学习，效果可能更好
simsiam模型确实很巧妙。样本和变形后的样本，是本质相似的，能够学到不变量。
召回相关性差怎么办？召回的训练数据一般只有点击正样本，训练完后recall指标还不错，但是和历史数据的相关性较差。要提高相关性，需要加入文本信息。相关性正负样本怎么办？利用自监督和对比学习来构造正负样本，如果还嫌样本质量不够，可以加入监督样本，例如搜索场景的样本；也可加入对抗样本，这些都是样本构造的方式。
如何给行为少的用户做好推荐？可以参考其他相似用户的行为。例如用户A对买完手机后还会买什么？对用户A缺少历史数据参考。如果观察更多用户呢？就会发现有些用户后续购买了手机套，贴膜，耳机，充电线等。那么我们可以给用户推荐这些产品。
推荐结果重复，是效果差一大原因，如何召回不重复结果？
深网络有什么好处？底层处理低阶信息，高层处理抽像信息，抽象信息更容易迁移，做到全局共享。如何用乾网络实现抽象信息共享？一种可行的方法是，做一个全局分类模块，浅网络通过分类模块实现信息共享。
transformer和SENET怎么结合？transformer根据两两相关性调整权重，SENET根据特征自身调整权重，两者结合可以同时考虑一阶和二阶权重。
图像对机器翻译会很有用。苹果的图像对各国人都是一样的，但是苹果的文字和发音对各国有很大差异。不同的语言可以通过图像自动联系起来，这样可以极大的减少标注样本的需求，建立一个统一的图像文字模型。
普通的dropout方法，所有的节点按照固定概率drop。在文本和图像中，显然不同的部分的重要性不同。丢掉重要部分会严重损坏信息，丢掉不重要的部分影响则很小。dropout按照重要性来丢很重要。
推荐模型中，对用户和商品分成cluster很重要，这样用户之间可以通过cluster相互联系，从而进行知识的迁移
DIN模型有什么缺陷？用户买裙子参考她买过的裙子，这个可以处理。有些商品之间的关系比较隐秘。比如有些用户喜欢高端的产品，比如名牌的衣服，高端的手机，虽然是衣服和手机不相似，但是都是高端的，DIN似乎处理不了这种情况。协同信号在这种情况下似乎挺重要。
关注
