大模型面试经验（一）

哎，没做过大模型，投了一个面试先来踩踩坑吧。

面试的问题主要是集中在大模型实战项目部分。问了RAG怎么做，如果问到范围之外的问题该怎么办？我回答说有一个规则判断的方法，如果问到的问题不匹配提问的规则，那么就过滤掉。但是面试官后面的反问里说，业务上是先训练一个意图判断的接口，看看这个是属于哪个分类，然后调用相应的agent。这样就可以支持闲聊机器人了。我们做的实战项目还是太简单了。

项目里还写用到了强化学习，但是其实强化学习的用处不大。。这一点回顾简历的时候也发现了，所以算法工程师根据场景选择合适的算法是重要的，不要为了什么高大上的技术去搞一个新算法。

大模型在电商的应用场景主要是导购机器人，这里的问题是如果是连衣裙搭配，大模型怎么回答？不会继续推荐连衣裙了，而是会推荐和他相关的商品。疑问：如果是这样的效果，现在的推荐算法，猜你喜欢这种能不能做？

另外后面的提问里还问了他们业务上看中什么指标？主要是业务方会模拟1000个提问，会从hitrate、幻觉、拒答、安全等指标来评估这个RAG的性能。当然在上线任务也是有latency指标的，响应不能超过5s，2s必须有第一个token。