LLM-2023：Falcon模型【阿联酋】

Falcon 重要信息速读

1. 本模型是阿联酋Technology innovation institute 推出的，最大的是40B，在AWS上384个GPU上，使用了1万亿的token训练了两个月，具体型号没说，考虑到中东富豪的咖位，那估计是最贵的没跑了。
2. 然后中东富豪们也不打算用大模型赚钱，这个模型直接可以免费商用！这对比Llama无法直接商用简直是各大公司的福音。
3. 模型的训练性能也还不错，说是之用了CPT3的75%的成本。
    

1. 做了大量的数据清洗和去重工作，从下图可以看出，洗到最后，只剩下原始数据的11%，大概5万亿个token。这5万亿个token按照之前的研究结论，可以支持训练一个250B的模型是没有问题的。我猜很快就会有人跟进训练一个250B的模型，以期望超越GPT-3.5，这是一个巨大的商业机会。

1. 为了普通人也能玩一玩，还训练了一个7B的模型，这次使用了1.5万亿的token。
2. 整体模型的架构是在Bloom的基础上进行了修改，使用了 FlashAttention (Dao et al., 2022) 和 mult