NASA和IBM推出INDUS：高级科学研究的综合大模型

在最近的一项研究中，来自美国宇航局和IBM的一组研究人员合作开发了一种模型，该模型可应用于地球科学，天文学，物理学，天体物理学，太阳物理学，行星科学和生物学以及其他多学科学科。当前的模型，如 SCIBERT、BIOBERT和SCHOLARBERT仅部分覆盖了其中的一些领域。现有的模型没有充分考虑所有这些相关领域。

为了弥合这一差距，该团队推出了INDUS，这是一套基于LLMs编码器的专门针对这些特定领域的设备。由于INDUS 是根据从各种来源精心挑选的语料库进行培训的，因此可以保证涵盖这些领域的知识体系。INDUS 套件包括多种类型的模型，以满足不同的需求。

在这项研究中，Indus特别关注与地球、天体、太阳和太阳系内的行星相关的跨学科领域，如物理学、地球科学、天体物理学、太阳物理学、行星科学和生物学。虽然现有的特定领域模型（如 scibert、biobert和scholarbert）的训练语料库部分涵盖了其中一些领域，但目前还没有一个特定的模型可以共同涵盖所有感兴趣的领域。Indus，这是一个基于llm Encoder的合集，专注于这些感兴趣的领域，使用来自不同来源的精心策划的语料库进行训练。

具体而言，Indus做到了：

1. 利用字节对编码算法IndusBPE，从精选的科学语料库中定制的分词器。

2. 利用精心策划的科学语料库和IndusBPE标记器预训练了多个