为什么bert能搜索一句话中的关键字，它的机理

BERT(Bidirectional Encoder Representations from Transformers)是一种自然语言处理模型，它可以让计算机理解和处理人类语言。它能够搜索一句话中的关键字，是因为 BERT 具有自然语言理解(NLU)能力。

BERT 使用了双向预训练(bidirectional pre-training)的方法，即在训练之前，将模型输入文本同时从前往后和从后往前进行预测。这样可以让模型在训练过程中学会更多的语言知识，并更好地理解文本的上下文信息。

在 BERT 模型的输入中，每个词都有一个对应的词向量表示，这些词向量是通过预训练得到的。在搜索一句话中的关