Hugging Face 的 transformers 库使用(持续完善)

Hugging Face 的 transformers 库是一个非常强大的工具,它为各种自然语言处理(NLP)任务提供了预训练的模型,并且简化了模型的加载、训练和推理过程。它支持多种预训练模型,如 BERT、GPT、T5、BART 等。

一、核心组件

  1. AutoTokenizer:用于文本的分词和编码;
  2. AutoModel:加载预训练模型的基础类;
  3. Trainer 和 TrainingArguments:用于微调模型的高阶工具;
  4. Pipeline:封装了从预处理到推理的完整流程,适合快速开发。

1.加载模型和分词器

tokenizer = AutoTokenizer.from_pretrained('bert-base-chinese')
model = AutoModel.from_pretrained( “google-bert/bert-base-cased” )

 from_pretrained()可以直接传入模型的名称,从huggingface中下载,也可以直接传入模型的本地路径

    安装 Hugging Face 的 `transformers` 是一个相对简单的过程,下面将详细介绍步骤,并提供一些建议确保你能顺利上手。 ### 安装步骤 #### 方式一:通过 pip 直接安装(推荐) 这是最常用也是最简便的方式。只需要打开命令行工具(Windows 用户可以使用 CMD 或 PowerShell;Mac/Linux 用户则可以在终端里操作),然后输入以下指令即可完成最新版本的安装: ```bash pip install transformers ``` 如果你想要同时获取依赖项如 Tokenizers 和 Datasets ,可以用这条命令一次性搞定所有必要的软件包: ```bash pip install transformers[torch] datasets ``` 这里假设你在用 PyTorch 框架做开发工作,如果是基于 TensorFlow 可以换成 `[tf-cpu]` 参数。 #### 方式二:从源码仓克隆并本地编译安装 对于那些希望参与到项目贡献或者需要对某些功能定制化的用户来说,可以从 GitHub 上直接下载最新的代码再进行编译安装: 1. 克隆官方 Git 仓: ```bash git clone https://github.com/huggingface/transformers.git cd transformers ``` 2. 创建虚拟环境并激活。(这一步不是强制性的但是强烈建议这样做以免污染全局Python环境) 3. 编辑配置文件修改默认设置(如果有必要的话) 4. 执行 setup.py 文件完成自定义化后的程序部署 5. 验证是否成功加载新版本的功能模块。 注释:此方法更适合有一定经验的技术人员尝试。 --- ### 版本兼容性提示 为了保证最佳性能体验,请务必确认所使用的 Python、PyTorch/TensorFlow 等组件之间相互匹配一致。通常情况下,默认跟随主流稳定版就可以了,除非有特殊需求才会考虑提前尝鲜尚未正式发布的候选版本(candidates release)。 以上就是关于怎样正确安装 Hugging Face Transformer 的全部内容啦~希望能帮到你!
    评论
    添加红包

    请填写红包祝福语或标题

    红包个数最小为10个

    红包金额最低5元

    当前余额3.43前往充值 >
    需支付:10.00
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明:

    1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

    余额充值