Datawhale AI夏令营(第三期)逻辑推理TASK3笔记

        在TASK3的学习中，我按照官方的教程跑通了lora微调的方案。

        当然作为小白来说，下一步就是想尝试改动参数或者改改模型尝试上分了。        

        改了几个学习率之后，重复尝试启动推理的baseline。

        baseline2_main.ipynb， 启动！

        之后发现他会卡死在这里。

        向前倒退一步：运行start_vllm.ipynb，发现他会报错如下：

Traceback (most recent call last):
  File "C:\Git-source\Firefly\train.py", line 439, in <module>
    main()
  File "C:\Git-source\Firefly\train.py", line 424, in main
    trainer = init_components(args, training_args)
              ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\Git-source\Firefly\train.py", line 372, in init_components
    tokenizer = load_tokenizer(args)
                ^^^^^^^^^^^^^^^^^^^^
  File "C:\Git-source\Firefly\train.py", line 188, in load_tokenizer
    config = AutoConfig.from_pretrained(args.model_name_or_path, trust_remote_code=True)
             ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\py\py311\Lib\site-packages\transformers\models\auto\configuration_auto.py", line 1050, in from_pretrained
    config_class = CONFIG_MAPPING[config_dict["model_type"]]
                   ~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "C:\py\py311\Lib\site-packages\transformers\models\auto\configuration_auto.py", line 748, in __getitem__
    raise KeyError(key)
KeyError: 'qwen2'
 

        经过查询，发现他是transformers函数包没有导入的问题。解决方法如下：

        方法一：退回到lora.ipynb文件中的第一个导包环节，点击运行。

        方法二：在终端手动pip install transformers>=4.39.0。

        都可以。

        之后按照顺序先运行start_vllm.ipynb，再运行baseline2_main.ipynb就解决了。咱也不清楚是安包之后，哪里操作把包又删掉了。汗。