Datawhale AI 夏令营 task02 大模型复杂逻辑推理

20240730 by 老年人（未完）

(精读baseline篇)

这两天脑子有点麻，明天早上再补完。

这篇文章现在算不上什么笔记，准确的说是我的待办事项列表

相关学习材料链接(来自群友)

这里塞群友新发的各类有用链接，明早去这些链接里挖宝

1-llama模型链接(@助教-王耶耶)

https://huggingface.co/meta-llama/Meta-Llama-3.1-8B-Instruct

2-模型微调工具箱（@周诣)

下面的库都是相当好用的，代码封装简洁又清晰，如果你也想微调个自己的llama3 中文定制版，不要错过～

Firefly - GitHub - yangjianxin1/Firefly: Firefly: 大模型训练工具，支持训练Qwen2、Yi1.5、Phi-3、Llama3、Gemma、MiniCPM、Yi、Deepseek、Orion、Xverse、Mixtral-8x7B、Zephyr、Mistral、Baichuan2、Llma2、Llama、Qwen、Baichuan、ChatGLM2、InternLM、Ziya2、Vicuna、Bloom等大模型

LLaMA-Factory - GitHub - hiyouga/LLaMA-Factory: A WebUI for Efficient Fine-Tuning of 100+ LLMs (ACL 2024)

unsloth - GitHub - unslothai/unsloth: Finetune Llama 3.1, Mistral, Phi & Gemma LLMs 2-5x faster with 80% less memory

Xtuner - GitHub - SmartFlowAI/Llama3-Tutorial: Llama3-Tutorial（XTuner、LMDeploy、OpenCompass）

SWIFT - GitHub - modelscope/swift: ms-swift: Use PEFT or Full-parameter to finetune 300+ LLMs or 50+ MLLMs. (Qwen2, GLM4v, Internlm2.5, Yi, Llama3.1, Llava-Video, Internvl2, MiniCPM-V, Deepseek, Baichuan2, Gemma2, Phi3-Vision, ...)

3-ollama框架本地部署开源模型

【逻辑推理丨Ollama本地CPU部署qwen2:1.5b】

https://exn8g66dnwu.feishu.cn/docx/GNkvdq1RyoLrGHxmJ7VcXzA9n6g?from=from_copylink

4-modelscope上的llama3.1模型链接

https://modelscope.cn/models/LLM-Research/Meta-Llama-3.1-8B-Instruct-GPTQ-INT4

5-Task01优秀笔记

https://exn8g66dnwu.feishu.cn/sheets/M4LFsR8oAhnFKZtGdZHcDJn4ncg?sheet=BgR7Y4

6-baseline精读直播0729

见datawhale微信视频号-直播回放