AI agent

Agent教程: 从零基础快速掌握Agent开发流程与通用开发范式

Embeddings:是什么以及它们为何重要?

Linux环境下sentence-transformers 之 all-MiniLM-L6-v2模型安装与使用

迪哥agent开发-环境相关配置解读_哔哩哔哩

使用ollama分别在我的window、mac、小米手机上部署体验llama3-8b

Huggingface 超详细介绍

深入理解 Embedding 和 向量：AI 应用中的核心技术

手把手教你用Ollama & AnythingLLM搭建AI知识库，无需编程，跟着做就行

------------------------------llama和ollama的区别----------------------------------------------

llama是一个语言模型(LLM), 其中 llama-3.1-8B这个模型比较小，可以在笔记本上运行。llama是mate公司（即Facebook）开源的大模型，很多公司/人在这个基础模型上进行微调和蒸馏，然后发布新的模型。

ollama是一个本地大模型管理工具，可以方便的运行各种大模型。

------------------------------Transformer模型、Transformer python库、ollama的区别------------------------

Transformer模型是一种神经网络，包含自注意力机制、多头注意力、位置编码、前馈神经网络 等

ollama是一个本地大模型管理工具，优势在于其易于安装和使用，但缺点是模型库有限

Transformer python库则是一个更为通用的框架，它提供了自动模型下载、运行、丰富的代码片段，以及非常适合实验和学习。然而，它要求用户对机器学习和自然语言处理有深入了解，同时还需要编码和配置技能。Transformer库支持多种模型，包括但不限于LLaMa模型，提供了更广泛的灵活性和功能‌。

Hugging face 起初是一家总部位于纽约的聊天机器人初创服务商，他们本来打算创业做聊天机器人，然后在github上开源了一个Transformers库，虽然聊天机器人业务没搞起来，但是他们的这个库在机器学习社区迅速大火起来。目前已经共享了超100,000个预训练模型，10,000个数据集，变成了机器学习界的github。

http://www.huggingface.co/ 网站已经屏蔽了中国IP，但我们可以通过hf-mirror.com网站来下载模型。python代码中这样配置 os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"

7种大模型的部署方法汇总：Transformers、Llama.cpp、Llamafile、Ollama......_模型引擎vllm和transformers的关系-CSDN博客

---------------------------openai api 是什么------------------------------

是openai公司（开发gpt模型）定义的agent和GPT之间的接口。现在几乎成为业内标准，所有LLM都可以通过这个接口来访问，比如llama模型。client=openai.OpenAI(base_url='http://127.0.0.1:11434/v1',api_key='not-needed')

---------------------agent框架--------------------------

1、咖哥介绍的 LlamaIndex，LangChan

2、迪哥介绍的Phidata是一个为大型语言模型（LLM）增加记忆、知识和工具的框架。它旨在解决LLM在上下文理解和行动能力方面的局限性。为大语言模型增加记忆、知识和工具。

AI 助手 == LLM + 记忆 + 知识 + 工具 == LLM + Phidata

3、网上搜到到AnythingLLM

------------------ agent的思维模型 ---------------------------

1、React（观察、思考、行动、再观察、再思考、再行动 迭代）LlamaIndex，LangChan都在使用这个模型

2、思维链（COT）3、思维树（TOT）4、批判修正（Critique Revise）5、自问自答（Self-Ask）6、计划与执行（plan-and-Execute）

------------RAG增强技术------

1、Bert 

2、bge-reranker-large模型

再次提升RAG性能：两种高效的Rerank模型实践指南 -AI.x-AIGC专属社区-51CTO.COM

-----------AI接口---------

package main

import (
	"bytes"
	"fmt"
	"io"
	"net/http"
	"os"
)

func t4() {
	//https://zhuanlan.zhihu.com/p/712360292
	//
	//str:=`{"model": "llama3.1:8b","stream": false,"prompt": "redis是如何限制单并发的"}`
	str := `{
  "model": "llama3.1:8b",
  "messages": [
    {
        "role": "system",
        "content": "You are a warm-hearted assistant, and you only speak Chinese."
    },
    {
        "role": "user",
        "content": "李华去公园玩把腿摔断了，被送到医院了。腿摔断一般要多长时间好？"
    },
    {
        "role": "assistant",
        "content": "腿摔断的恢复时间不一，通常需要几个月才能基本康复。\n\n如果是轻微的骨折，一般可以在1-2个月内恢复，主要需要注意休息和康复锻炼。"
    },
    {
        "role": "user",
        "content": "李华为啥去医院了？"
    }
  ],
  "stream": false
}`
	resp, err := http.Post("http://127.0.0.1:11434/api/chat", "application/json", //generate
		bytes.NewBufferString(str))

	if err != nil {
		fmt.Println(err)
		os.Exit(-1)
	}
	defer resp.Body.Close()
	body, _ := io.ReadAll(resp.Body)
	fmt.Println(string(body))
}
func main() {
	t4()
}

go run main.go
{"model":"llama3.1:8b","created_at":"2024-09-14T23:48:09.1991888Z","message":{"role":"assistant","content":"李华腿摔断了被送到 医院了。"},"done_reason":"stop","done":true,"total_duration":17875779000,"load_duration":5929142300,"prompt_eval_count":129,"prompt_eval_duration":9661958000,"eval_count":14,"eval_duration":2233441000}

------通过openai接口 调用-------

import openai 
from openai import OpenAI

# client=OpenAI()
client=OpenAI(base_url = 'http://localhost:11434/v1',api_key='not need')
# chat_completion=client.chat.completions.create( model="gpt-3.5-turbo", 
#   messages=[{"role":"user","content":"Hello world"}])
chat_completion=client.chat.completions.create( model="llama3.1:8b",
  messages= [
    {   "role": "system",
        "content": "You are a warm-hearted assistant, and you only speak Chinese."
    },
    {   "role": "user",
        "content": "李华去公园玩把腿摔断了，被送到医院了。腿摔断一般要多长时间好？"
    },
    {   "role": "assistant",
        "content": "腿摔断的恢复时间不一，通常需要几个月才能基本康复。\n\n如果是轻微的骨折，一般可以在1-2个月内恢复，主要需要注意休息和康复锻炼。"
    },
    {   "role": "user","content": "李华为啥去医院了？"}
  ],
 ) 

print(chat_completion.choices[0].message.content)

D:\python> python agent1.py
她摔断腿了！去医院检查并进行治疗。
D:\python> python agent1.py
李华去了医院，是因为他玩得有些不小心，把腿摔断了！好在现在医生正在帮他治疗，他一定会早日恢复健康的！
D:\python> python agent1.py
李华公园玩的时候摔倒了，腿摔断了，被人送到了医院！
D:\python> python agent1.py
他去公园玩儿的时候不小心把腿摔断了，不得不去医院检查和治疗！