环境搭建
首先要在电脑上安装 Python,直接在官网下载安装包进行安装即可:www.python.org/downloads/
# 创建文件夹,可随意命名
mkdir chatgpt-pdf
cd chatgpt-pdf
# 创建虚拟环境(第二个venv为虚拟环境的名称,之所以使用venv是因为一般通用的.gitignore会默认忽略该文件夹,完全可以选择使用其它名称)
python3 -m venv venv
# 激活虚拟环境
source venv/bin/activate
# 安装依赖包
pip install langchain pdfplumber python-dotenv streamlit faiss-cpu openai tiktoken
langchain
官网位于python.langchain.com/en/latest/i… ,它可以简化对各种大语言模型的使用,比如内置有OpenAI等。
pdfplumber
顾名思义,是用于读取和处理PDF文件的,选择这库是因为今年还在更新,并且对中文的支持还不错。本次项目demo会导入自己的PDF文件,并将其作为知识库,回答你的提问。
python-dotenv
用于读取.env
文件,本例在该文件中放入Open AI平台的key。
streamlit
用于绘制 UI界面,当前大多数ChatGPT应用都使用它,如大名鼎鼎的gpt4free,streamlit
默认会收集信息进行分析,可通过配置文件关闭,macOS和Linux位于~/.streamlit/config.toml
,Windows位于%userprofile%/.streamlit/config.toml
,添加如下内容即可:
[browser]
gatherUsageStats = false
其它配置项可通过streamlit config show
可查看。
faiss-cpu
是facebook开源用于相似搜索的库,github.com/facebookres… ,GPU版本请使用faiss-gpu
。
openai
和tiktoken
都是调用ChatGPT接口时使用的。
保留当前使用版本请使用pip freeze > requirements.txt
。
OpenAI的注册方式这里就不介绍了,最常用的是在sms-activate.org/ 上购买服务获取短信验证码完成注册。
代码开发
知识库搭建和使用流程图如下:
我们在根目录下创建.env
文件:
OPENAI_API_KEY=你自己的key
这里的OPENAI_API_KEY
名称固定,请不要修改。
然后创建app.py
,先进行环境变量的读取(使用编辑器的小伙伴请注意选择刚刚创建的环境,PyCharm应该能自动识别,VScode 请按下快捷键 ctrl/cmd+shift+p进行选择),先测试读取环境变量是否正常
from dotenv import load_dotenv
import os
load_dotenv()
print(os.getenv('OPENAI_API_KEY'))
接着搭建页面框架:
import streamlit as st
st.set_page_config(page_title="专属PDF知识库")
st.header("专属PDF知识库💬")
# 上传文件
pdf = st.file_uploader("上传PDF文件", type="pdf")
运行streamlit run app.py
效果如下:
提取文本:
import pdfplumber
# 提取文本
if pdf is not None:
text = ""
with pdfplumber.open(pdf) as pdf_reader:
for page in pdf_reader.pages:
text += page.extract_text()
接下对文本进行分片,这里每个分片长充为1000字符,为保留上下文选择了重叠200字符:
from langchain.text_splitter import CharacterTextSplitter
text_splitter = CharacterTextSplitter(
separator="\n",
chunk_size=1000,
chunk_overlap=200,
length_function=len
)
chunks = text_splitter.split_text(text)
接下来配置 embedding,也即将离散值转化为连续向量:
embeddings = OpenAIEmbeddings()
knowledge_base = FAISS.from_texts(chunks, embeddings)
为界面添加一个输入框:
user_question = st.text_input("来向我提问吧:")
最后完成回复的逻辑:
from langchain.chains.question_answering import load_qa_chain
from langchain.llms import OpenAI
if user_question:
docs = knowledge_base.similarity_search(user_question)
llm = OpenAI()
chain = load_qa_chain(llm, chain_type="stuff")
response = chain.run(input_documents=docs, question=user_question)
st.write(response)
如需追踪花了多少钱,可增加:
from langchain.callbacks import get_openai_callback
with get_openai_callback() as cb:
response = chain.run(input_documents=docs, question=user_question)
print(cb)
st.write(response)
完整代码:
from dotenv import load_dotenv
import streamlit as st
from langchain.text_splitter import CharacterTextSplitter
from langchain.embeddings.openai import OpenAIEmbeddings
from langchain.vectorstores import FAISS
from langchain.chains.question_answering import load_qa_chain
from langchain.llms import OpenAI
from langchain.callbacks import get_openai_callback
import pdfplumber
def main():
load_dotenv()
# locale.setlocale(locale.LC_ALL, 'zh_CN')
st.set_page_config(page_title="专属PDF知识库")
st.header("专属PDF知识库💬")
# 上传文件
pdf = st.file_uploader("上传PDF文件", type="pdf")
# 提取文本
if pdf is not None:
text = ""
with pdfplumber.open(pdf) as pdf_reader:
for page in pdf_reader.pages:
text += page.extract_text()
# 文本分片
text_splitter = CharacterTextSplitter(
separator="\n",
chunk_size=1000,
chunk_overlap=50,
length_function=len
)
chunks = text_splitter.split_text(text)
# 创建embeddings
embeddings = OpenAIEmbeddings()
knowledge_base = FAISS.from_texts(chunks, embeddings)
user_question = st.text_input("来向我提问吧:")
if user_question:
docs = knowledge_base.similarity_search(user_question)
llm = OpenAI()
chain = load_qa_chain(llm, chain_type="stuff")
with get_openai_callback() as cb:
response = chain.run(input_documents=docs, question=user_question)
print(cb)
st.write(response)
if __name__ == '__main__':
main()
国内直连接口超时问题
如果有海外服务器可以直接做代理
网上现在比较通用的方案是使用 Cloudflare Workers,比如下面是 Alan随便找到的一段代码:
const TELEGRAPH_URL = 'https://api.openai.com';
addEventListener('fetch', event => {
event.respondWith(handleRequest(event.request))
})
async function handleRequest(request) {
const url = new URL(request.url);
url.host = TELEGRAPH_URL.replace(/^https?:///, '');
const modifiedRequest = new Request(url.toString(), {
headers: request.headers,
method: request.method,
body: request.body,
redirect: 'follow'
});
const response = await fetch(modifiedRequest);
const modifiedResponse = new Response(response.body, response);
// 添加允许跨域访问的响应头
modifiedResponse.headers.set('Access-Control-Allow-Origin', '*');
return modifiedResponse;
}
但现在xxx.workers.dev在国内也无法访问,所以也是有门槛的,那就是要绑定一个自定义域名。自定义域可在.env
文件中添加OPENAI_API_BASE=xxx.xxx.xxx/v1
。
-
Unsupported OpenAI-Version header provided: 2022-12-01. (HINT: you can provide any of the following supported versions: 2020-10-01, 2020-11-07. Alternatively, you can simply omit this header to use the default version associated with your account.)
这个问题待探讨,快速解决方法是embeddings = OpenAIEmbeddings(openai_api_version='2020-11-07')
参考资料:
python.langchain.com/en/latest/i…
bennycheung.github.io/ask-a-book-…
https://www.youtube.com/watch?v=wUAUdEw5oxM
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
![](https://img-blog.csdnimg.cn/img_convert/d910e86aa9472d2670398dfd8d26850f.png)