本文介绍了如何使用ChatGPTPlus的联网功能和插件进行文本分析，包括Python编程示例，如调用OpenAIAPI进行文本处理、情感分析以及词向量生成。此外，文章还提到了GPT在经济研究中的应用和推荐的学习资源。
ChatGPT Plus用户可体验联网和插件功能，目前总计有70多个。ChatGPT插件可做图片、做Excel、生成图片、解释代码……并且它可以随时联网，更新对世界的认知。
不得不说，GPT将成人人必备的超级智能助手！著名的AI经济学家Anton Korinek的工作论文Language Models and Cognitive Automation for Economic Research就给出了详细的应用方式指南，包括论文构思、论文写作、背景研究、代码编写、数据分析、数学推导等25种应用。
对此，我们以文本分析为例，我们使用Python调用openAI的Chat生成预训练变换模型，进行演示。
调用openai
在使用前，我们需要进行openai的安装
pip install openai
大家需要在自己的GPT右上角点击View API keyscreatnewkey并获取api_key
#调用模型
import openai
openai.api_key='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' #api_key（openAI官网右上角登录—view APIkey—creatnewkey（创建就复制））
model_list=openai.Model.list() #查看可用model
print(model_list)
语言交互
可以通过提示词工程像GPT去提出工作指令
根据官方文档https://platform.openai.com/docs/api-reference/models/list，聊天时采用的是{"role": "user", "content": " "}格式，这是为了更好地训练语言模型；由于目前chat的上下文管理还是有一定的限制，因此类似{"role": "system", "content": "You are a helpful assistant."}的标注，更像是一个定制化模板，使Chat能“回忆起”历史内容。
还可以设置一些进阶参数：
-
temperature：调整模型的softmax输出层中预测词的概率。参数越大，生成的文本越随机（“创造性”更强），一般0.5-0.9之间都可以尝试。
-
top_p：类似 temperature。对应机器学习中 nucleus sampling，参数越大，文本越不可控，当然生成的文本也会更加灵活多样。
-
frequency_penalty和presence_penalty：控制字符、主体的重复度，取值为±2。
-
max_tokens：允许的最大tocken数，如果你遇见过chat“走神”的情况，那么可以试试这个参数。一般而言，平均2个token对应一个汉字字符。
-
text-davinci-003 最多是 4000左右tokens。
#定义对话函数
def chat(question:str): #定义传入参数，方便下次调用
resp = openai.ChatCompletion.create( #创建聊天对象
model="gpt-3.5-turbo",
messages=[
{"role": "user", "content": question},
]
)
print (resp['choices'][0]['message']['content']) #返回时请使用该格式，以便提取文本
我们像其提问经管硕博士生应该如何学习Python文本分析?请给出详细步骤和参考学习资料
chat('经管硕博士生应该如何学习Python文本分析?请给出详细步骤和参考学习资料')
#得到如下回复
学习Python文本分析是很有用的技能，特别是对经管硕博士生来说。下面是一些详细步骤和参考学习资料：
1. 学习Python基础知识：在学习Python文本分析之前，需要掌握Python的基本语法和数据结构。可以通过Python官方文档、网上课程和书籍学习Python基础知识。
2. 学习Python文本处理库：Python有很多文本处理库，如NLTK、TextBlob、SpaCy等。这些库可以帮助我们处理文本数据，如分词、词性标注、命名实体识别等。可以通过官方文档、书籍、网上课程等途径学习这些库的使用。
3. 实践项目：通过实践项目，我们可以更深入地理解Python文本处理技术的应用。可以寻找一些开源项目进行练习，如情感分析、主题建模等。
4. 参加培训班：如果想快速入门Python文本分析，可以参加一些培训班。这些培训班通常由专业人员授课，教授实际应用中的知识和技巧。
参考学习资料：
1. Python官方文档（https://www.python.org/）
2. 《Python数据分析基础教程》（https://book.douban.com/subject/30189019/）
3. 《Python自然语言处理》（https://book.douban.com/subject/30243136/）
4. 《统计自然语言处理》（https://book.douban.com/subject/30195873/）
5. Coursera上的自然语言处理课程（https://www.coursera.org/courses?query=natural%20language%20processing）
报告文本
接下来我们使用北京市2021政府工作报告“十四五”时期的主要目标与任务部分进行简单的文本分析演示
from pdfdocx import read_docx
report = read_docx('政府工作报告.docx')
report
词频统计
定义一个提问函数，会返回生成结果
def textxanalysis(question:str): #定义传入参数，方便下次调用
resp = openai.ChatCompletion.create( #创建聊天对象
model="gpt-3.5-turbo",
messages=[
{"role": "user", "content": question},
]
)
return (resp['choices'][0]['message']['content']) #返回时请使用该格式，以便提取文本
然后定义问题,并运行函数得到结果
question = '请统计下文文本中数字经济、数字化、人工智能、绿色生产、污染物、经济的词频，并以字典形式返回，文本为{}'.format(report)
output = textxanalysis(question) #调用函数
output
"{'数字经济': 1, '数字化': 1, '人工智能': 0, '绿色生产': 1, '污染物': 1, '经济': 4}"
import pandas as pd
eval(output)
pd.DataFrame(eval(output),index = ['count'])
情感分析
question = '请识别以下文文本中积极词汇和消极词汇，并以字典形式返回，文本为{}'.format(report)
chat(question) #调用函数
积极词汇：全面建成小康社会、率先基本实现社会主义现代化、提升、增强、发展、创新、协同、壮大、巩固、均衡、改革、迈上新台阶、深入人心、普遍推广、取得重大进展、全面推进、持续增强、深入推进、不断健全、提高、前列、提升、完善、共建、切实保障、高水平、安全、塑造。
消极词汇：无。
词向量
def embedding(sentence:str):
content = sentence
response = openai.Embedding.create( #词向量方法
model="text-embedding-ada-002", #指定模型
input=content
)
answer = response.data[0].embedding
print(answer)
embedding(report) #需要转换的文本
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
