ChatGPT插件爆炸开放!Python调用GPT做文本分析真牛!

ChatGPT Plus昨天已经爆炸级开放,用户可体验联网和插件功能,目前总计有70多个。ChatGPT插件可做图片、做Excel、生成图片、解释代码……并且它可以随时联网,更新对世界的认知。

不得不说,GPT将成人人必备的超级智能助手!著名的AI经济学家Anton Korinek的工作论文Language Models and Cognitive Automation for Economic Research就给出了详细的应用方式指南,包括论文构思、论文写作、背景研究、代码编写、数据分析、数学推导等25种应用。

对此,我们以文本分析为例,我们使用Python调用openAI的Chat生成预训练变换模型(GPT-3.5版本)进行演示。

对ChatGPT感兴趣欢迎加入群里进行交流探讨,我们也会在群里分享数据和code

 

以下是进入演示部分:

调用openai

在使用前,我们需要进行openai的安装

pip install openai

大家需要在自己的GPT右上角点击View API keyscreatnewkey并获取api_key

#调用模型
import openai
openai.api_key='你的API keys' #api_key(openAI官网右上角登录—view APIkey—creatnewkey(创建就复制))
model_list=openai.Model.list() #查看可用model
print(model_list)

语言交互

可以通过提示词工程向GPT去提出工作指令(该方法可学习课程ChatGPT提示词工程学术应用

根据官方文档https://platform.openai.com/docs/api-reference/models/list,聊天时采用的是{"role": "user", "content": " "}格式,这是为了更好地训练语言模型;由于目前chat的上下文管理还是有一定的限制,因此类似{"role": "system", "content": "You are a helpful assistant."}的标注,更像是一个定制化模板,使Chat能记起历史内容。

还可以设置一些进阶参数:

  • temperature:调整模型的softmax输出层中预测词的概率。参数越大,生成的文本越随机,更具有创造性,一般0.5-0.9之间都可以尝试。

  • top_p:类似 temperature。对应机器学习中 nucleus sampling,参数越大,文本越不可控,生成的文本会更加灵活多样。

  • frequency_penalty和presence_penalty:控制字符、主体的重复度,取值为±2。

  • max_tokens:允许的最大tocken数。一般而言,平均2个token对应一个汉字字符。

    text-davinci-003 最多是 4000左右tokens。

#定义对话函数
def chat(question:str): #定义传入参数,方便下次调用
    resp = openai.ChatCompletion.create( #创建聊天对象
      model="gpt-3.5-turbo", 
      messages=[
            {"role": "user", "content": question},
        ]
    )

    print (resp['choices'][0]['message']['content']) #返回时请使用该格式,以便提取文本

我们向其提问经管硕博士生应该如何学习Python文本分析?请给出详细步骤和参考学习资料

chat('经管硕博士生应该如何学习Python文本分析?请给出详细步骤和参考学习资料')

#得到如下回复

学习Python文本分析是很有用的技能,特别是对经管硕博士生来说。下面是一些详细步骤和参考学习资料:

1. 学习Python基础知识:在学习Python文本分析之前,需要掌握Python的基本语法和数据结构。可以通过Python官方文档、网上课程和书籍学习Python基础知识。

2. 学习Python文本处理库:Python有很多文本处理库,如NLTK、TextBlob、SpaCy等。这些库可以帮助我们处理文本数据,如分词、词性标注、命名实体识别等。可以通过官方文档、书籍、网上课程等途径学习这些库的使用。

3. 实践项目:通过实践项目,我们可以更深入地理解Python文本处理技术的应用。可以寻找一些开源项目进行练习,如情感分析、主题建模等。

4. 参加培训班:如果想快速入门Python文本分析,可以参加一些培训班。这些培训班通常由专业人员授课,教授实际应用中的知识和技巧。

参考学习资料:

1. Python官方文档(https://www.python.org/)
2. 《Python数据分析基础教程》(https://book.douban.com/subject/30189019/)
3. 《Python自然语言处理》(https://book.douban.com/subject/30243136/)
4. 《统计自然语言处理》(https://book.douban.com/subject/30195873/)
5. Coursera上的自然语言处理课程(https://www.coursera.org/courses?query=natural%20language%20processing)

报告文本

接下来我们使用北京市2021政府工作报告“十四五”时期的主要目标与任务部分进行简单的文本分析演示

from pdfdocx import read_docx
report  = read_docx('政府工作报告.docx')
report

词频统计

定义一个提问函数,会返回生成结果

def textxanalysis(question:str): #定义传入参数,方便下次调用
    resp = openai.ChatCompletion.create( #创建聊天对象
      model="gpt-3.5-turbo", 
      messages=[
            {"role": "user", "content": question},
        ]
    )

    return (resp['choices'][0]['message']['content']) #返回时请使用该格式,以便提取文本

然后定义问题,并运行函数得到结果

question = '请统计下文文本中数字经济、数字化、人工智能、绿色生产、污染物、经济的词频,并以字典形式返回,文本为{}'.format(report)
output = textxanalysis(question) #调用函数
output
"{'数字经济': 1, '数字化': 1, '人工智能': 0, '绿色生产': 1, '污染物': 1, '经济': 4}"
import pandas as pd
eval(output)
pd.DataFrame(eval(output),index = ['count'])

情感分析

question = '请识别以下文文本中积极词汇和消极词汇,并以字典形式返回,文本为{}'.format(report)
chat(question) #调用函数

积极词汇:全面建成小康社会、率先基本实现社会主义现代化、提升、增强、发展、创新、协同、壮大、巩固、均衡、改革、迈上新台阶、深入人心、普遍推广、取得重大进展、全面推进、持续增强、深入推进、不断健全、提高、前列、提升、完善、共建、切实保障、高水平、安全、塑造。

消极词汇:无。

词向量

def embedding(sentence:str):
    content = sentence
    response = openai.Embedding.create( #词向量方法
    model="text-embedding-ada-002", #指定模型
    input=content
)
    answer = response.data[0].embedding
    print(answer)

embedding(report) #需要转换的文本

当然,GPT目前在学术研究文本分析方面目前应用还不够完备易用,相信会快速完善。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
要在Python调用GPT(Generative Pre-trained Transformer),你可以使用OpenAI的GPT库或Hugging Face的Transformers库。我将为你提供两种方法的示例: 1. 使用OpenAI GPT库: ```python # 安装openai库 pip install openai import openai # 设置OpenAI API密钥 openai.api_key = 'YOUR_API_KEY' # 调用GPT生成文本 response = openai.Completion.create( engine='text-davinci-002', prompt='你的输入文本', max_tokens=100 ) # 获取生成的文本 generated_text = response.choices[0].text.strip() print(generated_text) ``` 请确保在代码中替换`YOUR_API_KEY`为您的OpenAI API密钥。您可以从OpenAI官方网站获取API密钥。 2. 使用Hugging Face Transformers库: ```python # 安装transformers库 pip install transformers from transformers import GPT2LMHeadModel, GPT2Tokenizer # 加载预训练的GPT模型和分词器 model_name = 'gpt2' model = GPT2LMHeadModel.from_pretrained(model_name) tokenizer = GPT2Tokenizer.from_pretrained(model_name) # 输入文本 input_text = '你的输入文本' # 分词和编码 input_ids = tokenizer.encode(input_text, return_tensors='pt') # 生成文本 output = model.generate(input_ids, max_length=100) # 解码文本 generated_text = tokenizer.decode(output[0], skip_special_tokens=True) print(generated_text) ``` 这是使用Hugging Face Transformers库的示例。您需要首先安装`transformers`库,并在代码中指定所使用的GPT模型。在这个示例中,我们使用了`gpt2`模型。 无论您选择哪种方法,请确保按照库的要求正确安装和配置,并根据您的需求进行相应的调整。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值