医疗问答系统机器人

import pandas as pd
import tensorflow as tf
from tensorflow.keras.preprocessing.text import Tokenizer
from tensorflow.keras.preprocessing.sequence import pad_sequences
import numpy as np
import matplotlib.pyplot as plt
import pickle

# 读取对话数据
data = pd.read_csv('data.csv', encoding='utf-8')

data.info()

# 拆分数据为输入和输出部分
input_texts = data['title'].tolist()
target_texts = data['answer'].tolist()

# 初始化 Tokenizer
tokenizer = Tokenizer(num_words=10000)
tokenizer.fit_on_texts(input_texts + target_texts)

# 保存 Tokenizer
with open('tokenizer.pkl', 'wb') as handle:
    pickle.dump(tokenizer, handle, protocol=pickle.HIGHEST_PROTOCOL)

# 文本转换为序列
input_sequences = tokenizer.texts_to_sequences(input_texts)
target_sequences = tokenizer.texts_to_sequences(target_texts)

# 序列填充
max_sequence_length = 50  # 根据数据长度设定
padded_input_sequences = pad_sequences(input_sequences, maxlen=max_sequence_length)
padded_target_sequences = pad_sequences(target_sequences, maxlen=max_sequence_length)

这段代码目的主要是对对话数据进行预处理，包括数据读取、分词、序列化Tokenzier以及序列填充，以便后续训练深度学习模型，运行一下就是：

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 799 entries, 0 to 798
Data columns (total 2 columns):
 #   Column  Non-Null Count  Dtype 
---  ------  --------------  ----- 
 0   title   799 non-null    object
 1   answer  799 non-null    object
dtypes: object(2)
memory usage: 12.6+ KB

2.使用TensorFlow和Keras构建一个简单的聊天机器人模型

2.1导入了构建模型所需的Keras模块，以及用于处理数组和绘图所需的numpy和matplotlib库

from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, LSTM, Dense, Embedding
import numpy as np
import matplotlib.pyplot as plt

2.2.定义了一个模型构建器，它接受词汇大小、嵌入维度、LSTM单元数和批处理大小作为参数。模型包含一个嵌入层、一个LSTM层和一个密集层。LSTM层返回序列，以便每个时间步都有一个输出，密集层使用softmax激活函数来预测词汇表中的每个单词的概率。

def build_model(vocab_size, embedding_dim, rnn_units, batch_size):
    input = Input(shape=(None,))
    x = Embedding(vocab_size, embedding_dim)(input)
    x = LSTM(rnn_units, return_sequences=True)(x)
    output = Dense(vocab_size, activation='softmax')(x)
    model = Model(inputs=input, outputs=output)
    return model

2.3设置模型的参数，包括词汇表大小、嵌入维度、LSTM单元数和批处理大小

vocab_size = 10000
embedding_dim = 256
rnn_units = 1024
batch_size = 10

2.4建模型，并打印模型的摘要

model = build_model(vocab_size, embedding_dim, rnn_units, batch_size)
model.summary()

2.5准备标签数据

target_sequences_shifted = np.zeros_like(padded_target_sequences)
target_sequences_shifted[:, :-1] = padded_target_sequences[:, 1:]
target_sequences_shifted[:, -1] = padded_target_sequences[:, -1]

2.6编译并训练模型

model.compile(optimizer='adam', loss='sparse_categorical_crossentropy')
history = model.fit(padded_input_sequences, target_sequences_shifted, epochs=450)

2.7绘制训练过程中的损失变化

plt.plot(history.history['loss'])
plt.title('Model Loss Progression')
plt.ylabel('Loss')
plt.xlabel('Epoch')
plt.legend(['Train'], loc='upper left')
plt.show()

2.8保存模型

model.save('chatbot_model.h5')

2.9模型评估

loss = model.evaluate(padded_input_sequences, target_sequences_shifted)
print(f'Model Loss: {loss}')

3.0测试生成回应

def predict_response(input_text):
    input_seq = tokenizer.texts_to_sequences([input_text])
    input_seq = pad_sequences(input_seq, maxlen=20)
    prediction = model.predict(input_seq)
    predicted_seq = np.argmax(prediction, axis=-1)
    predicted_text = tokenizer.sequences_to_texts(predicted_seq)
    return predicted_text

运行结果如下：

3.示例测试

# 示例测试
test_text = "阑尾炎微创手术效果怎么样"
response = predict_response(test_text)
print(f'Input: {test_text}')
print(f'Response: {response}')

二.数据爬取

1.说明：

数据爬取，又称为网络爬虫（Web Crawler）或网络爬取（Web Scraping），是指使用计算机程序（通常是一个软件或脚本）自动化地从互联网上搜集信息。这些信息可以是网页内容、图片、视频、音频等。

数据爬取可以应用在各种领域，例如：

数据分析：爬取大量数据后进行统计分析，以获取有价值的信息。
价格对比：爬取各个电商网站的商品价格，以便进行价格对比和市场调研。
信息搜集：爬取新闻网站、论坛、社交媒体等平台的信息，以便进行情报搜集和舆情监测。
数据挖掘：爬取大量数据后进行机器学习和人工智能算法处理，以发现隐藏在数据中的模式和规律。

数据爬取的基本原理是：模拟浏览器发送HTTP请求，获取HTML页面源代码，并使用正则表达式或第三方库（如BeautifulSoup、Scrapy）分析页面结构，提取有价值的信息。

然而，数据爬取也存在一些问题和风险，例如：

法律风险：爬取某些网站的数据可能违反相关法律法规，需要仔细阅读相关政策和条例。
技术壁垒：某些网站会采用各种技术手段（如反爬虫技术）来抵御爬虫程序，需要不断更新爬虫技术来应对这些措施。
伦理问题：爬取某些敏感信息可能会侵犯个人隐私和信息安全，需要遵守伦理规范和道德原则。

综上所述，数据爬取是一种非常有价值的技术，但也需要谨慎应用和负责任处理。

2.数据爬取应用到医疗问答系统:

要想成功运行医疗问答系统，需从网上爬取数据以供使用。作者为例，从天池数据及中爬取两百条数据，储存在csv文件：

三.灵活运用机器人

3.1建一个简单的聊天机器人对话系统，支持用户输入问题并显示机器人回答的功能，该应用程序使用 TensorFlow 和 Keras 库加载了一个训练好的机器学习模型，用于预测机器人回答。

导入所需的库和模块，包括 PyQt5、TensorFlow、Keras、numpy 和 pickle。
加载训练好的机器学习模型（chatbot\_model.h5）和 Tokenizer（tokenizer.pkl）。
定义一个名为 predict_response 的函数，用于预测机器人回答。该函数接收用户输入文本，并使用 Tokenizer 将文本转换为序列，然后使用机器学习模型进行预测，最终返回预测结果。
定义一个名为 ChatBotApp 的类，继承自 QMainWindow。该类实现了聊天机器人对话系统的用户界面和功能。
- __init__ 方法：初始化应用程序窗口，包括标题、大小和布局。在中央部件中，添加了一个用于显示对话内容的 QTextEdit 控件和一个用于输入用户问题的 QLineEdit 控件以及一个提交问题的 QPushButton 按钮。
- handle_send 方法：当用户点击提交问题按钮时，该方法会被调用。首先，获取用户输入文本，如果文本不为空，则将其添加到聊天对话显示区域，然后调用 predict_response 函数获取机器人回答，并将其添加到聊天对话显示区域。最后，清空用户输入框。
创建一个 QApplication 实例，并显示应用程序窗口。

总之，这是一个基于 PyQt5 和 TensorFlow 的简单聊天机器人对话系统，支持用户输入问题并显示机器人回答的功能。代码如下：


def predict_response(input_text):
    input_seq = tokenizer.texts_to_sequences([input_text])
    input_seq = pad_sequences(input_seq, maxlen=20)
    prediction = model.predict(input_seq)
    predicted_seq = np.argmax(prediction, axis=-1)
    predicted_text = tokenizer.sequences_to_texts(predicted_seq)
    return predicted_text[0]

class ChatBotApp(QMainWindow):
    def __init__(self):
        super().__init__()
        
        self.setWindowTitle("ChatBot医疗问答系统")
        self.setGeometry(300, 300, 700, 600)
        
        self.central_widget = QWidget()
        self.setCentralWidget(self.central_widget)
        
        self.layout = QVBoxLayout()
        
        self.chat_display = QTextEdit()
        self.chat_display.setReadOnly(True)
        self.layout.addWidget(self.chat_display)
        
        self.input_layout = QHBoxLayout()
        
        self.user_input = QLineEdit()
        self.user_input.setPlaceholderText("请输入你的问题")
        self.input_layout.addWidget(self.user_input)
        
        self.send_button = QPushButton("提问")
        self.send_button.clicked.connect(self.handle_send)
        self.input_layout.addWidget(self.send_button)
        
        self.layout.addLayout(self.input_layout)
        self.central_widget.setLayout(self.layout)
    
    def handle_send(self):
        user_text = self.user_input.text()
        if user_text.strip():
            self.chat_display.append(f"User: {user_text}")
            response = predict_response(user_text)
            self.chat_display.append(f"ChatBot: {response}")
            self.user_input.clear()

app = QApplication(sys.argv)
chat_app = ChatBotApp()
chat_app.show()
sys.exit(app.exec_())

我的脑壳好疼

关注

22
点赞
踩
15

收藏

觉得还不错? 一键收藏
0
评论
医疗问答系统机器人

医疗问答机器人是一种使用自然语言处理技术的人工智能应用，可以回答有关健康、疾病、治疗和医疗保健等方面的问题。这种技术可以帮助用户快速获取相关信息，减少与医疗保健提供者的沟通成本，并提高用户体验。医疗问答机器人可以使用不同的技术和方法来实现，包括但不限于：自然语言处理（NLP）：NLP 技术可以用于理解用户的自然语言输入，并将其转换为可以被机器理解的形式。这可以包括词汇分析、实体识别、语法分析和语义分析等步骤。知识图谱：知识图谱可以用于存储和组织有关医疗保健领域的知识和信息。这可以包括疾病、症状
复制链接

扫一扫