自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(16)
  • 收藏
  • 关注

原创 对话机器人(七)——RASA:基于规则

解决机器人无法处理的情况。如,用户表达不清楚,超出机器人能提供服务的范围,这时需要“兜底”的fallback操作。负责处理NLU阶段理解用户意图困难或模糊的情况。FallbackClassifier组件,可见pipline。如:若所有意图分类组件预测出的结果中,最高的置信度小于0.6(threshold值)或最高的前2个意图得分之差不超过0.1(ambiguity_threshold),NLU的意图就会被替换成nlu_fallback。将nlu_fallback映射成utter_please_rephr

2022-06-17 11:26:25 1218

原创 对话机器人(六)——RASA:Actions

action:接收用户输入和对话状态信息,按照业务逻辑进行处理,并输出改变对话状态的事件和回复用户的消息。和domain中的response关联在一起,当调用这类动作时,会自动查找response中同名的模板并渲染。填表:多次和用户交互,收集任务所需要的要素,直到所需的要素收集完整。(1)用户表达自己的需求(意图和实体)。(2)根据用户意图,确定合适的表单,将用户在对话中提供的实体信息填入其中。机器人查看表单中缺失的字段,按照一定的策略询问用户关于缺失字段的问题。(3)用户提供缺失字段信息。(4)机器人将缺

2022-06-17 11:25:22 2111

原创 对话机器人(五)——RASA:Config

定义了模型将用于根据用户输入进行预测的组件和策略。recipe: 当前配置文件所用的格式,rasa仅支持default.v1格式。1. pipline组件组件构成NLU pipline并按顺序将用户输入处理成结构化输出。包含语言模型、分词器、特征提取、实体识别、意图分类、结构化输出。组件具有以下特征:加载预训练的词向量模型。MITIE 库需要一个语言模型文件,必须在配置中指定。(2) spaCyNLP初始化 spaCy 结构。每个 spaCy 组件都依赖于此,需要放在pipline的开头。b.

2022-06-17 11:24:06 1384

原创 对话机器人(四)——RASA:Domain

domain定义了机器人可操作的数据范围,包括意图(intents)、实体(entities)、词槽(slots)、回复(responses)、表单(form)、动作(actions)和会话session的配置(session_config)。​ ❃ 意图、实体:输入的范围​ ❃ 词槽、表单:内部的变量,表征状态和存储记忆​ ❃ 动作:模型输出的范围​ ❃ 回复:机器人回复的模板完整的domain示例:2. 意图列出在和中使用的所有的意图。参数:上述例子中,意图有:greet(欢迎)、goodby

2022-06-17 11:22:17 1312

原创 对话机器人(三)——RASA:训练数据

1. 训练数据格式使用YAML作为统一且可扩展的方式来管理所有训练数据,包括NLU数据、stories、rules。训练数据可以使用多个YAML文件,每个文件包含NLU数据、stories、rules的任意组合。version: "3.1"nlu:- intent: greet examples: | - Hey - Hi - hey there [Sara](name)- intent: faq/language examples: | - What l

2022-05-30 14:45:40 2741

原创 ES基本用法

ES基本用法1.创建 Index,索引名为 newsresult = es.indices.create(index='news', ignore=400)创建成功返回值:{‘acknowledged’: True, ‘shards_acknowledged’: True, ‘index’: ‘news’}2. 删除 Indexresult = es.indices.delete(index='news', ignore=[400, 404])删除成功返回值:{‘acknowledged’:

2022-05-27 17:01:19 533

原创 知识图谱(二)——知识表示

一、经典知识表示理论1. 语义网络语义网络:是一个通过语义关系连接的概念网络,将知识表示为相互连接的点和边的模式。节点——实体、事件、值;边——对象间的语义关系。语义网络中最基本的语义单元称为语义基元,用<节点1,关系,节点2>表示。如“珊瑚是一种动物”关系类型实例关系(ISA):具体和抽象,一个事物是另一个事物的一个实例。“是一个”。分类关系(AKO):子类和超类,一个事物是另一个事物的一种类型。“是一种”成员关系:个体和集体,一个事物是另一个事物的一个成

2022-05-27 16:58:32 3825 1

原创 知识图谱(一)——概述

一、序深度学习训练的模型更像是一个具有统计知识的机器,从关联和概率的角度描述世界背后的“真理”。而我们期望机器能像人一样,具有分析和推理的能力。——知识图谱1. 前提知识本体:通过对象类型、属性类型及关系类型对领域知识进行形式化描述的模型。本体只对数据的定义进行了描述,而没有描述具体的实例数据。知识是认知、图谱是载体、数据库是实现。知识图谱以结构化三元组的形式存储现实世界中的实体及实体集合。2.知识图谱与深度学习a. 深度学习本质:通过多层神经网络,自动学习处理对象的抽象表示。缺陷:需

2022-05-27 16:54:48 1909

原创 对话机器人(二)——RASA概述与安装

RASA3的概述与安装

2022-05-27 16:19:20 2982

原创 对话机器人(一)——对话机器人基础知识

对话机器人、任务型机器人

2022-05-27 16:10:28 2351 1

原创 spark读取csv文件的方法

1.SparkSession:training = spark.read.format("csv").options(header='true',inferschema='true',encoding='gbk').load(r"hdfs://localhost:9000/taobao/dataset/train.csv")2.SparkContext# 加载数据 封装为row对象,转换为dataframe类型,第一列为特征,第二列为标签training = spark.sparkConte

2020-09-28 16:01:51 3941

原创 配置spark可能遇到的问题及其他相关配置

【问题1】pyspark+pycharm 配置【解决方法】https://blog.csdn.net/u012884015/article/details/80105921PYTHONPATH /usr/local/spark/pythonSPARK_HOME /usr/local/spark【问题2】修改python3为python【解决方法】vim ~/.bashrcalias python=python3source ~/.bashrc【问题3】在spark中配置python环境

2020-09-24 15:46:57 223

原创 hive报错汇总

【错误1】WARN: Establishing SSL connection without server’s identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements SSL connection must be established by default if explicit option isn’t set. For compliance with e

2020-09-24 15:40:31 486

原创 spark实践-淘宝双十一数据分析与预测

案例任务对淘宝双十一数据进行预处理、存储、查询和可视化分析。项目步骤0. 安装环境Ubuntu18.04Java 1.8MySQL 5.7.31Hadoop 3.1.3Hive 3.1.2Spark 2.4.0Sqoop 1.4.7Eclipse 4.14Pycharm 2020.21. 预处理1. 将原始数据集进行预处理2. 把文本文件的数据集导入数据仓库Hive中2. 存储1. 对数据进行查询分析2. 把Hive的数据导入MySQL中3. 数据分析1. 搭建动态W

2020-09-24 15:09:33 9427 5

原创 记录学习过程中遇到的sql语句

学习过程中遇到的sql语句一、US_2019COVID项目中1. 计算每日较昨日新增确诊病例数和死亡数自连接,新增数=今日-昨日 连接条件:t1.date=t2.date+1select t1.date,t1.cases-t2.cases as caseIncrease,t1.deaths-t2.deaths as deathIncrease from ustotal t1,ustotal t2 where t1.date=date_add(t2.date,1)2. 统计截止

2020-09-17 16:02:50 284

原创 2020年美国新冠肺炎疫情数据分析

US_2019COVID介绍2020年美国新冠肺炎疫情数据分析–截止2020年9月9日数据处理使用Spark对数据进行分析数据可视化一、数据处理1. 数据集分析数据包含以下字段,具体含义:date 日期; county 区县; state 州; cases 截止该日期确诊人数; deaths 截止该日期死亡人数将csv文件转为txt文件,方便spark读取生成RDD和DataFrame。转换代码见 csv_txt.py2. 上传文件到HDFS文件系统hdfs dfs -

2020-09-16 22:01:26 9143

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除