自然语言处理文本分类实战---慕课学习笔记

最新推荐文章于 2024-04-30 16:37:00 发布
最新推荐文章于 2024-04-30 16:37:00 发布
阅读量1.5k 收藏 8
点赞数 1
分类专栏： 文本分类 文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43871072/article/details/122086000
版权

自然语言处理文本分类实战

image-20211213153830005

第一章 文本分类应用场景介绍

一、文本分类任务描述：input—model—output

image-20211213155230715

二、应用场景：

  1. 评论数据

    image-20211213154124412

    2.情感分析

    image-20211213154303146

    3.意图识别

    image-20211213154344434

    4.进阶应用：

image-20211213154520091 image-20211213154855898

第二章 文本表征知识

2.1文本表征介绍
2.1.1、文本表示：（转化成电脑能够识别的文字）
image-20211213155429861
2.1.2、文本表示的方法
image-20211213155553778
2.2 One Hot编码（独热编码）
2.2.1、工作流程
image-20211213160105562
  1. 将句子分词
  2. 构建词表并编码
  3. 将编码组成一个数字序列
  4. One Hot编码（用矩阵来代表一句话的输入）
  5. 将上述矩阵用来建模、训练、构建文本分类模型
2.2.2、缺点
image-20211213184608533
2.2.3、实战
  1. 预料准备
  2. 手动实现
  3. Sklearn实现
# One Hot编码（独热编码）实战
import numpy as np

# 0：语料准备
corpus = ['这 是 第一个 文档',
          '这是 第二个 文档',
          '这是 最后 一个 文档',
          '现在 没有 文档 了']

# 1：手动实现
# 词袋
words = []
for corpu in corpus:
    words.extend(corpu.split())
# 词的列表（去重）
word_list = list(set(words))
# 生成字典
word_dct = {word: index for index, word in enumerate(word_list)}
# 词典大小
vocab_size = len(word_dct)
# print(word_dct)
# {'了': 0, '这是': 1, '这': 2, '最后': 3, '第二个': 4, '第一个': 5, '一个': 6, '是': 7, '没有': 8, '文档': 9, '现在': 10}


def get_one_hot(index):
    # 获得一个one hot编码
    one_hot = [0 for _ in range(vocab_size)]
    one_hot[index] = 1
    return np.array(one_hot)


# print(get_one_hot(1))  # [0 1 0 0 0 0 0 0 0 0 0]

# 第一句话
indexs = [word_dct[word] for word in corpus[0].split()]
# 转换成one hot
one_hot_np = np.array([get_one_hot(index) for index in indexs])
# print(one_hot_np)
'''
[[0 0 1 0 0 0 0 0 0 0 0]
 [0 0 0 0 0 0 0 1 0 0 0]
 [0 0 0 0 0 1 0 0 0 0 0]
 [0 0 0 0 0 0 0 0 0 1 0]]
'''

# 2 Sklearn实现
from sklearn.preprocessing import LabelBinarizer
# 初始化编码器
lb = LabelBinarizer()
# 将所有分好的的词都放进去
lb.fit(words)
lb.classes_

# 初始化句子
sentence = corpus[0].split()
print(sentence)
# ['这', '是', '第一个', '文档']
LB = lb.transform(sentence)
print(LB)
'''
[[0 0 0 0 0 0 0 0 0 1 0]
 [0 0 0 1 0 0 0 0 0 0 0]
 [0 0 0 0 0 0 0 1 0 0 0]
 [0 0 1 0 0 0 0 0 0 0 0]]
'''
# 解码
LB_inverse = lb.inverse_transform(LB)
print(LB_inverse)
# ['这' '是' '第一个' '文档']
2.3 TF-IDF（词频-逆文件频率）
2.3.1 简介

1、词频（TF）

image-20211213202751582

2 、逆文件频率（IDF）

image-20211213202947260

3 、TF-IDF

image-20211213203311404

4、TF-IDF的缺点

image-20211213204034441
2.3.2 TF-IDF实战
# 词频-逆文件频率
# 0：语料准备
corpus = ['这 是 第一个 文档',
          '这是 第二个 文档',
          '这是 最后 一个 文档',
          '现在 没有 文档 了 文档']
# 1、手动实现
# 1.1 词袋统计
words_list = []
for corpu in corpus:
    words_list.append(corpu.split())
print(words_list)
# [['这', '是', '第一个', '文档'], ['这是', '第二个', '文档'], ['这是', '最后', '一个', '文档'], ['现在', '没有', '文档', '了', '文档']]

# 1.2统计词频
from collections import Counter
count_list = []
for words in words_list:
    count = Counter(words)
    count_list.append(count)
print(count_list)
# [Counter({'这': 1, '是': 1, '第一个': 1, '文档': 1}),
# Counter({'这是': 1, '第二个': 1, '文档': 1}),
# Counter({'这是': 1, '最后': 1, '一个': 1, '文档': 1}),
# Counter({'文档': 2, '现在': 1, '没有': 1, '了': 1})]

# 1.3 定义函数
import math


def tf(word, count):
    return count[word]/sum(count.values())


def idf(word, count_list):
    n_contain = sum([1 for count in count_list if word in count])
    return math.log(len(count_list)/(1+n_contain))


def tf_idf(word, count, count_list):
    return tf(word, count)*idf(word, count_list)


# 1.4 输出结果
for index, count in enumerate(count_list):
    print('第{}个文档的TF IDF的信息;'.format(index+1))
    # 分值
    scores = {word: tf_idf(word, count, count_list) for word in count}
    scores_word = sorted(scores.items(), key=lambda x: x[1], reverse=True)
    for word,score in scores_word:
        print('word:{}, TF IDF : {} '.format(word, round(score, 5)))
'''
第1个文档的TF IDF的信息;
word:这, TF IDF : 0.17329 
word:是, TF IDF : 0.17329 
word:第一个, TF IDF : 0.17329 
word:文档, TF IDF : -0.05579 
第2个文档的TF IDF的信息;
word:第二个, TF IDF : 0.23105 
word:这是, TF IDF : 0.09589 
word:文档, TF IDF : -0.07438 
第3个文档的TF IDF的信息;
word:最后, TF IDF : 0.17329 
word:一个, TF IDF : 0.17329 
word:这是, TF IDF : 0.07192 
word:文档, TF IDF : -0.05579 
第4个文档的TF IDF的信息;
word:现在, TF IDF : 0.13863 
word:没有, TF IDF : 0.13863 
word:了, TF IDF : 0.13863 
word:文档, TF IDF : -0.08926 
'''


# 2、Gensim

# 2.1 词袋统计
# 2.2 获取词频
from gensim import corpora
dic = corpora.Dictionary(words_list)  # 这是一个对象
# print(dic)
# doc2bow（）传入的是一个词的列表
new_corpus = [dic.doc2bow(words) for words in words_list]
# 第一个元素是词在词典中的id, 第二个是词在文档中出现的次数
print(new_corpus)
# [[(0, 1), (1, 1), (2, 1), (3, 1)],  -----['这', '是', '第一个', '文档']
# [(0, 1), (4, 1), (5, 1)],
# [(0, 1), (5, 1), (6, 1), (7, 1)],
# [(0, 2), (8, 1), (9, 1), (10, 1)]]  ----['现在', '没有', '文档', '了', '文档']

# 2.3 每一个词对应的id
print(dic.token2id)
# {'文档': 0, '是': 1, '第一个': 2, '这': 3, '第二个': 4, '这是': 5, '一个': 6, '最后': 7, '了': 8, '没有': 9, '现在': 10}

from gensim import models
tfidf = models.TfidfModel(new_corpus)
# 保存模型
tfidf.save('tfidf.model')
# 加载模型
tfidf = models.TfidfModel.load('tfidf.model')
tf_idf_vec = []
for corpu in corpus:
    # 先拿到第一个文档
    doc_bow = dic.doc2bow(corpu.lower().split())
    vec = tfidf[doc_bow]
    tf_idf_vec.append(vec)
print(tf_idf_vec)
# 一个列表对应一个文章
# [[(1, 0.5773502691896258),(2, 0.5773502691896258), (3, 0.5773502691896258)],
# [(4, 0.8944271909999159), (5, 0.4472135954999579)],
# [(5, 0.3333333333333333), (6, 0.6666666666666666), (7, 0.6666666666666666)],
# [(8, 0.5773502691896258),(9, 0.5773502691896258), (10, 0.5773502691896258)]]

# 3、Sklearn
from sklearn.feature_extraction.text import TfidfVectorizer
# 初始化对象
tfidf_vec = TfidfVectorizer()
# 加载所有语料
tf_idf_matrix = tfidf_vec.fit_transform(corpus)
# 得到语料库中所有不重复的词
print(tfidf_vec.get_feature_names())
# ['一个', '文档', '最后', '没有', '现在', '第一个', '第二个', '这是']
# 得到所有单词对应的id
print(tfidf_vec.vocabulary_)
# {'第一个': 5, '文档': 1, '这是': 7, '第二个': 6, '最后': 2, '一个': 0, '现在': 4, '没有': 3}
# 获得tf idf 矩阵输出
print(tf_idf_matrix.toarray())
'''
[[0.         0.46263733 0.         0.         0.         0.88654763    0.         0.        ]
 [0.         0.37919167 0.         0.         0.         0.            0.72664149 0.5728925 ]
 [0.58783765 0.30675807 0.58783765 0.         0.         0.            0.         0.46345796]
 [0.         0.59380024 0.         0.56894695 0.56894695 0.            0.         0.        ]]
'''
2.4 Word2vec
2.4.1 基础介绍

单词嵌入向量（Word Embedding）

  • 理想的词表征：
  1. 大小合适
  2. 增量更新
  3. 语义相似度
  4. 怎么做？
image-20211214111537066
  • One-Hot VS Word Embedding
image-20211215141024254

  • 学习方法

    image-20211215152448150
2.4.2 Word2vec实战

数据集：

今日头条中文新闻（短文本）分类

地址：https://storage.googleapis.com/cluebenchmark/tasks/tnews_public.zip

import pandas as pd
import json
import jieba

'''
0:gensim词向量实践
    1、读取预处理的数据集
    2、训练
    3、结果
'''
# 1、下载数据
# 1.1 数据预处理


def get_sentence(data_file):
    # 读取文件
    f = open(data_file, 'r', encoding='utf-8')
    reader = f.readlines()
    sentence = []
    for line in reader:
        line = json.loads(line.strip())
        sentence.append(line['sentence'])
    return sentence


train_sentence = get_sentence('train.json')
test_sentence = get_sentence('test.json')
dev_sentence = get_sentence('dev.json')

# 2、载入数据
train_data = train_sentence + test_sentence + dev_sentence
# print(len(train_data))  # 73360
# 分词
train_data = [list(jieba.cut(sentence)) for sentence in train_data]


# 3、构建词向量模型
from gensim.models.word2vec import LineSentence
from gensim.models import word2vec
import gensim
import logging
logging.basicConfig(format='%(asctime)s:%(levelname)s:%(message)s', level=logging.INFO)

# 构建模型
from gensim.models import FastText
# print(help(FastText))
# model = FastText(test_sentence, vector_size=4, window=3, min_count=1)

# 4、训练模型     skip-gram(sg = 1) & CBOW(sg =  0)
model = word2vec.Word2Vec(train_data, sg=0, workers=8, min_count=5, vector_size=200)
# 5、保存模型
model_save_path = 'word2vec.model'
model.save(model_save_path)
# 6、载入模型
model = word2vec.Word2Vec.load(model_save_path)
# 输出向量维度（1x200）  上面定义的vector_size=200
print(model.wv['智能'].shape)
'''
输出：
(200,)
'''

# 查找一个上下文最近的词
print(model.wv.most_similar(['智能'], topn=10))
'''
输出：
[('金融', 0.970018208026886), 
('生态', 0.9675754308700562), 
('赋能', 0.9635003209114075), 
('服务', 0.9610007405281067),
('电商', 0.9590190052986145), 
('创新', 0.9575081467628479),
('布局', 0.956716775894165),
('建设', 0.9556843042373657), 
('助力', 0.9543666839599609), 
('云', 0.9498512148857117)]
'''

第三章 文本分类任务

3.1 分类任务
3.1.1、图解
image-20211222145817388
3.1.2、分类任务的分类：
  1. 二分类（两种状态互斥）
  2. 多分类
  3. 多标签分类
image-20211216112741102
3.1.3、多分类详解：
image-20211216112800654

一对一策略：

image-20211216113348371

一对其余策略：

image-20211216113427087
3.1.4 多标签问题与二、多分类问题关系
image-20211216113905164 image-20211216114739928 image-20211216114800881

在建模上区别：

image-20211216114953485
3.2 激活函数
3.2.1 Softmax
image-20211216150309872
3.2.2 Sigmoid
image-20211216150352109
3.3 交叉熵
image-20211216150628048 image-20211216150700207
3.4 实战—激活函数练习
# 激活函数练习
# sigmoid
import numpy as np
import matplotlib.pyplot as plt


def sigmoid(x):
    return 1.0/(1+np.exp(-x))


# print(sigmoid(1))
'''
0.7310585786300049
'''
sigmoid_input = np.arange(-10, 10)
sigmoid_output = sigmoid(sigmoid_input)
# print(sigmoid_output)

'''
[4.53978687e-05 1.23394576e-04 3.35350130e-04 9.11051194e-04
 2.47262316e-03 6.69285092e-03 1.79862100e-02 4.74258732e-02
 1.19202922e-01 2.68941421e-01 5.00000000e-01 7.31058579e-01
 8.80797078e-01 9.52574127e-01 9.82013790e-01 9.93307149e-01
 9.97527377e-01 9.99088949e-01 9.99664650e-01 9.99876605e-01]
'''
# plt.plot(sigmoid_input, sigmoid_output)
# plt.xlabel('sigmoid_input')
# plt.ylabel('sigmoid_output')
# plt.show()


# softmax
import math

softmax_input = [1.0, 2.0, 3.0, 4.0, 5.0, 6.0, 7.0]
z_exp = [math.exp(i) for i in softmax_input]
print(z_exp)
'''
[2.718281828459045, 7.38905609893065, 20.085536923187668, 54.598150033144236, 
2.718281828459045, 7.38905609893065, 20.085536923187668]
'''
sum_z_exp = sum(z_exp)
softmax_output = [round(ex/sum_z_exp, 2) for ex in z_exp]
print(softmax_output)
'''
[0.02, 0.06, 0.17, 0.47, 0.02, 0.06, 0.17]
'''
# 画图
plt.plot(softmax_input, softmax_output)
plt.xlabel('softmax_input')
plt.ylabel('softmax_output')
plt.show()

text_RNN步骤简要介绍

1、embedded层：将句子或文章平铺为词向量

2、进入多层卷积层（卷积核大小不同）：算出每个卷积核卷积后的特征值

3、进入池化层：提取出上一步最大的特征值（max pooling）

4、连接：将最大的特征值拼接在一起

5、套一个dropout：防止过拟合

6、进入全连接层：分类（两类或者多类）

image-20211222111359218

第四章 模型评估

1、评价指标

image-20211222135021217

2、混淆矩阵：（指标：准确率、召回率、精确率）

image-20211222135328851

3、预测的效果？

假设样本不平衡：（<0.5 分为0，>0.5分为1）

image-20211222140327969
实例
image-20211222140419490 image-20211222140612118

如果不使用模型，直接计算：

image-20211222140741265
1、Recall（召回率）
image-20211222141037369
2、Precision（精确率）
image-20211222141252445
3、F1
image-20211222141605873
4、FPR
image-20211222141702517
5、ROC
image-20211222141758804
6、AUC（ROC线下面积）
image-20211222142452212

线越靠近左上角效果越好 (SKlearn调用roc_auc_score)

第五章 知识扩展

image-20211222143019388image-20211222144407216

中文NLP语料库：

image-20211222144515841

​ https://www.cluebenchmarks.com/

NLP学习框架：BERT

image-20211222144711921 image-20211222150141145

国内可以一件加载模型：

image-20211222144848995

免费的GPU：

image-20211222145202126 image-20211222145234104 image-20211222145327793
我是刘管家
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python中文自然语言处理基础与实战
02-02
用python语言来做一些NLP（自然语言处理）的工作，笔记分为11章，层层梯进，包含开发环境介绍、功能代码实现步骤、案例实战等。
20 Newsgroup文本分类-基于sklearn
a_step_further的博客
07-28 5821
本项目聚焦于通过机器学习的方法来进行文本自动分类，采用的是有监督的学习，根据已经标注好类别的文本语料进行特征提取、建模、训练，进而对未知样本进行预测。可用于此场景的分类模型有很多，例如贝叶斯、决策树、SVM、深度学习等。本项目中将会重点尝试几个有代表性的模型，并对其应用效果进行对比分析。 使用的数据集来自于业内著名的20 Newsgroups 数据集，包含20类标注好的样本，数据量共计约2万条记...
NLP之文本分类任务
jiangchao98的博客
03-31 3206
文本分类任务参考： NLP-Interview-Notes/NLPinterview/textclassifier/TextClassification at main · km1994/NLP-Interview-Notes (github.com) 数据预处理 1.文本分类任务数据预处理方法 分词：将句子分割成独立的语义单元组成的序列过程 去停用词：识别并删除对分类意义不大且出现频率较高的词 词性标注：在分词后判断词性来添加特征 2.中文文本分词的方法 基于字符串匹配的分词方法 基于统计语
文本分类算法能够应用于哪些领域？真实项目场景介绍
02-19 977
通过机器学习算法，我们训练了一个模型，它能够理解公文的内容和格式，从而实现快速且准确的分类。平台的核心优势在于其多模态能力，这意味着它能够处理和理解多种形式的数据，如文本、图像和声音，从而为用户提供更全面和深入的分析。我们的平台支持本地化部署，这意味着用户可以根据自己的需求和安全考虑，将平台部署在自己的服务器上，确保数据的私密性和安全性。简单来说，也是多模态的数据分类，而且是多层级对应多标签分类：1根据多模态的文本音视频内容分类，2需要根据公安的执法管理办法分成4种预警等级，并且根据不同等级发出告警推送。
自然语言分类transformer代码
weixin_35750747的博客
12-23 239
自然语言分类 Transformer 代码是一种用于自然语言分类任务的机器学习模型。Transformer 是一种注意力机制的神经网络架构，能够处理序列数据并进行分类。 下面是一个简单的 Transformer 代码示例，使用了 PyTorch 框架： import torch import torch.nnas nn import torch.nn.functional as F class ...
文本分类(一) | (1) 任务定义
sdu_hao的博客
12-19 3365
项目Github地址 近年来，文本的数量呈指数增长，为了能在许多应用中准确地对文本进行分类，需要对机器学习方法有更深入的了解。许多机器学习方法在自然语言处理方面都取得了突破性的结果。这些学习算法的成功取决于其拟合数据中存在的非线性关系的能力。然而，寻找一种普适、通用的文本分类技术对研究人员来说仍然是一个巨大的挑战。 在文本分类专栏系列博客中，我将系统的介绍如何搭建一个完整的文本分类系统，包括数...
NLP-文本表示学习-独热编码与TF-IDF
醋酸洋红的博客
05-21 258
NLU：语言/文本➡️语义（理解基础上所作的一些任务，如翻译）NLG：语义➡️文本/语言（基于理解的情况做一些深层次的任务，如高阶多轮对话）通过大文本去提取重点。
自然语言处理-基于预训练模型的方法-笔记
09-01
哈工大的那本书，很好的一本书。 html/website/markdown 格式请查阅本人博客：https://zenmoore.github.io
自然语言处理-基于预训练模型的方法 笔记
12-30
自然语言处理-基于预训练模型的方法 笔记
go学习笔记-文档-文档
07-21
go学习笔记-文档
C++非常实用-学习-总结-笔记.pdf
11-16
C++非常实用-学习-总结-笔记.pdf
大语言模型在专业领域的应用——教育场景下的大语言模型
weixin_43915730的博客
04-28 870
教育是人类社会进步的基石，对个人和社会发展都至关重要。在教育系统中，大语言模型已经被用于多种教育相关任务，有助于增强教育场景的智能化、自动化和个性化。
视觉语言模型详解
2401_84038983的博客
04-30 520
视觉语言模型是可以同时从图像和文本中学习的多模态模型，其属于生成模型，输入为图像和文本，输出为文本。大视觉语言模型具有良好的零样本能力，泛化能力良好，并且可以处理包括文档、网页等在内的多种类型的图像。其拥有广泛的应用，包括基于图像的聊天、根据指令的图像识别、视觉问答、文档理解、图像描述等。一些视觉语言模型还可以捕获图像中的空间信息，当提示要求其检测或分割特定目标时，这些模型可以输出边界框或分割掩模，有些模型还可以定位不同的目标或回答其相对或绝对位置相关的问题。
用 LM Studio 1 分钟搭建可在本地运行大型语言模型平台替代 ChatGPT
AI全栈 和 IT 编程相关分享
04-23 1516
LM Studio是一个允许用户在本地运行大型语言模型（LLMs）的平台，它提供了一种便捷的方式来使用和测试这些先进的机器学习模型，而无需依赖于互联网连接。脱机：用户可以在自己的笔记本电脑上运行LLMs，完全不需要在线连接。用户界面：LM Studio提供了一个应用内聊天界面，用户可以通过这个界面与模型交互，或者使用一个与OpenAI兼容的本地服务器。模型下载：用户可以从Hugging Face的🤗（即Hugging Face公司）仓库下载任何兼容的模型文件。模型支持。
【论文笔记】Training language models to follow instructions with human feedback A部分
最新发布
m0_48948682的博客
04-30 463
GPT-3.5 技术报告 A部分
Large Language Models for Test-Free Fault Localization
qq_41200212的博客
04-26 372
软件错误定位（FL） 旨在自动定位有缺陷的代码行，这是许多手动和自动调试任务中的关键第一步。以前的 FL 技术假设提供输入测试，并且通常需要大量的程序分析、程序检测或数据预处理。之前关于程序自动修复APR）深度学习的工作很难从小数据集中学习，并且在现实世界的程序中产生的结果有限。近年来涌现出一些将大型语言模型LLM）用于代码相关工作的方法，比如代码生成、代码总结等任务，LLM表现出强大的泛化能力。受此启发，文章研究了 LLM 在行级（line-level）错误定位的适用性。
【大语言模型LLM】-Ollama+Llama3 部署你自己的大语言模型
我的数据分析师之路
04-26 1054
Ollama是一个开源的大模型管理工具，它支持模型的训练、部署和监控等功能。通过使用Ollama，用户可以轻松地管理本地的大模型，从而提高模型的训练速度和部署效率。此外，Ollama还支持多种机器学习框架，如TensorFlow和PyTorch等，使用户可以根据自己的需求选择合适的框架进行模型的训练。Ollama不仅是一个大型语言模型服务，提供了类似OpenAI的API接口和聊天界面，还支持热加载模型文件，使得部署最新版本的GPT模型并通过接口使用变得非常方便。
【NLP】大语言模型基础之GPT
小哲的博客
04-24 1071
OpenAI公司在2018年提出的生成式预训练语言模型（Generative Pre-Training, GPT）是典型的生成式预训练语言模型之一。GPT的模型结构如下所示：它是由多层Transformer组成的单向语言模型，主要分为输入层、编码层和输出层三部分。
利用大型语言模型提升数字产品创新：提示，微调，检索增强生成和代理的应用
2301_79342058的博客
04-28 929
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！订阅：https://rengongzhineng.io/随着像Gemini、GPT或Claude这样的大型语言模型（LLMs）的新版本不断推出，相关头条新闻铺天盖地而来。与此同时，许多其他公司也在探索如何利用这些模型来创新、增加价值并降低成本。
R语言实战笔记--第九章 方差分析
08-25
R语言实战笔记第九章介绍了方差分析的内容。方差分析是一种用于比较两个或多个组之间差异的统计方法。在R语言中，可以使用lm函数进行方差分析的回归拟合。lm函数的基本用法是： myfit <- lm(I(Y^(a))~x I(x^2) I(log(x)) var ... [-1],data=dataframe 其中，Y代表因变量，x代表自变量，a代表指数，var代表其他可能对模型有影响的变量。lm函数可以拟合回归模型并提供相关分析结果。 在方差分析中，还需要进行数据诊断，以确保模型的可靠性。其中几个重要的诊断包括异常观测值、离群点和高杠杆值点。异常观测值对于回归分析来说非常重要，可以通过Q-Q图和outlierTest函数来检测。离群点在Q-Q图中表示落在置信区间之外的点，需要删除后重新拟合并再次进行显著性检验。高杠杆值点是指在自变量因子空间中的离群点，可以通过帽子统计量来识别。一般来说，帽子统计量高于均值的2到3倍即可标记为高杠杆值点。 此外，方差分析还需要关注正态性。可以使用car包的qqplot函数绘制Q-Q图，并通过线的位置来判断数据是否服从正态分布。落在置信区间内为优，落在置信区间之外为异常点，需要进行处理。还可以通过绘制学生化残差的直方图和密度图来评估正态性。 综上所述，R语言实战第九章介绍了方差分析及其相关的数据诊断方法，包括异常观测值、离群点、高杠杆值点和正态性检验。这些方法可以用于分析数据的可靠性和模型的适应性。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [R语言实战笔记--第八章 OLS回归分析](https://blog.csdn.net/gdyflxw/article/details/53870535)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值