2024年【R语言文本挖掘】：文本挖掘（以特朗普推文数据为例(1)，2024年最新零基础学习大数据开发开发

于 2024-05-13 13:46:21 发布
阅读量735 收藏 30
点赞数 8
分类专栏： 程序员 文章标签： 大数据 面试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84181164/article/details/138800028
版权

img
img

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

  1. ‘for’
  2. ‘a’
  3. ‘tweet’
  4. ‘endorsement’
  5. ‘when’
  6. ‘her’
  7. ‘book’
  8. ‘was’
  9. ‘launched’

默认的unnest_tokens会去除特殊符号，我们可以通过指定token,来保留这些符号

campaign_tweets[1,] %>% 
  unnest_tokens(word, text, token = "tweets") %>%
  pull(word)
  1. ‘why’
  2. ‘did’
  3. ‘@danaperino’
  4. ‘beg’
  5. ‘me’
  6. ‘for’
  7. ‘a’
  8. ‘tweet’
  9. ‘endorsement’
  10. ‘when’
  11. ‘her’
  12. ‘book’
  13. ‘was’
  14. ‘launched’

接下来我们要做的另一个小调整是删除图片链接，得到提取的word

links <- "https://t.co/[A-Za-z\\d]+|&amp;"
tweet_words <- campaign_tweets %>% 
  mutate(text = str_replace_all(text, links, ""))  %>%
  unnest_tokens(word, text, token = "tweets")

接下来我们来看一下哪些单词出现的次数最多

tweet_words %>% 
  count(word) %>%
  top_n(10, n) %>%
  mutate(word = reorder(word, n)) %>%
  arrange(desc(n))

A tibble: 10 × 2

wordn
the2329
to1410
and1239
in1185
i1143
a1112
you999
of982
is942
on874

不难理解这些词出现的次数最多。但是这些词没有提供信息。 tidytext包有这些常用词的数据库，称为停用词，在文本挖掘中：stop_words可以查看常见的停用词

head(stop_words)

A tibble: 6 × 2

wordlexicon
aSMArT
a’sSMArT
ableSMArT
aboutSMArT
aboveSMArT
accordingSMArT

接下来我们删选掉属于停用词的文本

tweet_words <- campaign_tweets %>% 
  mutate(text = str_replace_all(text, links, ""))  %>%
  unnest_tokens(word, text, token = "tweets") %>%
  filter(!word %in% stop_words$word ) 


tweet_words %>% 
  count(word) %>%
  top_n(10, n) %>%
  mutate(word = reorder(word, n)) %>%
  arrange(desc(n))

A tibble: 10 × 2

wordn
#trump2016414
hillary405
people303
#makeamericagreatagain294
america254
clinton237
poll217
crooked205
trump195
cruz159

可以看出这个时候出现最多的次数的word能给我们一些信息，但是我们还要进行一个正则删选掉一些特殊的标记

tweet_words <- campaign_tweets %>% 
  mutate(text = str_replace_all(text, links, ""))  %>%
  unnest_tokens(word, text, token = "tweets") %>%
  filter(!word %in% stop_words$word &
           !str_detect(word, "^\\d+$")) %>%
  mutate(word = str_replace(word, "^'", ""))


Using `to_lower = TrUE` with `token = 'tweets'` may not preserve UrLs.

现在我们已经将所有单词放在了一个表格中，以及有关用于撰写它们来自的推文的设备的信息，我们可以开始探索在将 Android 与 iPhone 进行比较时哪些单词更常见。

对于每个单词，我们想知道它更有可能来自 Android 推文还是 iPhone 推文。在这里我们使用优势比率指标来进行衡量。对于每个设备和一个给定的单词，我们称它为 y，我们计算 y 和非 y 单词比例之间的几率或比率，并计算这些几率的比率。这里我们将有许多比例为 0，因此我们使用0.5 校正，具体做法如下：

i

n

A

n

d

r

o

i

d

0.5

/

t

o

t

a

l

A

n

d

r

o

i

d

0.5

i

n

i

P

h

o

n

e

0.5

/

t

o

t

a

l

i

P

h

o

n

e

0.5

\frac{#in Android+0.5/totalAndroid+0.5}{ #in iPhone+0.5/totaliPhone+0.5}

#iniPhone+0.5/totaliPhone+0.5#inAndroid+0.5/totalAndroid+0.5​

android_iphone_or <- tweet_words %>%
  count(word, source) %>%
  pivot_wider(names_from = "source", values_from = "n", values_fill = 0) %>%#将长数据转换为宽数据
  mutate(or = (Android + 0.5) / (sum(Android) + 0.5) / 
           ( (iPhone + 0.5) / (sum(iPhone) + 0.5)))

因此，or值越大，证明出现在android中的频率越大

以下是 Android 的最大优势比率

android_iphone_or %>% arrange(desc(or))%>%head()

A tibble: 6 × 4

wordiPhoneAndroidor
poor01323.08133
poorly01221.37160
turnberry01119.66188
@cbsnews01017.95215
angry01017.95215
bosses01017.95215

以下是iPhone的优势比最大的几个word

android_iphone_or %>% arrange(or) %>% head()

A tibble: 6 × 4

wordiPhoneAndroidor
#makeamericagreatagain29400.001451382
#americafirst7100.005978071
#draintheswamp6300.006731214
#trump201641130.007271020
#votetrump5600.007565170
join15710.008141564

鉴于其中几个词是整体低频词，我们可以根据总频率施加一个过滤器，如下所示：

android_iphone_or %>% filter(Android+iPhone > 70) %>%
  arrange(desc(or))%>%head()

A tibble: 6 × 4

wordiPhoneAndroidor
@cnn17904.420869
republican12634.342710
bernie13593.767735
bad261043.371068
wow23742.710101
crooked491562.702752
  • 大多数主题标签来自 iPhone。事实上，几乎没有来自特朗普安卓系统的推文包含主题标签。
  • 诸如“join”和“tomorrow”之类的词，也仅来自 iPhone。 iPhone 显然负责活动公告（“明天晚上 7 点在德克萨斯州休斯顿加入我！”）

我们已经看到，从一种设备发布的文字类型比另一种设备更多。但是，我们对特定的单词不感兴趣，而是对语气感兴趣。 那么我们如何用数据来检查呢？单词可以与更基本的情绪相关联，例如愤怒、恐惧、喜悦和惊讶。

3.情绪分析：特朗普自己的推文比他的竞选推文更多负面情绪

在情感分析中，我们将一个词分配给一个或多个“情感”。尽管这种方法会遗漏与上下文相关的情绪，例如讽刺，但在对大量单词执行时,这样是有效的
情感分析的第一步是为每个单词分配一个情感。我们还将使用 textdata 包。

library(tidytext)
library(textdata)

对于我们的分析，我们有兴趣探索每条推文的不同情绪，因此我们将使用nrc 词典，包含了10种不同的情绪以及对于的单词，如下所示。第一次使用需要下载

get_sentiments("nrc") %>% head()

A tibble: 6 × 2

wordsentiment
abacustrust
abandonfear
abandonnegative
abandonsadness
abandonedanger
abandonedfear
get_sentiments("nrc") %>% count(sentiment)

A tibble: 10 × 2

sentimentn
anger1245
anticipation837
disgust1056
fear1474
joy687
negative3316
positive2308
sadness1187
surprise532
trust1230

可以看出不同的单词对应的情感。接下来我们就通过nrc词典来匹配推文中的情感

nrc <- get_sentiments("nrc") %>%
  select(word, sentiment)

我们可以使用 inner_join 组合word和sentiments，它只会保留与情绪相关联的单词。 以下是从推文中提取的7 个随机单词：

tweet_words %>% inner_join(nrc, by = "word") %>% 
  select(source, word, sentiment) %>% 
  sample_n(7)

A tibble: 7 × 3

sourcewordsentiment
iPhonehappyjoy
iPhonescumdisgust
Androidlovejoy
iPhonehurtanger
Androidfailinganticipation
iPhonevictoryanticipation
iPhonereporterpositive

现在我们准备通过比较从每个设备发布的推文的情绪来执行比较 Android 和 iPhone 的定量分析。在这里，我们可以执行逐条推文分析，为每条推文分配情绪。然而，这将具有挑战性，因为每条推文都会附有几种情感，词典中出现的每个单词都有一种情感。出于说明目的，我们将执行一个更简单的分析 ：我们将计算和比较每个设备中出现的每种情绪的频率。

sentiment_counts <- tweet_words %>%
  left_join(nrc, by = "word") %>%#连接表
  count(source, sentiment) %>%#记数
  pivot_wider(names_from = "source", values_from = "n") %>%#将长数据转换为宽数据
  mutate(sentiment = replace_na(sentiment, replace = "none"))
sentiment_counts

A tibble: 11 × 3

sentimentAndroidiPhone
anger957528
anticipation909710
disgust638318
fear794486
joy687530
negative1637925
positive18051468
sadness890515
surprise518365
trust1235985
none1191110775

对于每种情绪，我们可以计算出现在设备中的几率：有情绪的词的与没有情绪的词的比例，然后计算比较两个设备的几率比。

sentiment_counts %>%
  mutate(Android = Android / (sum(Android) - Android) , 
         iPhone = iPhone / (sum(iPhone) - iPhone), 
         or = Android/iPhone) %>%
  arrange(desc(or))

A tibble: 11 × 4

sentimentAndroidiPhoneor
disgust0.029892700.018395331.6250163
anger0.045519410.030918781.4722252
negative0.080465990.055455641.4509974
sadness0.042198090.030134581.4003212
fear0.037475810.028389511.3200584
surprise0.024134560.021171691.1399446
joy0.032262610.031039531.0394039
anticipation0.043137810.042024271.0264977
trust0.059529550.059265941.0044478
positive0.089462730.090971060.9834196
none1.182820261.577598830.7497598

从结果来看，我们确实看到了一些差异，而且顺序很有趣：差异最大的三种情绪分别是disgust、anger和negative！但是这些差异仅仅是偶然的吗？为了回答这个问题，我们可以为每种情绪计算优势比的置信区间。

library(broom)
log_or <- sentiment_counts %>%
  mutate(log_or = log((Android / (sum(Android) - Android)) / #对数优势比率
      (iPhone / (sum(iPhone) - iPhone))),
          se = sqrt(1/Android + 1/(sum(Android) - Android) + #标准差
                      1/iPhone + 1/(sum(iPhone) - iPhone)),
          conf.low = log_or - qnorm(0.975)\*se,#置信区间
          conf.high = log_or + qnorm(0.975)\*se) %>%
  arrange(desc(log_or))
  
log_or

A tibble: 11 × 7

sentimentAndroidiPhonelog_orseconf.lowconf.high
disgust6383180.485517860.069402830.3494908090.62154491
anger9575280.386774990.055181470.2786213040.49492869
negative16379250.372251210.042438910.2890724710.45542995
sadness8905150.336701650.056314030.2263281720.44707513
fear7944860.277676010.058503610.1630110400.39234098
surprise5183650.130979630.06910010-0.0044540840.26641335
joy6875300.038647350.05871902-0.0764398150.15373451

img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

492869 |
| negative | 1637 | 925 | 0.37225121 | 0.04243891 | 0.289072471 | 0.45542995 |
| sadness | 890 | 515 | 0.33670165 | 0.05631403 | 0.226328172 | 0.44707513 |
| fear | 794 | 486 | 0.27767601 | 0.05850361 | 0.163011040 | 0.39234098 |
| surprise | 518 | 365 | 0.13097963 | 0.06910010 | -0.004454084 | 0.26641335 |
| joy | 687 | 530 | 0.03864735 | 0.05871902 | -0.076439815 | 0.15373451 |

[外链图片转存中…(img-7cKGBYam-1715579158997)]
[外链图片转存中…(img-xQw1Sbho-1715579158997)]
[外链图片转存中…(img-4iSmnief-1715579158998)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

2401_84181164
关注
  • 8
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【R语言文本挖掘】：文本挖掘（以特朗普推文数据为例）_r语言文本分析案例
2401_84181164的博客
04-30 658
使用安装我们首先使用函数将文本划分为单个单词，并删除一些常见的“停用词”。这个函数将获取一个字符串向量并提取标记，以便每个标记在新表中都有一行。现在我们看一下推文的第一条数据默认的unnest_tokens会接下来我们要做的另一个小调整是，得到提取的接下来我们来看一下哪些单词出现的次数最多不难理解这些词出现的次数最多。但是这些词没有提供信息。stop_words接下来我们删选掉属于停用词的文本可以看出这个时候出现最多的次数的word能给我们一些信息，
R语言tm工具包进行文本挖掘实验
Blog of Benley
07-16 1万+
tm包是R语言中为文本挖掘提供综合性处理的package，进行操作前载入tm包，vignette命令可以让你得到相关的文档说明。本文从数据导入、语料库处理、预处理、元数据管理、创建term-document矩阵这几个方面讲述tm包括的使用。     >library(tm)        //使用默认安装的R平台是不带tm  package的，必须要到http://www.r-project
R语言文本挖掘
02-25
R 语言环境下的文本挖掘，文本挖掘被描述为 “自动化或半自动化处理文本的过程”，包含了文档聚类、文档分类、自 然语言处理、文体变化分析及网络挖掘等领域内容。 对于文本处理过程首先要拥有分析的语料（text corpus），比如报告、信函、出版物等。而 后根据这些语料建立半结构化的文本库（text database）。而后生成包含词频的结构化的词条 -文档矩阵（term-document matrix）。
R语言之文本挖掘
zhf1234abc的博客
08-22 647
文本挖掘涉及到知识有：贝叶斯，朴素贝叶斯、分词算法。 贝叶斯公式： P(H|X) = P(X|H)P(H)/P(X) 解释：X代表词，H代表是否是垃圾邮件，P(H|X)代表出现X次是垃圾邮件的概率。P(X|H)代表先验概率表示在垃圾邮件的条件下该X词出现的概率，P(H)代表垃圾邮件的概率，P(X)代表X在整个训练集出现的概率，在X是单个词的情况下，还是比较容易算出，但是当分出的词是几
R语言-文本挖掘
weixin_30270561的博客
03-26 741
---恢复内容开始--- 案例1:对主席的新年致辞进行分词,绘制出词云 掌握jieba分词的用法 1.加载包 library(devtools) library(tm) library(jiebaR) library(jiebaRD) library(tmcn) library(NLP)library(wordcloud2) 2.导入数据 news <- r...
LaTextGAN:使用LaTextGAN生成假特朗普推文
04-04
对于这个项目，我们尝试使用的LaTextGAN方法生成唐纳德·J·特朗普风格的新颖推文。 LaTextGAN背后的想法是从连续的低维空间生成新句子，而不是直接处理离散文本。 Donahue和Rumshisky通过首先在给定的数据集上...
trump2cash：由特朗普推文提供支持的股票交易机器人
01-28
每当特朗普发推文时，它都会使用来获得通知。 实体检测和情感分析使用Google的，而提供公司数据。 进行股票交易。 模块定义了一个回调，其中处理传入的推文并开始流式传输特朗普的提要： def twitter_callback ( ...
由特朗普推文驱动的股票交易机器人-Python开发
05-25
Trump2Cash此机器人监视Donald Trump的推文，并等待他提及任何公开交易的公司。 当他这样做时，它将使用情感分析来确定他对那些同伴Trump2Cash的看法是正面还是负面。该机器人监视Donald Trump的推文，并等待他提及...
US Election 2020 Tweets 美国大选2020年推文-数据集
03-12
该数据集聚焦于2020年美国大选期间的推文活动，涵盖了从2020年10月15日至2020年11月8日这段时间内大约172万条推文。这是一份珍贵的资源，对于研究社交媒体在政治选举中的影响力，特别是Twitter平台在信息传播和公众...
2017年最新数据科学面试题及答案
04-30
1. **使用更多的训练数据：**更多的数据可以帮助模型更好地学习数据的真实分布。 2. **正则化：**通过添加惩罚项来限制模型的复杂度，如L1和L2正则化。 3. **特征选择：**选择最相关的特征，避免使用过多无关紧要的...
R语言环境下的文本挖掘
12-02
. 1 文本挖掘的概述 . 2 网页数据抓取的利器-XML . 3 tm 包及相关应用 . 4 应用的实例
R语言文本挖掘方法
03-11
详细介绍R语言文本挖掘方法，从理论方法到具体步骤，以及实用案例，深入浅出，帮助你更深的理解R语言文本挖掘方法。
TraMineR-Users-Guide(R语言文本挖掘包TraMineR)
07-07
TraMineR-Users-Guide(R语言文本挖掘包TraMineR)
R语言与文本挖掘入门篇（各软件包详解）
06-09
本课程主要是利用R语言工具实现文本挖掘。主要内容包括：1、介绍文本挖掘的基本原理；2、文本挖掘相关包的安装讲解；3、tm包和Rwordseg包的详解。
机器学习之文本挖掘—基于R语言
qq_54423921的博客
08-11 1220
首先建立一个对象，计算每列综合，然后按照降序重新排列。默认的排序方式是升序，所以在freq前面加一个负号就变成了降序。我们使用的基础软件包是tm，这是专门的文本挖掘软件包。还需要SnowballC包进行词干提取，使用RColorBrewer包进行上色，当然还有wordcloud包。不难发现这些主题都是关于经济和商业的，可以由job，energy，reform和dificit这些词看出。LDA是一个生成式过程，他按照下面的步骤进行迭代，直到达到一个平稳状态。现在，使用tm包中的tm_map函数进行文本转换。.
R语言文本挖掘tm包详解（附代码实现）
热门推荐
数据分析与数据挖掘
05-06 2万+
文本挖掘相关介绍 1什么是文本挖掘 2NLP 3 分词 4 OCR 5 常用算法 6 文本挖掘处理流程 7 相应R包简介 8 文本处理 词干化stemming snowball包 记号化Tokenization RWeka包 中文分词 Rwordseg包 9 tm包常用操作介绍 tm包具体操作 建立语料库 导出语料库 语料库检索和查看 元数据
R语言：实现文本分析实例（基础篇）
wowtous
11-06 9337
转自：http://www.bassary.com/?p=1093 数据包url：下载   (下载数据后，记得同程序中的名字一致，路径要统一。) #1加载软件包： #1.1数据欲处理包： #Snowball（处理带空格的语句） #rJava（rmmseg4j的支持包） #rmmseg4j(处理中文的分词，把不带空格的分为带空格的。) #1.2文本分析包： #tm #数据处理##
并行实时大数据流情感分析系统：SMDSSAS
在对2016年美国总统选举前几周的Twitter数据流进行的实验中，SMDSSAS成功地预测了唐纳德·特朗普的胜选，显示了其在实时情感预测上的有效性。交叉验证结果显示，确定性模型的平均准确度达到81%，而概率模型的平均...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值