【R语言文本挖掘】：文本挖掘（以特朗普推文数据为例）_r语言文本分析案例

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

接下来我们要做的另一个小调整是删除图片链接，得到提取的word

links <- "https://t.co/[A-Za-z\\d]+|&amp;"
tweet_words <- campaign_tweets %>% 
  mutate(text = str_replace_all(text, links, ""))  %>%
  unnest_tokens(word, text, token = "tweets")

接下来我们来看一下哪些单词出现的次数最多

tweet_words %>% 
  count(word) %>%
  top_n(10, n) %>%
  mutate(word = reorder(word, n)) %>%
  arrange(desc(n))

A tibble: 10 × 2

word	n
the	2329
to	1410
and	1239
in	1185
i	1143
a	1112
you	999
of	982
is	942
on	874

不难理解这些词出现的次数最多。但是这些词没有提供信息。 tidytext包有这些常用词的数据库，称为停用词，在文本挖掘中：stop_words可以查看常见的停用词

head(stop_words)

A tibble: 6 × 2

word	lexicon
a	SMArT
a’s	SMArT
able	SMArT
about	SMArT
above	SMArT
according	SMArT

接下来我们删选掉属于停用词的文本

tweet_words <- campaign_tweets %>% 
  mutate(text = str_replace_all(text, links, ""))  %>%
  unnest_tokens(word, text, token = "tweets") %>%
  filter(!word %in% stop_words$word ) 

tweet_words %>% 
  count(word) %>%
  top_n(10, n) %>%
  mutate(word = reorder(word, n)) %>%
  arrange(desc(n))

A tibble: 10 × 2

word	n
#trump2016	414
hillary	405
people	303
#makeamericagreatagain	294
america	254
clinton	237
poll	217
crooked	205
trump	195
cruz	159

可以看出这个时候出现最多的次数的word能给我们一些信息，但是我们还要进行一个正则删选掉一些特殊的标记

tweet_words <- campaign_tweets %>% 
  mutate(text = str_replace_all(text, links, ""))  %>%
  unnest_tokens(word, text, token = "tweets") %>%
  filter(!word %in% stop_words$word &
           !str_detect(word, "^\\d+$")) %>%