占星术合理吗？各个星座最喜欢用的表情是什么？-CSDN博客

本文链接：https://blog.csdn.net/duxinshuxiaobian/article/details/111713924

全文共2122字，预计学习时长6分钟

图源：unsplash

通过分析数千条推文，我们找到了热门的星座推特账号，利用机器学习Bertmoticon包来分析预测每个星座的表情。结果让我们大吃一惊！

首先，我们在推特上进行搜索，通过粉丝的数量和最近推文的热度（点赞数）找到每个星座的最热推特账号，然后从每个推特账号中检索最近的推文。为过滤掉垃圾信息，我们找的这些推文至少要有100个赞。

占星在推特上的点击量接近400万次，每个星座的潜在点击量平均达到11万次，可见占星学在推特上有相当多的粉丝。

我们对推文文本进行了预处理和清理，筛去了杂项信息，删除了标签、URL、用户名、停止词。这样，当我们把关于各星座的推文输入到Bertmoticon库中时，结果将更加准确。它推断出一本表情字典，我们将其转换为概率。

以一条来自@VirgoTerms且经过清理的推文为例：“处女座的人喜欢把工作中的收获带到家里的餐桌上，他们喜欢和家人分享这些事情。”

以下是Bertmoticon根据这条推文推断出的相关表情的前四名（已删去停止词）：????概率为26.2%，????概率为18.0%，????概率为10.3%，????概率为5.7%。

为了帮助理解如何在Python中清理推文，我们导入了上一步的CSV文件，并编写了几个不同的函数应用到CSV中的文本列。实现的功能如下：

· 去掉停止词：停止词指的是那些不能增加信息价值的常见词，如“the”、“and”。这就减少了估计误差，尤其是在数据点较少的情况下。

stop_words =set(stopwords.words("english"))   
text = tokenization(text) # breaks up text into a list of words
filtered_tweet = [w for w in text if not w in stop_words]

· 使用SnowballStemmer进行词根处理：将单词还原为词根（例如“loves” “loved” “loving”都还原为 “love”）。虽然要以增加贝叶斯误差作为代价，但这大大降低了估计误差。

sb = SnowballStemmer("english")  
# assumes text has already been tokenized
for word in text:        
   print(word, " : ",sb.stem(word))

· 从提取的推文中删除不必要的文本：链接、话题标签、@用户名、转发标志(“RT”)、数字，这些都与文本整体信息无关。

import re
# removes urls or image links with http
pattern = r"httpS+"    
text = re.sub(pattern, "",text)

清理完文本后，我们运行Bertmoticon，以给定的概率推断出每条推文相关表情的前四名。我们从CSV文件中生成一个推文列表，并对列表中的每个字符串运行Bertmoticon。

import bertmoticon
from csv import DictReader
with open( gemini.csv , newline=  ) as f:   
    ls_of_strings =[row["text"] for row in DictReader(f)]
emojis = bertmoticon.infer(ls_of_strings, 4)

· 风象星座