Python案例代码 | 使用正则表达式判别微博用户mbti类型

程序员晓晓

已于 2024-01-11 16:02:58 修改

阅读量387

点赞数

文章标签： python 正则表达式开发语言数据分析数据挖掘机器学习

于 2023-10-31 10:28:59 首次发布

本文链接：https://blog.csdn.net/cxyxx12/article/details/134134676

版权

使用Python爬虫采集「微博搜索」中含mbti信息的推文， 使用正则表达式判别用户mbti类型。相比实验室做实验或者发调查问卷，这种方式收集到的用户类别是非常自然且真实的。今日爬虫不是今日主题，就不做分享了。

import pandas as pd

#采集自微博搜索中含mbti类型的推文
df = pd.read_csv('mbti_test.csv')
#剔除content列中的nan数据
df.dropna(inplace=True, subset=['content'])
df

正则表达式练习题

提取含有mbti的记录
提取出含mbti类型出现的前后5个字符的文本 (前5个字符，后5个字符，含mbti本身，窗体最长的长度是14)
识别出含mbti的记录中对应的mbti类型，未识别的标记为"未识别"

一、提取含有mbti的记录

实现方法有两种

pd.Series.str.contains(regex_pattern)
定义一个正则处理函数regex_func，使用 pd.Series.apply(regex_func)

正则表达式含义

mbtis = '[infj|entp|intp|intj|entj|enfj|infp|enfp|isfp|istp|isfj|istj|estp|esfp|estj|esfj]'

[ 和 ]：这是字符类（character class）的起始和结束标记，表示要匹配方括号内的任何字符。
infj|entp|intp|intj|entj|enfj|infp|enfp|isfp|istp|isfj|istj|estp|esfp|estj|esfj：这是一个字符类内的字符集合，用于匹配MBTI类型词汇。每个MBTI类型词汇都以竖线 | 分隔，表示“或”的关系。这意味着正则表达式会匹配其中任何一个MBTI类型词汇。
+：这是一个量词，表示匹配前面的字符集合（MBTI类型词汇）一次或多次。它使正则表达式可以匹配包含一个或多个MBTI类型词汇的文本。

mbtis = '[infj|entp|intp|intj|entj|enfj|infp|enfp|isfp|istp|isfj|istj|estp|esfp|estj|esfj]'

df.content.str.contains(mbtis)

0 True
1 True
2 True
3 True
4 True
…
495 False
496 False
497 False
498 False
499 False
Name: content, Length: 497, dtype: bool

import re


def has_mbti(text):
    mbtis = '[infj|entp|intp|intj|entj|enfj|infp|enfp|isfp|istp|isfj|istj|estp|esfp|estj|esfj]+'

    if re.findall(mbtis, text):
        return True
    else:
        return False
    
    
df.content.apply(has_mbti)

0 True
1 True
2 True
3 True
4 True
…
495 False
496 False
497 True
498 False
499 True
Name: content, Length: 497, dtype: bool

df['hasMBTI'] = df['content'].apply(has_mbti)
df

二、mbti前后内容

提取出含mbti类型出现的前后5个字符的文本(前5个字符，后5个字符，含mbti本身，窗体最长的长度是14)。

这样后续的分析任务，就可以通过查看mbti字眼前后出现的字符，来更新正则表达式。

正则表达式含义

mbti_win = "(.{0,5}(?:infj|entp|intp|intj|entj|enfj|infp|enfp|isfp|istp|isfj|istj|estp|esfp|estj|esfj).{0,5})"

( 和 )这些括号用于将整个匹配结果捕获为一个分组
.{0,5} ：这是一个量词，表示匹配前面的字符（.表示匹配任意字符）零次到五次。这部分用于匹配前面的文本，确保最多匹配前面的五个字符。
(?:infj|entp|intp|intj|entj|enfj|infp|enfp|isfp|istp|isfj|istj|estp|esfp|estj|esfj)：这是一个非捕获分组，用于将多个MBTI类型词汇用 | 连接起来，表示匹配其中任何一个。
.{0,5} ：这部分同样是一个量词，表示匹配后面的字符，确保最多匹配后面的五个字符。

def mbti_window(text):
    #识别mbti的正则表达式 
    mbti_win = "(.{0,5}(?:infj|entp|intp|intj|entj|enfj|infp|enfp|isfp|istp|isfj|istj|estp|esfp|estj|esfj).{0,5})"

    try:
        return re.findall(mbti_win, text)[0]
    except:
        return "未识别"

df['MBTI_win'] = df['content'].apply(mbti_window)
df

三、识别mbti类型

刚刚的代码比较粗糙，只能判断文本中是否有mbti信息，但并不能判断该用户是否为某种mbti类型。

微博文本中，只有 //@ 前字符内容是微博用户所写内容。为了识别用户的mbti类型，可以先将我们看到的表达方式列举一下

``我是[mbti]
自己是[mbti]
从[mbti]变为[mbti]
一直是[mbti]
[mbti]我
本[mbti]
…

可以基于此设计一个严格的正则表达式，能识别到的记录，肯定能判断该用户的mbti类型。未识别到的标记为 “未识别”

正则表达式含义

mbti_regex = "[我|自己|变成|一直|是|本]*(infj|entp|intp|intj|entj|enfj|infp|enfp|isfp|istp|isfj|istj|estp|esfp|estj|esfj)[我|俺|本|自己]*"

[我|自己|变成|一直|是|本]*：这部分是一个字符集合，用于匹配前面的字符（关键词）。方括号 [...] 表示字符类，其中的字符是可选的，并且 * 表示匹配零次或多次。这意味着它可以匹配零个或多个出现在方括号中的字符，例如可以匹配"我"、“自己”、“变成”、“一直”、“是”、"本"等这些关键词。
(infj|entp|intp|intj|entj|enfj|infp|enfp|isfp|istp|isfj|istj|estp|esfp|estj|esfj) ：这是一个分组，其中包含了MBTI类型词汇，用竖线 | 分隔，表示"或"的关系。这部分用于匹配任意一个MBTI类型词汇。
[我|俺|本|自己]* ：这部分与第1部分类似，是一个字符集合，用于匹配后面的字符（关键词）。同样，方括号 [...] 表示字符类，其中的字符是可选的，并且 * 表示匹配零次或多次。

def identify_mbti(text):
    if '//@' in text:
        new_text = text.split('//@')[0]
    else:
        new_text = text

    #识别mbti的正则表达式 
    mbti_regex = "[我|自己|变成|一直|是|本]*(infj|entp|intp|intj|entj|enfj|infp|enfp|isfp|istp|isfj|istj|estp|esfp|estj|esfj)[我|俺|本|自己]*"

    try:
        return re.findall(mbti_regex, text)[0]
    except:
        return "未识别"

#mbti类型
df['MBTI_Cat'] = df['content'].apply(identify_mbti)
df

#各类型记录数   
df['MBTI_Cat'].value_counts()

MBTI_Cat
未识别 297
infp 35
isfj 20
enfp 18
intp 17
isfp 16
intj 14
entp 12
entj 11
infj 11
enfj 8
estj 8
istp 8
istj 7
esfp 6
estp 5
esfj 4
Name: count, dtype: int64