python进行中文分词、词性标注、词频统计

df的部分数据如下:
A B
0 乐视招聘自动化测试工程师负责超级电视设备的自动化方案设计自动化测试与工具开发根据项目特点研究… 转正后全员持股年底奖金各种补助等
1 负责端产品网页以及的交互设计并对产品最终的用户体验负责参与用户研究及产品需求制定的整个过程提… 班车接送各种福利团队领导好
2 实现服务于智能设备用户的智能推荐系统当前需要实现电视购物推荐系统壁纸个性化推荐系统智能标签推… 弹性考勤慷慨期权免费班车薪
3 负责乐视智能设备超级电视超级手机数据开发工作当前需要实现智能用户行为多维探查交互系统后端开发… 弹性考勤慷慨期权免费班车薪
4 基于智能设备端用户行为的分析建模服务于各业务线钻研算法钻研业务持续改进算法提升业务质量负责电… 弹性考勤慷慨期权免费班车薪

import jieba.posseg as pseg
l = len(df)
df1=pd.DataFrame(columns=[‘word’,’type’])
x=[]
y=[]
for i in range(l):
words = pseg.cut(df.ix[i][0]) ##我这里对第一列即A列进行分词
for word,flag in words:
x.append(word)
y.append(flag)
df1[‘word’]=x
df1[‘type’]=y
df3=df1.groupby([‘word’,’type’]).size()

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值