数据的异常值处理

爬取职位并且对职位进行词频数据分析（老板直聘）

修改爬取到的内容进行整理

刚开始的样子（其实比这个样子还要乱）

而我要的数据的样子应该是整齐的，所以我把职位描述往后的内容做了replace替换

replace('职位描述                                                      ','')
#将职位描述往后的空格部分都替换成了空

然后就变的整齐了很多

只进行了替换以后的部分是这个样子，这里是excel的设置原因盛满屏幕了

但只有职位介绍，没有职位名称也不行了，不然你也不知道属于那个职位啊，所以进行了后期的修改

进行词频分析和统计

既然要进行词频分析，我们就会用到我们最熟悉的jieba库喽

#没有的先进性安装
pip install jieba

我对excel进行词频统计一般是我都是现将excel文件需要进行统计的某一列或者行写入txt文件，其实别的方法也可以，这里我就不多做介绍了

• 先将excel内容写入txt文件

data=pd.read_excel('职位描述3.xlsx')
# data1=data['职位描述']
row = 0
with open("LAD1.txt", "w",encoding="utf-8") as f:
    #写入你要保存的文件位置即可
    for row in range(len(data)):
        column_str = str(data.iloc[row].at['职位描述']+"\n")
    #写入要保存的列的名称进行拼接，其中的换行符可依据自身的需求进行相应的修改
        f.write(column_str)
    print("已保存txt" )
    f.close()

• 其次就是将使用jieba来对txt进行统计分析

#将excel文件转为txt文件，然后进行词频分析
fileobj = open('LAD1.txt', 'r', encoding='utf-8')
txt=fileobj.read()
#print(txt)
fileobj.close()
#切词
words=jieba.lcut(txt) #l是list，切完之后的结果是一个列表
#print(words)
words_dict={} #用于存储词及词语出现的次数
for word in words:
    if len(word)==1: #说明构不成语语
        continue #如果不是词就进行下一轮循环
    else:
        if word in words_dict:
            words_dict[word]+=1  #如果词在字典中存在，次数累加1
        else:
            words_dict[word]=1 #如果在字典中不存在，说明是第一次出现，次数赋值为1
    words_dict_sort=sorted(words_dict.items(),key=lambda x:x[1] ,reverse=True)
# print(words_dict_sort)
df=pd.DataFrame(words_dict_sort,columns=['词','次数'])
df.to_excel('词频.xlsx',index=False) #将词频保存到xlsx文件

最后成功如下