用python做词云

用Python抓取太原地区IT行业的需求，并做成词云

好了首先就是分析网页：

1、搜索并进入中华英才网（http://www.chinahr.com/taiyuan/jobs/57552/）。

2、右击打开检查因为要分析的是对什么人才的需求，所以我们只需要抓取工作名称就好了。

3、点击箭头指向的标号，并选中工作的名字就可以看到他在网页中的属性

接下来就是编码了

import requests  
from bs4 import BeautifulSoup  
from datetime import datetime  
import re  
import json  
import pandas
jobs_total = []
f = open('F:\\joblist.txt','a+',encoding='utf-8')
print("............")
url='http://www.chinahr.com/taiyuan/jobs/57552/'  
res=requests.get(url)  
res.encoding='utf-8'  
soup=BeautifulSoup(res.text,'html.parser')  

for i in range(0,20):
    jobName=soup.select('.e1 a')[i].text
    jobs_total.extend(jobName)
    f.write("  "+jobName) 
    jobSalary=soup.select('.l2 .e2')[i].text

hurl='http://www.chinahr.com/taiyuan/jobs/57552/{}'
for i in range(2,99):
    nurl=hurl.format(i)
    res=requests.get(nurl)
    res.encoding='utf-8'  
    soup=BeautifulSoup(res.text,'html.parser')  
    for i in range(0,20):
        jobName=soup.select('.e1 a')[i].text
        f.write("  "+jobName)
        jobs_total.extend(jobName)
        jobSalary=soup.select('.l2 .e2')[i].text
len(jobs_total)
print("............")
df=pandas.DataFrame(jobs_total)
f.close()

一页是20条数据，一共99页。上边的代码就是帮我们抓取的所有职位信息。

接下来我们就要生成词云了。

刚开始写出来是这样的

都显示的是一个大方框子

说明生成成功了，但是写这个的是一个老外，不会说中文。我们需要自己的中文字体，于是有了下边的代码;

#-*- coding: utf-8 -*-
%pylab inline
from wordcloud import WordCloud
from os import path
import matplotlib.pyplot as plt

f = open('F:\\joblist.txt','r',encoding='utf-8')
jobsText=f.read()
wordcloud = WordCloud(font_path="F:\\simfang.ttf").generate(jobsText)
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis("off")

好了这下子就得到了我们需要的东西

这就是生成的词云，从图片中看到的是太原地区IT行业竟然多数找的是销售，作为一个学软件的好心累。

应为要爬取1万8千条数据，慢是正常的，耐心等待。