爬取智联招聘岗位描述并根据描述生成词云

前言:

根据搜索相关的职位,获取职位数量,由职位数量得到职位相关页码链接,再由相关页码链接获得每个职位链接,最后由职位链接获取详细的职位描述。以上获得链接和职位描述由正则表达式完成。

环境:win7 、pycharm、python2

所用到的库:urllib2 、 re、urllib、time 、jieba、matplotlib、wordcloud、numpy、PIL

文件组成:

   main.py ----主要函数文件包括获取页码链接、获取每页职位链接、获取职位描述、爬取信息保存职位描述为txt文本

   zhaopin_wordcloud.py ----根据保存文本信息生成词云

   mysh.ttf ----为生成词云准备的字体文件

   info.txt ----保存职位描述为txt文本

代码如下:

main.py

#coding:utf-8
import urllib2
import urllib
import re
import time
#获取页码链接
def getpagelist(name):
    url = "https://sou.zhaopin.com/jobs/searchresult.ashx?"
    # 模拟浏览器头部
    headers = {
        "User-Agent": "Mozilla/5.0(WindowsNT6.1;rv:2.0.1)Gecko/20100101Firefox/60.0.1"
    }
    word = {"kw": name}  # 相关职位
    word = urllib.urlencode(word)  # 编码成字符串
    u
  • 1
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值