（66）-- 多进程爬取腾讯招聘信息

# 用多进程爬取腾讯招聘的文本信息

from multiprocessing import Pool
import requests
from bs4 import BeautifulSoup
import time


base_url = 'http://hr.tencent.com/position.php?start=%d'

headers = {
    'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
}

def getPage(i):
    fullurl = base_url % i
    response = requests.get(url=fullurl,headers=headers)
    html = response.text

    # 获取详情页链接地址
    html = BeautifulSoup(html, 'lxml')
    tr_list = html.select('table.tablelist tr')[1:-1]
    for tr in tr_list:
        name = tr.select('td a')[0].text
        print(name)

if __name__ == '__main__':
    pool = Pool(8)
    # 创建进程
    a = time.time()
    for i in range(0,990 + 1,10):
        pool.apply_async(func=getPage, args=(i,))

    pool.close()
    pool.join()
    b = time.time()
    print("用时%f秒"%(b-a))

# 爬取结果如下：

C:\Users\cz\AppData\Local\Programs\Python\Python35\python.exe E:/Python/python爬虫/13.py
15605-高级3D角色设计师(深圳)
15605-高级3D动画设计师(深圳)
15605-高级3D特效设计师(深圳)
22989-腾讯云课程开发经理（深圳）
MIG12-技术运营工程师（深圳）
18302-新动作手游关卡策划（深圳）
18302-新动作手游资深系统策划（深圳）
GY0-JOOX音乐产品策划（深圳）
SNG06-手Q个性化产品iOS开发工程师（深圳）
25663-深度定制云高级行业运营经理（深圳）
SNG06-QQ动漫内容运营经理（深圳）
22989-WEB前端工程师（深圳）
22989-质量工程师（深圳）
22989-后台开发工程师（深圳）
22989-硬件工程师（深圳）
OMG097-视觉设计师（北京）
MIG06-硬件产品经理（深圳）
19116-商务策略经理（深圳）
22989-大数据平台研发工程师（深圳）
22989-推荐/精准营销系统工程师
15573-新侠风MMORPG资深数值策划（上海）
15573-新侠风MMORPG 3D场景美术设计师（上海）
22090-视频播放质量测试工程师（深圳）
TEG02-运营开发工程师（深圳）
24012-视觉设计师（深圳）
24012-UI设计师（深圳）
15602-后台开发工程师（深圳）
25928-PHP开发工程师（深圳）
22851-腾讯时尚原创版权编辑（北京）
15605-高级3D场景设计师(深圳)
SA-腾讯社交广告数据分析工程师（北京）
18402-移动游戏市场策划（深圳）
TEG05-项目管理经理（深圳）
18402-MMORPG手游数据分析（深圳）
23516-移动游戏运营PM（深圳）
23872-平台商务经理
OMG097-交互设计师（北京）
SNG16-QQ音乐开放平台产品策划（深圳）
20503-优图高级产品经理-行业应用（上海）
SNG06-QQ动漫资深内容运营经理（深圳）
22851-腾讯视频母婴品类运营（北京）
15605-资深UE4技术美术(深圳)
18402-MMORPG手游本地化&商业化策划（深圳）
MIG03-AI评价优化高级工程师（北京）
21529-反垄断法务（北京）
15569-后台开发工程师（深圳）
25663-游戏云业务高级运维工程师（深圳）
19332-高级PHP开发工程师（上海）
SNG06-QQ动漫社区音视频内容运营经理（深圳）
SA-腾讯社交广告推荐算法与系统工程师（北京）
22989-高级WEB前端开发工程师（杭州）
22989-腾讯云物联网方向架构师（ 深圳/北京/上海）
22989-Android开发工程师（深圳）
21309-腾讯课堂公考类目经理（深圳）
25663-智慧零售业务中心总监（深圳）
18402-移动游戏平台运营
15581-欢乐游戏2D/3D特效设计师（深圳）
MIG18-众创空间高级产品经理（深圳）
21087-移动游戏平台合作(深圳）
24491-王者荣耀全球版-移动客户端开发工程师（深圳）
SNG08-微视推荐算法产品经理
17759-合同管理专员
15611-3D角色设计师（深圳）
WXG08-211 微信搜一搜资讯内容运营经理（广州）
21482-王者荣耀职业联赛商业化经理（深圳）
SNG11-推荐/精准营销系统工程师（深圳）
MIG09-QQ浏览器赛事运营经理
MIG09-浏览器游戏平台运营经理
SNG08-后台台开发工程师
SNG08-微视KOL拓展运营经理（深圳）
MIG12-技术运营工程师
SNG16-全民K歌直播营收产品策划（深圳）
17520-U3D手游客户端开发工程师(深圳)
SNG01-QQ音视频高级产品经理（深圳）
SNG06-手Q动漫高级项目经理（深圳）
15583-HTML5小游戏开发工程师(深圳)
SA-腾讯社交广告广告服务端Java开发工程师（深圳）
25926-NLP算法工程师（深圳）
SNG11-推荐/精准营销系统工程师（深圳）
SNG16-全民K歌个性化推荐产品经理（深圳）
SA-腾讯社交广告日志平台团队组长（北京）
17520-U3D手游客户端开发工程师(深圳)
SNG11-业务运维工程师（深圳）
SNG04-看点高级产品经理（策划）-策略推荐类
SNG04-看点短视频类高级产品策划经理（深圳）
SNG04-看点高级数据分析产品经理（深圳）
19867-游戏客户端开发工程师（深圳）
XZ-行政拓展经理
20765-政府及公共事务经理（深圳）
WXG08-122 微信推荐算法开发工程师（北京）
22989-腾讯云企业业务中心前端研发工程师（深圳）
WXG04-212 微信游戏社交产品经理（深圳）
22968-本土日化服饰用品销售
14914-高级品牌创意经理（深圳）
18402-移动游戏高级运营经理(深圳）
18434-WEB前端开发（深圳）
S2-IEG财务管理（深圳）
MIG03-UI视觉设计师（APP）
MIG16-自动驾驶仿真模拟系统-虚幻引擎工程师
S2-税务管理(广州)
SNG11-人工智能研究员（深圳）
SNG04-看点综合功能类高级产品策划经理（深圳）
SNG04-看点互动社区类产品策划经理（深圳）
SNG04-看点用户增长产品策划经理（深圳）
SA-智慧零售高级市场传播经理（深圳）
SNG06-QQ会员产品运营经理（深圳）
14914-医疗产品公关经理
20718-精准推荐高级工程师（深圳）
23872-(Senior) Strategy Analysis Manager
23873-Producer
MIG03-Web前端开发（深圳）
MIG04-数据分析师（深圳）
HY5-互娱欧美商务经理（欧美重点客户）
15851-游戏后台开发工程师（深圳）
OMG064-广告投放引擎后台开发工程师（上海）
SNG11-腾讯云安全测试工程师
16811-授权业务平面设计师
MIG09-QQ浏览器前端开发工程师
22967-腾讯广告大客户渠道销售经理（上海）
15851-游戏后台开发工程师（深圳）
15851-游戏测试工程师（深圳）
15851-游戏图形渲染开发工程师（深圳）
15851-游戏音频师（深圳）
15851-游戏图形渲染开发工程师（深圳）
15851-游戏人工智能研究员（深圳）
15851-FPS游戏专项技术测试（深圳）
IEG-HRBP（深圳）
15575-《圣斗士星矢》战斗策划（成都）
CB-健康顾问（北京）
SNG11-iOS安全高级工程师（深圳）
22851-腾讯视频电视剧运营编辑（北京）
20772-企鹅影视艺人合作经理（北京）
18432-金融理财产品高级运营经理
SNG16-全民K歌造星经纪人（深圳）
OMG064-广告数据挖掘与算法工程师（上海）
OMG064-应用开发工程师（北京）
TEG11-机器学习研究员(成都)
15575-《圣斗士星矢》世界观策划（成都）
15575-天美L1预研海外手游世界观策划（成都）
SNG04-看点内容运营（深圳）
TEG03-大数据服务测试工程师（深圳）
23294-互娱移动游戏渠道营销拓展渠道经理（深圳）
23295-互娱游戏传播经理（深圳）
OMG064-广告算法工程师（上海）
SNG04-看点搞笑垂类运营（深圳）
SNG04-看点星座情感垂类运营（深圳）
SNG04-看点科技垂类运营（深圳）
SNG04-看点话题运营（深圳）
SNG04-看点push运营（深圳）
SNG04-看点视频运营（深圳）
SNG02-流媒体后台高级开发工程师（深圳）
18924-行政秘书（北京）
18924-行政秘书（上海）
SNG03-数据分析经理（深圳）
25925-数据挖掘工程师（深圳）
SNG04-看点萌宠垂类运营（深圳）
MIG09-QQ浏览器摄像头AR项目高级产品经理
WXG07-115 web前端研发工程师
WXG01-212 海外产品策划经理
22090-IOS开发工程师（深圳）
SA-腾讯社交广告排序算法研究员（微信广告 深圳）
SNG08-微视商务合作高级经理（深圳）
22086-NHL&NFL运营(北京）
15570-FPS手游客户端开发工程师（深圳）
22989-腾讯云物联网高级产品架构师（深圳）
26833-组织发展高级经理（深圳）
16810-动漫衍生品业务产品经理
20718-销售系统后台开发（深圳）
19116-互联网+医疗培训经理（深圳）
18432-基金高级分析师
22090-产品经理（深圳）
SNG02-腾讯云大数据应用产品经理（深圳）
22989-腾讯云高级虚拟化研发工程师（深圳）
SNG07-微视高级测试工程师（深圳