python第二天---爬取招聘信息网的工作需求

这次主要是爬取了拉勾招聘的相关信息
将招聘信息的需求保存到了文件里面

详细代码如下：

import time
from selenium.webdriver.common.keys import Keys #键盘中的所有键
from selenium.webdriver import Chrome #导入浏览器的包
#创建浏览器
web = Chrome()
#将拉钩直聘请求进去
web.get("https://www.lagou.com/")
#进入之后获取关闭弹框的元素，然后点击
web.find_element_by_xpath('//*[@id="cboxClose"]').click()
# web.encoding = 'UTF-8'  #转码
time.sleep(1)#给系统3秒时间进行反应
#获取输入框，输入想要输入的内容，回车进行搜索
web.find_element_by_xpath('//*[@id="search_input"]').send_keys('python',Keys.ENTER)

n = 1
#web.find_elements_by_xpath('//*[@id="s_position_list"]/ul/li[1]/div[1]/div[1]/div[1]/a/h3')
alist = web.find_elements_by_class_name('position_link')
for a in alist:#循环
    #找到全部的h3并点击进去，打开具体的招聘页面
    a.find_element_by_tag_name("h3").click()
    web.switch_to.window(web.window_handles[-1])#跳转窗口到最后一个，切换窗口，转换到最后一个新打开的窗口
    # 拿到招聘信息，得到具体的工作描述
    text = web.find_element_by_xpath('//*[@id="job_detail"]/dd[2]').text
    #将得到的文本保存到本地
    f = open("abd/需求_%s.txt" % n, mode="w")
    f.write(text)
    # 关闭文件
    f.close()
    # 关闭新打开的这个招聘窗口
    web.close()
    # 跳转到最开始的窗口
    web.switch_to.window(web.window_handles[0])
    # 暂停一秒钟
    time.sleep(1)
    print("Okay")
    n += 1

保存信息如下：