抓取腾讯校园招聘的第一页

本人是个学python爬虫不久的小白,爬取腾讯招聘的一页招聘消息,用了两天的时间,可能爬取的消息没有那么全,也没有保存在文件夹里或者数据库,我只是为了增加我的爬取经验,发帖也是为了记录。

from selenium.webdriver import Chrome
from selenium.webdriver.chrome.options import Options
import time
# 加载插件
options = Options()
options.add_argument('--disable-blink-features=AutomationControlled')
options.add_experimental_option('useAutomationExtension', False)
options.add_experimental_option('excludeSwitches', ['enable-automation'])
web = Chrome(options=options)
self = web.get('https://join.qq.com/post.html?pid=1')
time.sleep(1)  # 页面加载
# 腾讯的页面需要向下滚动才能加加载出我们想要的代码
js = "window.scrollTo(0,100)"
web.execute_script(js)
time.sleep(1)
li_list = web.find_elements_by_xpath('//ul[1]/li')
for li in li_list:
    x = 1
    item = {}
    i = li.find_elements_by_xpath('./div[1]')  # 得到的时list类型
    j = li.find_elements_by_xpath('./div[2]/div[1]')
    for item['post_title'] in i:
        print(item['post_title'].text)
    for item['post__tag'] in j:
        if len(item['post__tag'].text) > 1:
            print(item['post__tag'].text)
        else:
            continue
    li = web.find_element_by_xpath(f'//ul[1]/li[{x}]').click()
    web.switch_to.window(web.window_handles[-1])  # 进入招聘信息的具体一页页
    time.sleep(0.5)
    web.execute_script(js)
    time.sleep(0.5)
    resp = web.find_elements_by_xpath('//*[@id="app"]/div/div[2]/div/ul/li[2]/div[2]/p')
    for i in resp:
        print(i.text)
    web.close()  # 关闭具体信息的一页
    web.switch_to.window(web.window_handles[0])  # 回到第一页
    x += 1

注释的内容不多,可能代码有一些多余的地方,我学爬虫也是在b站学的,可能学的不太基础不好,有些语句写得不好,或者可以怎么修改的地方,可以说出来。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值