俗话说:“知己知彼,百战不殆”,在准备面试的过程中,大家基本都会在网上搜集前辈们的面经,借此来了解各个公司在面试过程中常常提问的问题,这样就能够针对性的做出准备
那你想不想知道,在某个领域,最常被提问到的知识点是什么呢?使用Python写一个脚本,马上就能知道
1.爬取面经
以牛客网为例
首先打开面经汇总页面
找到自己感兴趣的领域或者公司,这里我选择了golang
点开之后发现面经内容相关的部分是通过Ajax加载的,如果直接爬取页面是得不到这些内容的
读取Ajax可以使用Python的selenium库,通过WebDriverWait
方法可以等待Ajax加载之后再读取内容
具体实现如下:
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome(executable_path='C:/user/selenium/chromedriver.exe') # 自己的chromedriver位置
driver.get('https://www.nowcoder.com/discuss/experience?tagId=2656') # 对应的页面url
# 等待ajax内容加载
wait = WebDriverWait(driver, 10)
# 一直等到 class='js-nc-wrap-link'(对应页面的ajax部分)加载出来
wait.until(
EC.presence_of_element_located((By.CLASS_NAME, 'js-nc-wrap-link'))
)
- 注意,由于selenium要调用浏览器,所以首先要下载对应浏览器的驱动,这部分在selenium官方文档中有详细说明
等Ajax加载完毕,就可以获得每一条面经对应的链接了ÿ