【Python 多线程+Selenium+PyQuery+正则】爬取留学咨询服务信息

很多面临留学申请的小伙伴可能在寻求学长学姐留学咨询服务的时候一定好奇相关服务的价格等等信息，那么今天就来爬取一下相关内容。

程序分为【两个部分】。首先爬取导师详情页url，之后解析详情页内容。

由于此网站索引页的html不包含导师的详情页信息（貌似使用了js），因此首先利用Selenium爬取导师的相对url。

导入模块

import requests 
from selenium import webdriver 
import time
from pyquery import PyQuery as pq 

其中的while循环会一直找到并点击进入下一页，并通过pagesource获取本页html。 

def get_page_source():
	url = 'http://www.dearmentor.com/search'
	driver = webdriver.Chrome()
	driver.maximize_window()
	driver.get(url)
	time.sleep(3)
	info = driver.page_source
	get_relative_link(info)

	while True:
		driver.find_element_by_xpath("//div[@class='paging']/a[@class='next']").click()
		time.sleep(2)
		info2 = driver.page_source
		get_relative_link(info2)
		#print(info)
		#time.sleep(2)

此函数用来获取相对url并于base url拼接成绝对url