目录
一、工作目标
为实现云服务器的比价,所以需爬取现主流平台的云服务器数据。包括阿里云,腾讯云,华为云和百度云。我负责的为爬取百度云服务器数据。
二、任务计划
采用python+selenium的方式模拟用户点击事件,对百度云的价格计算器中的数据进行爬取。
将爬取数据采用with open方法写入csv文件进行暂时性保存。
三、代码实现
#对云磁盘写入,保证都在同样其他配置情况下进行价格计算
action_chains = ActionChains(driver)
action_chains.double_click(driver.find_element_by_xpath('//*[@id="ctrl-bcc-price-ctrl-bcc-price-systemDiskDragger-input-input"]')).perform()
driver.find_element_by_xpath('//*[@id="ctrl-bcc-price-ctrl-bcc-price-systemDiskDragger-input-input"]').send_keys('40GB')
driver.find_element_by_xpath('//*[@id="ctrl-bcc-price-ctrl-bcc-price-systemDiskDragger-input-input"]').send_keys(Keys.ENTER)
#遍历区域
for location_num in range(0,len(driver.find_element_by_id('ctrl-bcc-price-region').find_element_by_tag_name('ul').find_elements_by_tag_name('li'))):
location=driver.find_element_by_id('ctrl-bcc-price-region').find_element_by_tag_name('ul').find_elements_by_tag_name('li')[location_num]
#遍历所有该区域下的服务器类型
for product_type_num in range(0,len(driver.find_element_by_id('ctrl-bcc-price-subServiceType').find_element_by_tag_name('ul').find_elements_by_tag_name('li'))-1):
product_type=driver.find_element_by_id('ctrl-bcc-price-subServiceType').find_element_by_tag_name('ul').find_elements_by_tag_name('li')[product_type_num]
#遍历table的tr,得到每个td值
for tr_num in range(0,len(driver.find_element_by_id('ctrl-bcc-price-instances-body-panel').find_elements_by_tag_name('tr'))):
tableList=[]
tr=driver.find_element_by_id('ctrl-bcc-price-instances-body-panel').find_elements_by_tag_name('tr')[tr_num]
总结
在对百度云服务器进行数据爬取时,明显感受到百度云和阿里云,腾讯云的区别。百度云中的服务器有的已下架,但是在前端显示中仍然存在,以弹窗的形式提醒,非常的没有用户体验,同时相同地区相同配置相同价格的服务器存在多个,存在冗余。所以只能通过点击来躲避弹窗带来的爬取中断。