山东大学暑期项目实训 第一周 2

目录

 一、工作目标

二、任务计划

三、代码实现

总结

---

 一、工作目标

        为实现云服务器的比价，所以需爬取现主流平台的云服务器数据。包括阿里云，腾讯云，华为云和百度云。我负责的为爬取百度云服务器数据。

二、任务计划

        采用python+selenium的方式模拟用户点击事件，对百度云的价格计算器中的数据进行爬取。

将爬取数据采用with open方法写入csv文件进行暂时性保存。

三、代码实现

#对云磁盘写入，保证都在同样其他配置情况下进行价格计算
action_chains = ActionChains(driver)
action_chains.double_click(driver.find_element_by_xpath('//*[@id="ctrl-bcc-price-ctrl-bcc-price-systemDiskDragger-input-input"]')).perform()
driver.find_element_by_xpath('//*[@id="ctrl-bcc-price-ctrl-bcc-price-systemDiskDragger-input-input"]').send_keys('40GB')
driver.find_element_by_xpath('//*[@id="ctrl-bcc-price-ctrl-bcc-price-systemDiskDragger-input-input"]').send_keys(Keys.ENTER)

#遍历区域
for location_num in range(0,len(driver.find_element_by_id('ctrl-bcc-price-region').find_element_by_tag_name('ul').find_elements_by_tag_name('li'))):
location=driver.find_element_by_id('ctrl-bcc-price-region').find_element_by_tag_name('ul').find_elements_by_tag_name('li')[location_num]

#遍历所有该区域下的服务器类型
for product_type_num in range(0,len(driver.find_element_by_id('ctrl-bcc-price-subServiceType').find_element_by_tag_name('ul').find_elements_by_tag_name('li'))-1):
product_type=driver.find_element_by_id('ctrl-bcc-price-subServiceType').find_element_by_tag_name('ul').find_elements_by_tag_name('li')[product_type_num]

#遍历table的tr，得到每个td值
for tr_num in range(0,len(driver.find_element_by_id('ctrl-bcc-price-instances-body-panel').find_elements_by_tag_name('tr'))):
    tableList=[]
    tr=driver.find_element_by_id('ctrl-bcc-price-instances-body-panel').find_elements_by_tag_name('tr')[tr_num]

---

总结

在对百度云服务器进行数据爬取时，明显感受到百度云和阿里云，腾讯云的区别。百度云中的服务器有的已下架，但是在前端显示中仍然存在，以弹窗的形式提醒，非常的没有用户体验，同时相同地区相同配置相同价格的服务器存在多个，存在冗余。所以只能通过点击来躲避弹窗带来的爬取中断。