selenium使用_自动化测试工具selenium库的使用

      最近闲，刚好有位哥问我能不能帮忙自动采集一些数据。虽然我不擅长，但还是抱着试一试的心态去学习了一下自动化测试工具selenium库的使用。

      了解一下需求，它想要某巴一些商家企业的联系方式以及具体信息，数据量较大，手动录入工作量太大。想要获取的信息页面如下

其中电话信息需要手动点击View details按钮才能显示，既然知道了最终要获取信息的详情页面是哪个，那么我们先来分析一下首页。

通过分析他的url地址：

https://www.alibaba.com/trade/search?spm=a2700.supplier-normal.16.5.7f065be3BHRB89&f1=y&keyword=changzhou&page=11&n=38&viewType=L&indexArea=company_en

我们发现他的keyword参数即为我们搜索框中的关键字，page参数即为页数，根据这个页数后面我们可以循环爬取数据。

我们先根据登录地址先登录，直接一开始登陆完就一劳永逸0.0

1)首先我们先构建一个webdriver对象供我们操作浏览器

2)然后找到账号密码输入框位置使用send_keys()方法传值

3)最后找到登录按钮并点击

代码如下

我们控制我们的访问速度，使用sleep()方法，使我们的脚本执行的更像类，防止被某巴检测到。

这里列举一下常用的查找元素方法：
find_element_by_name
find_element_by_id
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector

登录之后我们回到首页，我们将访问的url中的keyword和page参数用xxx代替，比如当搜索框输入hangzhou时，将hangzhou这个字符串拼接到url的keyword参数中，页数参数也是根据循环动态传入。

之后我们爬取当前页的所有商家详情页信息存为一个list，之后将每家的详情页地址获取并存放到数组中，方便之后的遍历。

首先循环遍历当前页的所有商家详情页。进入某个详情页后的页面如下

我们发现我们所需的信息在如图contacts中，通过找到当前元素并执行点击事件。代码如下

但是在点击contacts事件，有时会遇到找不到详情信息按钮而导致脚本挂掉，所以我们将他作为一个异常去捕获，直接跳过该商家，去查询下一个商家

之后我们终于进入到了具体信息页面，并点击view details按钮后终于得到了我们想要的页面

此时我们在点击view details按钮时，可能是某巴感觉到我们访问次数过快，会弹出一个登录验证框并需要拖动滑块，

正当想通过定位滑块元素并使用selenium 拖拽元素的方法drag_and_drop(element,target)去拖动滑块验证时，发现对view details按钮元素找不到时候多点击几次，弹窗会自己消失，所以我决定还是为获取该元素写个循环，当找不到该元素时捕获该异常，并再次获取，允许失败容错。当超过最大重试次数时放弃本次商家数据(有时网络差因素也会导致找不到元素此结果，所以写个循环一举两得-------其实就是懒为自己找借口。。。。)    部分代码如下

最后我们将获取的数据存入excel中，我们为存入专门写一个方法

最终获取的数据如下

这样我们就能完成在平台上对一个关键词的所有商家信息的爬取拉~

完整code在github主页https://github.com/jiangge0720

下次见~~~~~~~~~~~~