作为爬虫工程师,没有价格不知道selenium的。
什么是selenium?
Selenium原本是一个用于Web应用程序自动化测试工具。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。我们爬虫工程师使用selenium来抓取动态web页面。
今天的Python学习教程我们来介绍另一款自动化测试工具,Appium。
Appium官方文档
https://github.com/DoctorQ/appium/blob/master/docs/en/about-appium/intro.md
什么是Appium?
Appium是一个移动端的自动化框架,可用于测试原生应用,移动网页应用和混合型应用,且是跨平台的。可用于IOS和Android以及firefox的操作系统。
原生的应用是指用android或ios的sdk编写的应用
移动网页应用是指网页应用,类似于ios中safari应用或者Chrome应用或者类浏览器的应用。
混合应用是指一种包裹webview的应用,原生应用于网页内容交互性的应用。
重要的是Appium是跨平台的,何为跨平台,意思就是可以针对不同的平台用一套api来编写测试用例。
同样的Appium原本是一个用于app应用自动化测试工具,我们爬虫工程师也可以利用它,在抓取app应用数据。
Appium相当于一个服务器,我们可以向Appium发送一些操作指令,Appium就会根据不同的指令对移动设备进行驱动,完成不同的动作。
一、本次Python学习教程的目的:
我们以Android平台的手机京东为例来演示Appium启动和操作App的方法,最终实现抓取手机京东商品数据。
二、准备工作
确保PC已经安装好Appium,本实例在windows环境下安装,安装的appium版本为Appium-Desktop
安装好Android开发环境,uiautomatorviewer工具(必须)、python开发环境和Python版本的Appium API(Appium-Python-Client)
android模拟器(夜神模拟器)安装好手机京东app
确保PC上已安装好mitmproxy抓包工具(必须)、fiddler抓包工具(非必须)
数据存储用数据库为Mongodb
三、获取Appium-Desktop使用的关键参数(Desired Capabilities参数)
Desired Capabilities参数:它们分别是platformName、deviceName、appPackage、appActivity。
platformName:它是平台名称,需要区分Android或iOS,我们使用的是android平台,因此为Android。
deviceName:它是设备名称,此处是手机的具体类型,deviceName可以通过adb devices命令获取。
![4942c19bc14958c5372023d8f927238b.png](https://i-blog.csdnimg.cn/blog_migrate/5dc42daee7c6be08dc2f7eb292b04ca9.jpeg)
此处注意:模拟器显示为127.0.0.1,真实手机与模拟器显示不同,真实手机为一串字母数据结合
appPackage:它是App程序包名,该参数可以在adb shell中使用logcat获取。
![83219e68c94ce586a7fb67ee65154bc3.png](https://i-blog.csdnimg.cn/blog_migrate/24df881454d900b5103cf1568419f5a2.jpeg)
命令后回车
随后,打开android模拟器中的手机京东app
在adb shell中,我们可以获取到appPackage和appActivity
![46043d1921683241801c3416ec415582.png](https://i-blog.csdnimg.cn/blog_migrate/dc3f37b6fb287d806e51304384de0999.jpeg)
appActivity:它是入口Activity名,这里通常需要以 . 开头,该参数可以在adb shell中使用logcat获取。
其中:
appPackage为:com.jingdong.app.mall
appActivity为:com.jingdong.app.mall.MainFrameActivity
获取到Appium-Desktop使用的关键参数(Desired Capabilities参数)后,我们就可以启动Appium-Desktop了
四、启动Appium-Desktop服务器
![c05f2da1f3c9bc8e37145dfe14859c46.png](https://i-blog.csdnimg.cn/blog_migrate/72f031a4ada26a24dfc31778fe49be02.jpeg)
![4b999887998c31c762664f0eb7225c84.png](https://i-blog.csdnimg.cn/blog_migrate/22e2511cd650c26c5a64fa2b6db46f05.jpeg)
确认appium-desktop启动成功后,我们就可以编写代码了
五、编写app启动代码
from appium import webdriverdesired_caps = {}desired_caps['platformName'] = 'Android'desired_caps['platformVersion'] = '4.4.2'desired_caps['deviceName'] = '192.168.54.56:62001'desired_caps['appPackage'] = 'com.jingdong.app.mall'desired_caps['appActivity'] = 'com.jingdong.app.mall.MainFrameActivity'desired_caps['unicodeKeyboard'] = Truedesired_caps['resetKeyboard'] = True#启动appium-desktop服务器,服务器IP根据实际填写driver = webdriver.Remote('http://192.168.54.56:4723/wd/hub', desired_caps)
六、运行代码启动app
![8ce1f25aba05116e261e5a46143bc73e.png](https://i-blog.csdnimg.cn/blog_migrate/b2d9b42be079a173f5472a69efa47c91.jpeg)
确认手机京东app启动成功,并且无报错后,我们就可以编写自动化代码来控制app行为了
如何来定位app内部控件节点呢
答案是使用uiautomatorviewer
![2ad533b71fa7976988423770a3495b46.png](https://i-blog.csdnimg.cn/blog_migrate/d9a9e4aa3c2152f1d1f0483ed9b1f3da.jpeg)
通过获取控件的xpath,我们就可以定位到app控件了
七、编写自动化代码
#等待app启动time.sleep(5)#关闭广告,如果有close_ad = driver.find_element_by_xpath("//android.widget.TextView[@resource-id='com.jingdong.app.mall:id/sq']")if close_ad: close_ad.click()#点击分类select_fenlei = driver.find_element_by_xpath("//android.widget.RadioGroup[@resource-id='com.jingdong.app.mall:id/tf']/android.widget.RadioButton[2]").click()#点击搜索select_search = driver.find_element_by_xpath("//android.widget.ImageView[@resource-id='com.jingdong.app.mall:id/xo']").click()#输入关键字key = '笔记本电脑'#判断是否输入文字while True: if driver.find_element_by_xpath("//android.widget.EditText[@resource-id='com.jingdong.app.mall:id/xp']").text != key: select_keyword = driver.find_element_by_xpath("//android.widget.EditText[@resource-id='com.jingdong.app.mall:id/xp']").send_keys(key) else: break#点击搜索driver.find_element_by_xpath("//android.widget.Button[@resource-id='com.jingdong.app.mall:id/el1']").click()time.sleep(1)start_x = 500start_y = 900distance = 800#模拟手机端滑动while True: driver.swipe(start_x,start_y,start_x,start_y-distance) time.sleep(0.2) if '抱歉,没有更多商品啦' in driver.page_source: break
自动化代码编写完成之后,运行一下,看是否有问题,如无问题,就可以进行下一步了
八、抓取应用数据包
这里,我们通过fiddler抓包工具获取到手机京东的数据包
![7da335f9189459177a84136737ebeaa6.png](https://i-blog.csdnimg.cn/blog_migrate/273e95049426e2a7a9923c13bf092028.jpeg)
查看response,确实是我们想要的数据,接下来就可以编写解析响应数据代码了
九、编写解析响应数据代码
import jsonfrom save_data import mongo_infodef response(flow): if 'client.action?functionId=search&clientVersion=5.3.0' in flow.request.url: response_dict = json.loads(flow.response.text) if 'wareInfo' in response_dict: for i in response_dict['wareInfo']: mongo_info.insert_data(i)
十、编写数据存储逻辑代码
import pymongofrom pymongo.collection import Collectionclass Connect_mongo(object): def __init__(self): self.client = pymongo.MongoClient(host='192.168.54.41',port=27017,connect=False) self.db_data = self.client['jingdong'] def insert_data(self,item): collections = Collection(self.db_data,'jingdong_data') collections.insert(item)mongo_info = Connect_mongo()
十一、启动mitmdump,解析数据!
注意:手机或模拟器一定要设置mitmdump服务器IP的代理
启动mitmdump:
mitmdump -p 8889 -s decode_jingdong.py
十二、接下来,启动自动化控制脚本就可以抓取到数据了
python jingdong.py
十三、查看数据
![73ebfacd535de03039d571c1a6d069ea.png](https://i-blog.csdnimg.cn/blog_migrate/2af2038636913125e6ac01e8e7d0398b.jpeg)
更多的Python学下教程也会继续为大家更新!