爬虫
大力珍
这个作者很懒,什么都没留下…
展开
-
网页爬虫实例一(网页截屏)
测试网站页面,往往是考验测试眼力的时候,大多数情况都要对着打开网所网站页面在对着原型图一点点比对。如果碰到网页加载太慢或者需要测试兼容性的时候很是心累,如果可以利用程序自动将对应的网页截图,然后直接拿着原型跟截图比对呢,会不会稍微好一些呢?以下就是我个人写的网页爬虫小程序,程序主要是获取某网页链接及其页面中的所有有效链接,并将有效链接打开的页面截图保存到指定目录中coding=utf-8impo...原创 2018-06-06 17:09:00 · 7873 阅读 · 0 评论 -
python之requests包
requests模块是python中常用的写网页爬虫程序的包,requests可以发送HTTP请求,并获取请求状态及请求内容,也可以用来做接口自动化测试。以下是我总结的requests模块的常用方法首先使用requests包之前首先需要安装包,直接pip install requests即可自动安装requests包,以下是简单介绍了requests包的多个方法的使用一,发送请求get请求:不带参...原创 2018-06-07 14:21:36 · 981 阅读 · 0 评论 -
python 之Bs4
python中Bs4这个包是用来解析网页源码的包,爬虫程序常用这个包解析爬取网页源码进行分析,今天主要介绍这个包的一些基本使用首先安装bs4: Pipinstall bs4创建beautifulsoup对象解析网页源码,首先创建beautifulsoup对象import requestsfrom bs4 importBeautifulSouphtml=requests.get('http://ww...原创 2018-06-07 18:09:53 · 3050 阅读 · 0 评论