MinorW-CSDN博客

原创测试工程师常见问题

一、元素无法定位如何解决？1.查看元素表达方式是否写错；2.页面可能没有对这个元素进行加载完成，需要加等待时间；3.元素可能在iframe内，需要先切换到iframe内；4.元素可能会发生动态变化，需要做一些模糊化处理，或者通过附近元素/子集元素去处理；5.可能已经识别到该元素，但是该元素不可点击或者不可见，需要先执行一些页面操作，让它变得可点击或者可见二、涉及自动化用例需要看考虑到哪些因素？1.风险因素，有些bug可能会对系统造成毁灭性影响（卡死闪退的情况），而有些bug可以暂时不用理会2

2020-09-08 01:08:26 1027

原创【python_笔记3】数据存储的方式（读取和写入csv文件）

一、写入csv文件：第一种方式：元组的形式写入import csvdef write_csv_demo1(): headers = ['username', 'age', 'height'] values = [ ('张三', 18, 180), ('李四', 19, 175), ('王五', 20, 188)] ...

2019-10-17 10:25:45 628

原创【python_9】爬取斗图吧无限制下载表情图

爬取链接：http://www.doutula.com/photo/list/?page=1首先F12查看该链接，对比可以看到，没有任何加密，可以解析图片链接，然后下载；不过要仔细看，有个小坑:图片有两张，未加载成功显示是白色的图片，加载成功后显示才是正确的；未加载成功前的网页：加载成功后：查看标签页：每个a标签对应一张图片右键查看源代...

2019-10-16 23:50:11 393 3

原创【Python爬虫_8】爬取必应图片

"'需求：爬取必应的图片，并下载，以老师为例；'"1.首先通过XHR找到图片的url地址，打开该地址可看到确认链接找到正确，然后多找几个来分析，可以得到通用的url：url = 'https://cn.bing.com/images/async?q='+ '必应输入框内需要搜索的名字'+'&first='+'页数'+'&count=35&rel...

2019-05-12 23:33:22 4856 1

原创【Python爬虫_7】爬取免费代理IP并验证是否可用（西刺代理）

import requestsfrom lxml import etreeimport pymysql'''爬取西刺代理ip和port，然后验证该ip是否可用'''header = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chr...

2019-05-09 22:52:41 719 1

原创【Python爬虫_4】爬取豆瓣图书Top250；

import requestsfrom lxml import etreeimport jsonimport pprintimport timeclass DoubanBook(object): def __init__(self): self.url = 'https://book.douban.com/top250?start={}' se...

2019-04-01 01:46:15 542

原创【Python爬虫_3】爬取国外编程书www.allitebooks.com的内容及保存到MongoDB并导出；

import requestsfrom lxml import etreeimport pymongoimport time ''' 将爬取到的书保存到mongodb中，并导出文件(只爬取前9行，即90本书的信息)'''class BookSpider(object): def __init__(self): self.base_url = 'http:/...

2019-03-12 02:38:21 295

原创【Python爬虫_2】爬取国外编程书www.allitebooks.com的内容及使用(xpath和bs4解析数据)；

import requestsfrom lxml import etreefrom bs4 import BeautifulSoupimport json"""爬取需求：爬取编程电子书http://www.allitebooks.com/的书信息，包括书名、书的作者、书的简介、书的图片四个;解析数据使用bs4和xpath两种方式解析;"""class BookSpider(o...

2019-03-01 02:12:49 575

原创【Python爬虫_1】爬取巴比特社区前5页列表和内容;

import requestsfrom bs4 import BeautifulSoupimport jsonimport time"""需求：爬取巴比特论坛的前5页title和内容"""class BtcSpider(object): def __init__(self): self.url = "https://bbs.8btc.com/forum-61...

2019-02-27 23:51:46 747

原创【Python笔记_2】使用urllib库发送付费代理请求方式

import urllib.request# 需求点如下：# 付费的代理发送# 有用户密码的情况# 通过验证的处理器来发送def money_proxy_use(): # 第一种方式付费代理方式发送请求 url = "http://www.baidu.com" # 1.代理ip # username:卖方提供的账号 pwd：卖方提供的密码 ...

2019-02-27 23:34:03 124

原创【Python笔记_1】将json文件转换为csv文件

import jsonimport csv"""需求：将json中的数据转换成csv文件"""def csv_json(): # 1.分别读，创建文件 json_fp = open("02-news.json", "r") csv_fp = open("03csv.csv", "w") # 2.提出表头和表的内容

2019-02-27 23:20:11 9476 3

weixin_42024812的博客