2018年08月_General_单刀

09月 08月 07月 06月 05月 04月

原创用Ping、Tcping测试网络的连通性

1、概述通常情况下，测试一个地址能不能访问，通常使用Ping来判断，如果测试端口的连通性，可以使用Tcping来判断。2、使用a.用ping命令查看地址能否访问，若可以访问，如下图： b.用tcping命令查看端口能否访问，首先按安装tcping。下载地址：https://download.csdn.net/download/qq_28284093/10630819将t...

2018-08-28 10:53:59 14504

原创 Chromedriver、geckodriver、IEDriverServer与浏览器的对应版本和下载地址

chromedriver与chrome的的对应版整理：chromedriver版本 chrome版本 v2.9 v31-v34 v2.10 v33-v36 v2.11 v36-v40 v2.12 v38-v41 v2.14 v39-v42 v2.15 v40-v43 v2.16 v42-v45 v2.17 v...

2018-08-22 10:23:38 27887

转载 Robot Framework学习——Selenium2Library库

转自：https://blog.csdn.net/jasonliujintao/article/details/54600365介绍：*** Settings ***Library Selenium2Library*** Keywords ***Checkbox应该不被选择 [Arguments] ${locator} Checkbox ...

2018-08-16 11:31:46 1268

转载 Robot Framework学习——Built In库

转自：https://blog.csdn.net/duzilonglove/article/details/78799593 1、概要： Evaluate：要进行一些数据运算并得到结果 Should系列：用做判断实际结果和预期结果是否一致 Convert To系列：做类型转换 Run keywords系列：根据一个判断条件的真假来决定是否执行关键字 ...

2018-08-15 17:08:14 1337

原创 Python网络爬虫——异常处理URLError

首先要熟悉一下python的urllib库，它是python用于操作url的模块导入模块并爬取一个网页import urllib.requestfile = urllib.request.urlopen("http://www.baidu.com")在此，可以使用file.read()读取全部内容，也可以使用file.file.readline()读取一行内容.(file.rea...

2018-08-07 14:27:28 644

原创 Python网络爬虫——DebugLog

1、简介在爬虫程序运行的时候，我们希望边运行边打印调试日志，此时，就需要开启DebugLog2、应用使用思路：1、分别使用urllib.request.HTTPHandler()和urllib.request.HTTPSHandler()将debuglevel设置为12、使用urllib.request.build_opener()创建自定义的opener对象，并使用1中设置的...

2018-08-07 14:18:39 476

原创 Python网络爬虫——设置代理服务器

1、简介使用同一个ip频繁爬取一个网站，久了之后会被该网站的服务器屏蔽。所以这个时候需要使用代理服务器。通过ip欺骗的方式去爬取网站可以使用http://yum.iqianyue.com.com/proxy中找到很多服务器代理地址2、应用# *-*coding:utf-8*-*from urllib import requestdef use_porxy(porxy_addr...

2018-08-07 14:04:38 3311

原创 Python网络爬虫——HTTP请求

1、简介如果要进行客户端和服务端之间的消息传递，需要HTTP协议请求，HTTP协议请求主要分为6种类型：GET请求、POST请求、PUT请求、DELETE请求、HEAD请求，OPTIONS请求。2、应用GET请求实例：思路：1、构建对应的URL地址，该URL地址包含该GET请求的字段名和字段请求等信息，并且URL地址满足GET请求的格式，即“http：//网址？字段名1=字段内...

2018-08-07 11:23:49 496

原创 Python网络爬虫——超时设置

1、简介有的时候，访问一个网页，如果该网页长时间未响应，那么系统就会判断该网页超时了。但是，有的时候我们需要根据自己的需要来设置超时的时间值，比如，以10秒做为判断一个网页是否超时的标准。2、应用循环99次爬虫百度首页的网站，将超时时间设置为1秒。# *-*coding:utf-8*-*from urllib import requestfor i in range(1,10...

2018-08-07 09:58:07 6424 1

原创 Python网络爬虫——模拟浏览器

1、简介有些网站为了防止别人恶意采集信息，所以进行了反爬虫的设置。这个时候，就需要模拟成浏览器去访问这些网站。2、应用就比如我们模拟浏览器去爬取百度首页（添加User-Agent信息）。有如下两种方式方法一：使用build_opener()修改报头# coding:utf-8from urllib import requesturl = "http://www.baidu...

2018-08-06 22:23:35 671

原创 Python网络爬虫——使用Urllib爬取网页

1、简介urllib模块是python提供提供的一个用于操作URL的模块2、使用第一步：用urllib快速爬去一个网页在此以百度为例，如下，答应出爬取到的网页的全部内容和一行内容。# *-*coding:utf-8*-*from urllib import requestfile = request.urlopen("http://www.baidu.com")data...

2018-08-06 14:27:41 1541 2

原创 Python网络爬虫——爬虫简介

1、网络爬虫的组成网络爬虫由控制节点、爬虫节点、资源库组成。控制节点也叫做中央处理器，每个控制节点下可以有多个爬虫节点，控制节点之间可以互相通信，同时，控制节点和其下的各个爬虫节点之间也可以进行互相通信，属于同一控制节点下的各爬虫节点间，亦可以互相通信。2、网络爬虫的类型通用网络爬虫，也叫全网爬虫，海量爬取聚焦网络爬虫，也叫主题网络爬虫，按照预先定义好的主题有选择的进行网页...

2018-08-06 11:02:29 1262