2019年05月_书和咖啡

原创 Day87：使用异步的twisted框架写入数据

1.twisted框架介绍Twisted是用Python实现的基于事件驱动的网络引擎框架；Twisted支持许多常见的传输及应用层协议，包括TCP、UDP、SSL/TLS、HTTP、IMAP、SSH、IRC以及FTP。就像Python一样，Twisted也具有“内置池”（batteries-included）的特点。Twisted对于其支持的所有协议都带有客户端和服务器实现，同时附带有...

2019-05-31 09:52:50 267

原创 Day86：item 数据model保存到数据库中

1.如何将item 数据model保存到数据库中首先在本地创建好MySQL数据库，再数据库中创建好数据表# 创建数据库create database item_database;set global validate_password_length = 1;set global validate_password_policy = 0;grant all on item_datab...

2019-05-30 09:41:11 284

原创 Day85：图片路径存储且item的json化

1.item_completed()方法语法：item_completed(results, items, info)；当一个单独项目中的所有图片请求完成时（不管下载成功或者失败），ImagesPipeline.item_completed() 方法将被调用。item_completed()方法必须返回将发送到后续item pipeline阶段的输出，因此必须返回或删除ite...

2019-05-29 09:44:19 297

原创 Day84：图片下载

今天要学习的是图片下载，Scrapy用ImagesPipeline类提供一种方便的方式来下载和存储图片；（1）首先还是使用dribbble.com这个网站来爬取数据，先在项目中的dribbble.py文件中根据响应来获取图片的src属性，这样我们就可以获取到了图片的路径了，这个我们之前已经学过了；（2）然后在items.py文件中根据自己的需求添加字段，这里我们可以根据需求创建图片地址...

2019-05-28 10:16:36 167

原创 Day83：页面元素解析

1.解析字段信息我们知道蜘蛛运行时会下载要爬取的页面，然后传给给start_urls，页面的返回对象response响应体就会封装到parse方法response对象里面，然后通过response对象css选择器定位元素，返回一个selector对象，通过extract()方法来提取selector对象中标签的信息。那现在我们使用dribbble网站来试着解析字段信息，创建一个drib...

2019-05-27 09:51:47 96

1.修改爬取的目标地址我们知道如果想要爬取网站的数据需要在spiders文件中创建一个蜘蛛，创建后这个蜘蛛中会自动生成一个类，类名也是由蜘蛛名加Spider组成，如上一节中爬去csdn网站生成的：CsdnSpider类，这个类中的name也就是蜘蛛的名称，allowed_domains是允许爬取网站的域名，start_urls是需要爬取的目标网站的网址，如果需要更改爬取的目标页面，只需要修改st...

2019-05-24 10:42:02 223

原创 Day81：爬虫Scrapy框架之css选择器使用

css选择器介绍在css中选择器是一种模式，用于选择需要添加样式的元素，css对html页面中的元素实现一对一，一对多或者多对一的控制，都需要用到css选择器，html页面中的元素就是通过css选择器进行控制的；css选择器的基本语法类选择器：元素的class属性，比如class="box"表示选取class为box的元素；ID选择器：元素的id属性，比如id="box"表示选...

2019-05-23 11:43:54 459

原创 Day80：scrapy框架介绍

Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化数据的应用程序框架。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试；Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等；1.Scrapy五大基本构成Scrapy框架主要...

2019-05-23 09:44:45 205

原创 Day79：Beautiful Soup模块使用

1.Beautiful Soup模块的介绍Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库，简单来说，它能将HTML的标签文件解析成树形结构，然后方便地获取到指定标签的对应属性，还可以方便的实现全站点的内容爬取和解析；Beautiful Soup支持Python标准库中的HTML解析器，还支持一些第三方的解析器，如果我们不安装它，则 Python...

2019-05-22 09:53:24 166

原创 Day78：requests模块使用

安装 requests# 在命令行工具中使用pip install requests# 使用前需要导入import requests下面我们来看一下requests库的几种常用高级用法会话对象会话对象可以跨请求保持某些参数，在同一个 Session 实例发出的所有请求之间保持 cookie，会话也可用来为请求方法提供缺省的数据；from requests import Se...

2019-05-21 10:10:59 167

原创 Day77：异常处理

今天学习的是对测试中的异常进行捕获，主要用到了两个方法，assertRaises()和assertRaisesRegex()方法测试中的异常捕获对需要测试的接口异常进行捕获from unittest import TestCasefrom unittest import maindef division(a, b): return a / bclass MyTest(T...

2019-05-21 10:09:00 208

原创 Day76：封装mock

1.patch装饰器的概念patch装饰器是mock第二种实现数据模拟的方式，patch()充当函数装饰器，类装饰器或上下文管理器，可用于处理测试范围内的修补模块和类级属性；2.patch装饰器语法语法：unittest.mock.patch（target，new = DEFAULT，spec = None，create = False，spec_set = None，autospe...

2019-05-20 10:27:45 258

原创 Day75：mock介绍

1.mock概念mock又叫模拟，是Python中一个用于测试的库，它的主要功能是使用mock对象替代掉指定的Python对象，以达到模拟对象的行为；从Python 3.3开始，mock模块已经被合并到标准库中，被命名为unittest.mock，可以直接import进来使用。Mock对象就是mock模块中的一个类的实例，这个类的实例可以用来替换其他的Python对象，来达到模拟的效果；2....

2019-05-17 14:01:51 1384

原创 Day74：unittest生成测试报告

1.把测试案例的结果写入文件在测试套件中，修改用于执行测试用例集的runner，增加一个上下文管理器with语句，例如：with open('文件名', 'w+') as f，其中f表示一个流对象，然后把流对象加入TextTestRunner类的参数stream中，例如：runner = TextTestRunner(stream=f)，然后运行，项目中就能生成一个文件，文件中的内容就是测试用...

2019-05-16 14:00:58 261

原创 Day73：unittest断言的使用

断言使用我们可以直接在测试用例里面添加unittest框架自带的断言（也就相当于判断），断言方法提供了测试结果是True还是False，所有的断言方法都有一个msg参数，如果指定msg参数的值，则将该信息作为失败的错误信息返回；如果断言失败则抛出一个AssertionError，并标识该测试为失败状态；如果成功，则标识该测试为成功状态；如果异常，则当做错误来处理；先来看一个实例，...

2019-05-15 09:49:28 190

原创 Day72：unittest使用

1.单元测试单元测试是指对软件中的最小可测试单元进行检查和验证，Python中有一个自带的单元测试框架unittest模块，不仅可以适用于单元测试，还可以适用WEB自动化测试用例的开发与执行，该测试框架可组织执行测试用例，并且提供了丰富的断言方法，判断测试用例是否通过，最终生成测试结果；2.unittest库中的基本组件unittest.TestCase()：是所有测试用例类继承的基本...

2019-05-14 12:06:59 194

原创 Day71：requests第三方库在测试中的使用

1.requests库文档链接官方文档：http://www.python-requests.org/en/master/第三方中文文档：http://docs.python-requests.org/zh_CN/latest/user/quickstart.html2.使用requests发送get请求使用requests发送get请求，首先需安装requests模块，然后...

2019-05-13 17:42:02 117

原创 Day70：Cookie 和 Session分析

1.Cookie概念当用户使用浏览器首次访问一个支持Cookie的网站的时候，用户会提供包括用户名在内的个人信息发送到服务器；接着服务器端接收到客户端发送过来的http请求后，会发送一个http响应到客户端，其中包含Set-Cookie头部，自此，客户端再向服务器发送请求的时候，都会把相应的Cookie再次发回至服务器，服务器在接收到来自客户端浏览器的请求之后，就能够通过分析存放于请求...

2019-05-10 09:56:25 120

原创 Day69：Fiddler的使用

1.Fiddler概念Fiddler是强大的抓包工具，能够记录所有客户端和服务器的http和https请求，允许监视、设置断点，查看所有的“进出”Fiddler的数据（指cookie，html，js，css等文件）；不同平台的抓包工具：Windows平台（Fiddler）、Mac平台（Charles）、Linux平台（Tcpdump）、Windows平台的网络封包分析工具（Wiresh...

2019-05-09 10:04:21 177

原创 Day68：Python测试入门

1.测试的分类判断软件能做什么：针对数据进行"功能、接口、容错、界面、权限、初始化、数据完整性测试"；检测软件做的怎么样：包括性能、负载、恢复、稳定性、并发、系统安全等方面；软件在什么环境条件下做：包括配置、安装、文档、可用性等；2.接口的概念对于测试工作而言，接口其实就是后端的HTTP请求的endpoint，也可以认为是API，前端请求这个接口，返回json或xml的...

2019-05-08 10:04:59 107

原创 Day67：将获取的指标封装成接口提供API请求调用

1.将阿里云的监控指标推送到企业微信(1)首先需要在项目的根路径下，创建utils包，用于存放项目的其他数据接口；(2)然后在utils包下，创建一个wechat_send.py模块, 用于给用户封装企业微信的接口，提供给外界调用；import requestsimport jsonclass Wechat_Info: def __init__(self): ...

2019-05-07 11:11:11 238

原创 Day66：Python数据推送到微信企业号

个人注册企业微信号requests的使用首先需要安装requests库：pip install requests；然后通过import requests导入使用；requests.get()方法可以获取某个网页，requests.post()可以发送POST请求；更多可以查看：http://docs.python-requests.org/zh_CN/late...

2019-05-06 10:03:18 322

原创 Day65：Python获取阿里云产品云监控数据指标

1.阿里云服务器先创建阿里云账号；购买一台低配置的阿里云ECS服务器；还可以查看ECS云监控的监控指标数据；2.通过阿里云官方的Python SDK API获取阿里云监控数据指标阿里云为了保证每一个主账户的安全性，设置了一个RAM的访问控制，阿里云官方鼓励用户使用RAM授权子账户，且为子账户创建 AccessKey ID 和 AccessKeySecret，在阿里...

2019-05-05 10:07:23 1387 2

ivenqin的博客