- 博客(73)
- 资源 (17)
- 收藏
- 关注
RSS订阅原创 接口测试 - 1
1 接口基本介绍一、为什么学习接口测试在当前的程序开发中更多的会使用到面向接口进行开发。二、程序开发中为什么使用接口a)有了接口之就相当于定义了一套标准，可以规范我们的开发过程。b)接口可以保证数据安全。c)接口可以让我们的项目更加容易迁移。三、接口是什么我们可以将接口理解为是不同操作之间顺利交互的标准2 接口测试一、定义在程序测试中我们可以将接口测试理...
2018-12-28 18:43:30
1725
原创 JavaScript 高级教程
JavaScript 简介JavaScript 历史本节为您讲解 JavaScript 和客户端脚本的起源。JavaScript 实现完整的 JavaScript 实现是由以下 3 个不同部分组成的：ECMAScript、文档对象模型、浏览器对象模型。ECMAScript 基础ECMAScript 语法Java 和 ECMAScript 有一些关键的语法特性相同，也有一...
2018-12-27 21:18:40
1737
原创 python连接MySQL数据库
import pymysql# ==== 获取数据库中的数据 ====# 打开数据库连接 IP 用户 密码 数据库名称 编码db = pymysql.connect("localhost","root","123456","iweb", charset="utf8") # 使用cursor()方法获取操作游标 cursor = db.cursor() # SQL 查询...
2018-12-27 15:18:09
1125
原创 围绕禅道介绍公司流程
1.产品经理--->收集信息 建立产品 产品计划（很有必要存在：1.产品经理可以控制产品过程中的优先级2、对于项目人员可通过了解产品进度，以做后续安排） 新建模块 新建模块对应的需求 需求评审（实际上是线下会议）...
2018-12-27 15:06:47
1256
原创 使用禅道管理项目流程
使用禅道管理项目流程1 添加该流程中的角色并设置其部门以管理员身份登录。 进入组织视图 选择部门维护。 在部门维护页面，维护公司的组织结构即可。部门创建之后，下一步的操作就是往系统中添加用户。步骤如下：进组织视图 选择用户列表 然后选择“添加用户”，即可进入添加用户页面。 用户添加完之后，即可将其关联到某一个分组中。从4.0版本开始，我们提供了批量添加帐...
2018-12-27 11:23:54
13056
原创 禅道项目管理软件
1 禅道介绍1.1 禅道项目管理软件是做什么的？禅道由青岛易软天创网络科技有限公司开发，国产开源项目管理软件。它集产品管理、项目管理、质量管理、文档管理、组织管理和事务管理于一体，是一款专业的研发项目管理软件，完整覆盖了研发项目管理的核心流程。禅道管理思想注重实效，功能完备丰富，操作简洁高效，界面美观大方，搜索功能强大，统计报表丰富多样，软件架构合理，扩展灵活，有完善的API可以调用。禅道...
2018-12-27 11:23:01
5770
原创 禅道安装
资源下载：ZenTaoPMS.9.5.1.win641 运行windows一键安装包双击解压缩到某一个分区的根目录，比如c:\xampp，或者d:\xampp， 必须是根目录。进入xampp文件夹，点击 start.exe启动禅道时，如果电脑没有安装过VC运行环境时，会提示安装VC++环境。Windows一键安装包的运行需要安装VC++环境。2 修改数据库密码禅道服务启...
2018-12-27 10:53:54
2212
原创 非功能测试
1 效率性1.1 什么时候考虑效率性测试使用人群多、用户多 web网站1.2 考虑内容页面加载时间1.3 httpwatch抓包工具2 可靠性3 可移植性4 易用性5 接口最后一步就是编写测试报告...
2018-12-27 10:34:17
4134
原创 业务场景测试
1 简介将系统的不同模块进行有效串接，继而模拟真实用户的实际使用情况对系统进行运营，促使系统能够充分满足用户所要求的功能的测试过程其实就是业务测试。简而言之，就是多个功能组合测试。2 为什么要做业务测试从用户角度考虑：对于用户来说，都是使用该项目的多个功能组合；从测试人员考虑：实际工作中是以分功能测试，未考虑功能之间组合情况，会造成测试遗漏。3 如何做业务测试3.1 依...
2018-12-27 10:18:38
10741
1
原创 测试项目第三步 - 测试用例
1 编写测试计划一般由老大编写2 编写测试方案一般也由老大编写3 设计编写执行测试用例以iwebshop项目的前台首页为例3.1 针对初始化页面内容进行测试3.1.1 确定初始化页面的内容3.1.2 确定对应数据库表3.1.3 分析对应的SQL语句首页内容 对应sql 商品分类 select * from iwebsh...
2018-12-27 09:16:49
3911
原创 项目测试第二步 - 快速熟悉项目
1 调查调查表格示例：项目 iwebshop项目 调查人 张三 项目阶段 早期 中期 晚期 项目的复用程度 全新的 部分复用 全部复用 项目已有的成果物 测试人员成果物 测试用例 测试...
2018-12-27 08:59:43
2029
原创 网易音乐歌曲下载
1 下载单个歌曲1.1 下载歌曲打开网易云音乐官方网站：https://music.163.com/ 首先点击歌单，随机选一个自己喜欢的歌单打开右击打开开发者工具（勾选Preserve log选项）点击歌曲标题前边的播放按钮（点击Size按钮，寻找歌曲资源（Size最大））点击打开，复制歌曲url粘贴到搜索框，如图所示点击最右侧那三个点就可以免费下载了，...
2018-12-26 19:04:15
3164
原创 测试用例 一招搞定sql分析
首先查看mysql的sql记录是否打开了show variables like 'g%';如果没有打开就打开sql记录set global general_log = on;在日志文件中日志文件在第一张图general_log_file中如果不知道sql语句到底是干什么的, 直接复制, 粘贴到navicat中去执行看结果即可 在页面中找到相应的内容 ...
2018-12-25 20:34:06
1737
原创 MySQL冲突解决
原因: 电脑本地已经安装过一个mysql, 两个mysql会冲突杀死mysql删除mysql服务邮件使用管理员启动xampp 点击启动 如果mysql还是启动失败 点击左侧的X按钮 安装MySQL服务 然后启动 ...
2018-12-25 20:15:54
2983
原创 项目测试第一步 - 搭建测试环境（iwebshop）
1 安装xampp将如下两个文件复制到桌面（xampp-win32-1.8.2-0-VC9-installer、iwebshop2.1.11090110_data）双击上图第二个程序（xampp-win）后如图执行next得到如图页面，执行next（一般都是全选）得到如图页面，执行下一步（next）---这里可以修改路径，推荐默认。得到如图页面。执行next执...
2018-12-25 19:47:11
7095
5
原创 框架升级 -- 断点续爬设计原理及其实现
目标理解断点续爬的内涵 理解分布式爬虫中请求丢失的情况 理解使用备份队列保留请求的过程 完成代码的重构，解决请求丢失的请求1 断点续爬设计分析 断点续爬设计原理介绍： 只实现持久化存储队列完成断点续爬可能出现的问题: 现有断点续爬方案的问题解决方案分析一: 现有断点续爬方案的问题解决方案分析二: 2 断点续爬无丢失方案的实现 断点续...
2018-12-23 10:31:22
2893
2
原创 框架升级 -- 增量爬虫设计原理及其实现
目标理解增量式爬虫的原理 完成增量式爬虫的实现1 增量爬虫设计原理增量抓取，意即针对某个站点的数据抓取，当网站的新增数据或者该站点的数据发生了变化后，自动地抓取它新增的或者变化后的数据设计原理：1.1 实现关闭请求去重为Request对象增加属性filter# scrapy/http/reqeust.py'''封装Request对象'''class Requ...
2018-12-23 10:27:11
1976
原创 框架升级 -- 分布式爬虫设计原理及其实现
目标理解分布式爬虫的原理 理解如何通过redis构建一个队列 完成代理的重构，实现分布式1 分布式爬虫原理分布式爬虫设计原理：多台服务器同时抓取数据，请求和指纹存储在同一个redis中2 实现方案利用redis实现队列注意pickle模块的使用：如果将对象存入redis中，需要先将其序列化为二进制数据，取出后反序列化就可以再得到原始对象 接口定义一致性：利用re...
2018-12-23 10:24:57
1353
原创 使用gevent的Pool实现异步并发
目标掌握gevent中Pool基本使用 实现代码的重构，使用gevent来进一步提高效率1 为什么使用gevent对于I/O密集型任务，gevent能对性能做很大提升的，协程的创建、调度开销都比线程小的多。2 通过配置文件设置属性，来判断所使用的异步方式# 异步方式 thread、coroutineASYNC_TYPE = 'coroutine'3 让gevent的...
2018-12-22 20:15:42
7132
原创 利用线程池实现异步
目标掌握线程池的使用 使用多线程重构代码1 异步任务分析：1.1. 在引擎中，实现的主要功能如下图上面的方框中是关于start_urls中的请求处理 下面的方框中是一个请求从调度器取出请求，进行下载之后交给爬虫解析再交给管道的过程 在以上两个过程中，他们之间没有直接的联系，都可以通过异步多线程的方式分别实现，加快程序执行的速度1.2 那么具体该如何实现该逻辑multip...
2018-12-22 20:14:38
2176
原创 去重原理
目标掌握去重的方法 完成代码的重构，实现去重1 去重的理解其实就只是对以往数据进行一个比对，判断是否已经存在可大致分为：对原始数据比对、对利用原始数据生成的特征值进行比对两种方式原始数据比对很好理解，就是比对的时候参照值就是原始数据；而利用特征值比对，比如最典型的就是利用原始数据生成一个指纹，比对的参照值就是这个指纹，不是原始数据本身，主要应用于单个原始数据比较大的情况，另外一...
2018-12-22 20:09:32
1920
原创 动态导入模块
目标掌握模块的动态导入的方法 完成对现有代码的重构1 目前代码存在的问题通过前面的代码编写，我们已经能够完成大部分的任务，但是在main.py 中的代码非常臃肿，对应的我们可以再settings.py 配置哪些爬虫，管道，中间件需要开启，能够让整个代码的逻辑更加清晰2 模块动态导入的方法利用importlib.import_modle能够传入模块的路径，即可即可实现根据模块的位...
2018-12-22 20:08:39
1181
原创 实现项目中传入多个中间件
目标完成代码的重构，实现多个中间件的效果1 为什么需要多个中间件不同的中间件可以实现对请求或者是响应对象进行不同的处理，通过不同的中间件实现不同的功能，让逻辑更加清晰2 在项目文件夹中创建middlewares文件项目文件夹中的spider_middlewares.py：class TestSpiderMiddleware1(object): def process...
2018-12-22 19:45:16
1299
原创 实现多个管道
目标实现对引擎的修改，达到数据通过多个管道的目的1 为什么需要多个管道同爬虫文件一样，不同的爬虫可能需要不同的管道文件，因此管道文件需要在项目中进行实现2 项目文件夹中实现管道文件在项目文件夹下建立pipelines.py文件，不同在于：这里的process_item必须把item对象最后再返回回来，因为是多个管道文件的设置了 需要增加一个参数，也就是传入爬虫对象，以此...
2018-12-22 19:42:01
1560
原创 多爬虫实现之三 -- 多爬虫文件
目标优化现有的爬虫结构，实现同时开始执行多个爬虫1 为什么需要优化现有的爬虫结构当爬虫比较少的时候，我们的项目结构相对合理，但是当要抓取的网站比较多的时候，可以借鉴scrapy的方法，把不同网站的爬虫分别在不同的py文件中编写，之后放在一个目录下；同时，我们很多时候还希望能够有同时启动项目中的所有的爬虫2 将多个爬虫类分离为多个爬虫文件爬虫文件为了解耦合，应将每个站点的爬虫写为单...
2018-12-22 19:39:56
1359
原创 多爬虫实现之二 -- 爬虫实现多个解析函数
目标完成spider中如果解析函数调用的封装 掌握getattr的方法 完成通过meta在不通过的解析函数中传递数据的方法1. 爬虫实现多个解析函数的意义2 响应对象的解析方法封装为response对象封装xpath、正则、json、等方法和属性，以支持对数据的解析和提取# scrapy_plus/http/response.pyimport reimport js...
2018-12-22 19:37:54
1462
原创 多爬虫实现之一 -- 多请求实现
目标实现在框架中能够发送多个start_url的请求 实现对_start_engine方法功能的拆分重构 掌握yield和生成器的使用方法1 需求分析在发送关于start_url中的请求的时候，往往我们的请求并不是只有一个，而且在解析了响应之后，可能需要继续构造请求并且发送，那么对应的需要在引擎中进行修改。多请求实现分析：2 项目中实现爬虫文件 在main.py同级...
2018-12-22 19:35:30
1451
原创 框架中实现配置文件
目标完成项目和框架中配置文件的编写和使用 理解python中import内容的顺序1 实现框架的默认配置文件在scrapy_plus下建立conf包文件夹在它下面建立default_settings.py：设置默认配置的配置import logging# 默认的日志配置DEFAULT_LOG_LEVEL = logging.INFO # 默认等级DEFAULT_LO...
2018-12-22 19:31:57
1176
原创 框架完善 -- 日志模块的使用
目标掌握logging模块的使用 掌握在框架中使用日志功能1 为什么要使用添加日志功能能够方便的对程序进行调试 能够记录程序的运行状态，包括错误2 日志模块简单使用日志的等级import logging# 日志的五个等级，等级依次递增# 默认是WARNING等级logging.DEBUGlogging.INFOlogging.WARNINGlogging.ER...
2018-12-19 21:15:55
1129
原创 完善框架的基础功能
介绍前面我们完成了框架的基本雏形，但是目前能够实现的功能非常简单，还达不到完成一个爬虫的基本需求，对应的需要在本节中对爬虫框架做进行进一步的完善项目代码与框架代码完善分析项目代码与框架代码的关系分析： 项目中除了实现main.py以外，还需要实现：项目配置文件 爬虫文件 管道文件 中间件文件框架中还需要实现：框架配置文件，并且需要实现导入项目配置文件，同时覆盖默...
2018-12-19 21:09:33
1372
1
原创 框架的雏形实现
目标完成request模块的基础封装 完成respons模块的基础封装 完成item模块的基础封装 完成spider模块的封装 完成调度器模块的封装 完成下载器模块的封装 完成管道模块的封装 完成引擎模块的封装 了解set.py的编写 掌握制作模块的方法 熟悉框架的执行过程 掌握框架的启动方法 理解中间件的用途 熟悉中间件在框架逻辑中的位置 能够编写中间件模块1 ...
2018-12-19 19:58:17
1221
原创 爬虫框架开发分析
目标明确什么是框架 了解实现框架的好处 了解框架思路的来源 回顾并掌握scrapy的模块的作用 回顾并掌握scrapy的数据的传递过程 能够说出自己要实现的框包含的模块和模块的作用 掌握模块之间的关系 实现自己框架的代码结构1 了解框架1.1 什么是框架框架是为了为解决一类问题而开发的程序，框架两个字可以分开理解，框：表示指定解决问题的边界，明确要解决的问题；架...
2018-12-19 19:41:32
1297
原创 celery简介
celery介绍celery是一个基于python开发的分布式异步消息队列，轻松实现任务的异步处理celery在执行任务时需要一个消息中间件来接收和发送任务消息，以及存储任务结果，一般使用RabbitMQ 或 Rediscelery优点简单：熟悉celery的工作流程后，配置使用简单高可用：当任务执行失败或执行过程中发生连接中断，celery会自动尝试重新执行任务快速：一个...
2018-12-19 17:41:57
1228
1
原创 Json Web Token 认证
1.什么是Json Web Token？Json web token (JWT)，是为了在网络应用环境间传递声明而执行的一种基于JSON的开放标准(RFC 7519)。该token被设计为紧凑且安全的，特别适用于分布式站点的单点登录（SSO）场景。SSO的定义是在多个应用系统中，用户只需要登录一次就可以访问所有相互信任的应用系统。JWT的声明一般被用来在身份提供者和服务提供者间传递...
2018-12-19 13:56:49
1210
原创 爬虫提高知识总结
selenium如何使用功能：请求页面，提取数据，能够执行其中的jsfrom selenium import webdriverdriver = webdriver.PhantomJS() # 实例化driverdriver.get(url) # 发送请求driver.quit() # 关闭浏览器selenium定位元素的方法find_element # 返回元素...
2018-12-17 22:54:11
1186
原创 crontab爬虫定时启动
目标掌握crontab的使用1 crontab的安装和介绍2 crontab在爬虫中的使用2.1 使用流程把爬虫启动命令写入.sh 文件 给.sh脚本添加可执行权限 把.sh 添加到crontab脚本正2.2 myspier.sh例子 执行命令写入脚本 其中>>表示重定向，把print等信息导入log中 2>&1表示把标准错误作为...
2018-12-17 18:43:54
1302
原创 scrapy_redis实现分布式爬虫
目标掌握scrapy_redis实现分布式爬虫的方法 掌握scrapy_redis中crawlspider类的分布式爬虫1 RedisSpider1.1 分析demo中代码通过观察代码：继承自父类为RedisSpider 增加了一个redis_key的键，没有start_urls，因为分布式中，如果每台电脑都请求一次start_url就会重复 多了__init__方法，该方...
2018-12-17 18:36:56
1245
转载 dpkg: 处理软件包 xxx (--configure)时出错 解决办法
第一步：备份$ sudo mv /var/lib/dpkg/info /var/lib/dpkg/info.bk第二步：新建$ sudo mkdir /var/lib/dpkg/info第三步：更新$ sudo apt-get update $ sudo apt-get -f install第四步：替换$ sudo mv /var/lib/dpkg/info/* /va...
2018-12-17 18:28:28
1706
原创 Django总结 - 项目文件的组成
项目文件夹下的组成部分：manage.py 是项目运行的入口，指定配置文件路径。与项目同名的目录，包含项目的配置文件。___init.py__ 是一个空文件，作用是这个目录可以被当作包使用，也可以做一些初始化操作。settings.py 是项目的整体配置文件。urls.py 是项目的 URL 配置文件。wsgi.py 是项目与 WSGI 兼容的 Web 服务器。...
2018-12-16 20:10:26
1210
原创 scrapy_redis实现增量式爬虫
目标了解scarpy_redis的概念和功能 了解scrapy_redis的实现流程 掌握scrapy_redis增量式爬虫的实现方法1 scrapy_redis是什么Scrapy_redis ： Redis-based components for Scrapy.Github地址：https://github.com/rmax/scrapy-redis在这个地址中存在三个d...
2018-12-16 18:47:57
3829
2
jTessBoxEditor
2024-04-09
TREC06P垃圾邮件语料库
2024-04-09
sqlite-tools-win32-x86-3290000
2024-04-09
shell_bash_俄罗斯方块游戏
2022-06-04
httpd-2.2.9 webmin-1.610.zip
2022-05-29
DirectX修复工具.exe
2021-07-02
xpath_helper_2.0.2_0.crx
2020-05-24
vs_professional__805189676.1571956935.exe
2020-05-24
VNC服务端和客户端安装包
2019-12-01
软件设计师考点分析汇总.zip
2019-09-09
win_JavaJDK.zip
2019-09-08
Navicat_Keygen_Patch_v3.7_By_DFoX_URET
2018-12-25
iwebshop2.1.11090110_data
2018-12-25
xampp-win32-1.8.2-0-VC9-installer
2018-12-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人