- 博客(52)
- 收藏
- 关注
RSS订阅转载 数据库之互联网常见分库分表方案（转）
一、数据库瓶颈1、IO瓶颈2、CPU瓶颈二、分库分表1、水平分库2、水平分表3、垂直分库4、垂直分表三、分库分表工具四、分库分表步骤五、分库分表问题1、非partition key的查询问题（水平分库分表，拆分策略为常用的hash法）2、非partition key跨库跨表分页查询问题（水平分库分表，拆分策略为常用的hash法）3、扩容问题（水平...
2019-09-24 14:21:48
251
转载 将公司oracle脚本迁移到hive平台hql时一些总结
1 、hive group byhttp://www.cnblogs.com/ggjucheng/archive/2013/01/09/2853798.html2 、hive inhttp://www.tuicool.com/articles/vauiAzN3 、inner joinhttp://www.cnblogs.com/xd502djj/archive/2013/01/1...
2019-08-20 11:33:02
792
转载 kafka学习笔记：知识点整理
kafka学习笔记：知识点整理 一、为什么需要消息系统1.解耦： 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。2.冗余： 消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全...
2019-01-25 13:56:14
316
转载 数据库设计工具MySQLWorkBench
该工具为MySQL官方提供地址：http://dev.mysql.com/downloads/workbench/小伙伴们注意按自己的操作系统选择下载版本。· 注意事项：安装后将环境语言配置成简体中文，否则中文乱码工作步骤新建模型后，会进入此页面。 1.／2.切换数据库表设计与ER图。3. 创建／管理ER图4. 创建／管理表结构1....
2019-01-18 17:17:29
9096
转载 如何一键抓取全国二手房和租房数据？ （全部源码）
最近又要租房了，哪里的性价比更高？买房却不知道全国市场的趋势如何？程序员自有办法，抓取网络的房产交易和租房数据来分析啊！用Python写起来麻烦，用商业软件速度慢还收费，开源的图形化爬虫Hawk，已经在其任务市场里内置了全国链家和我爱我家的工程任务。一键即可加载市场任务，一键在全国几十个城市之间切换，还能一键导出数据到Excel，txt等各种文本类型，心动了么？Hawk，由沙漠之鹰历时五年...
2019-01-17 15:14:39
1008
转载 Fiddler功能介绍之Web抓包、远程抓包教程
一.fiddler简介 简单来说，Fiddler是一个http协议调试代理工具，它能够记录并检查所有你的电脑和互联网之间的http通讯。网上简介很多，我们不多说。 二.fiddler版本 fiddler有fiddler2和fiddler4，两者区别在于，基于的framework不同，也就是系统支持不一样，功能原理都是一样的；电脑操作系统低于win7或是XP系统用Fiddler2...
2019-01-10 20:32:49
3521
转载 IDEA 编译 Jmeter 4.0 ( 二次开发)
转载自：https://www.cnblogs.com/yyhh/p/9379543.htmlIDEA 编译 Jmeter下载http://jmeter.apache.org/download_jmeter.cgi下载源码后解压『Jmeter』，我这边下载的是最新的『apache-jmeter-4.0_src.tar』，解压。解压修改下列两个文件eclipse.cla...
2019-01-10 20:26:26
337
1
转载 Fiddler工具使用介绍三
我们知道Fiddler是位于客户端和服务器之间的代理，它能够记录客户端和服务器之间的所有 HTTP请求，可以针对特定的HTTP请求，分析请求数据、设置断点、调试web应用、修改请求的数据，甚至可以修改服务器返回的数据，功能非常强大，是web调试的利器。前面我们介绍了如何使用Fiddler进行抓包和分析，以及如何抓取APP上的数据包。这里我们介绍下如何修改请求和响应数据，也就是设置断点。对req...
2019-01-10 20:17:37
154
转载 Fiddler工具使用介绍二
在APP测试中，我们需要抓取手机APP上的数据包，应该怎么操作呢？Andriod配置方法：1）确保手机和Fiddler所在主机在同一个局域网中2）获取Fiddler所在主机的ip地址，通过cmd命令进入命令编辑器，输入ipconfig -all，找到IPv4地址，记下该地址 3）对手机所连接的无线网络进行设置，点击WLAN，长按与Fiddler所在主机在同一个局域网的wif...
2019-01-10 20:16:35
320
转载 Fiddler工具使用介绍一
Fiddler基础知识Fiddler是强大的抓包工具，它的原理是以web代理服务器的形式进行工作的，使用的代理地址是：127.0.0.1，端口默认为8888，我们也可以通过设置进行修改。 代理就是在客户端和服务器之间设置一道关卡，客户端先将请求数据发送出去后，代理服务器会将数据包进行拦截，代理服务器再冒充客户端发送数据到服务器；同理，服务器将响应数据返回，代理服务器也会将数据拦截，再返回给客...
2019-01-10 20:15:24
182
转载 Windows下Python3.6安装第三方模块
一、 官网下载安装包： 官网网址：https://www.python.org/ 我下载的是3.6.3版本，如下图： 二、 安装安装包， 1、 直接双击运行 2. 选择Customize installation,一定要勾选Add_Python 3.6 to PATH,防止手工添加环境变量 3.选择安装的属性，Documentation、pip、tcl/tk and IDLE 必...
2019-01-08 17:11:42
308
转载 使用Jmeter进行http接口测试
原文：http://www.cnblogs.com/puresoul/p/4740436.html 前言： 本文主要针对http接口进行测试，使用Jmeter工具实现。 Jmter工具设计之初是用于做性能测试的，它在实现对各种接口的调用方面已经做的比较成熟，因此，本次直接使用Jmeter工具来完成对Http接口的测试。一、开发接口测试案例的整体方案：第一步：我们要分析出测试需...
2019-01-04 17:27:53
221
转载 JMeter性能测试-自定义Java脚本
使用JMeter做性能测试时，我们通常都是需要自己编写测试脚本，才能满足测试用例的需求，Jmeter也是支持我们自定义编写测试脚本的，而且支持Java、Python等多种语言。在这里，我们选择使用Java语言开发测试脚本，是因为Jmeter本身也是用Java实现的，所以使用Java开发脚本会更好。首先，使用Eclipse或者IntelliJ IDEA来新建一个项目，然后新建一个包，再从Jmet...
2019-01-04 10:15:36
642
转载 性能测试之JMeter断言
导读介绍响应断言的用法请求重定向的问题1、从浏览器登录Redmine（1）从浏览器登录Redmine，使用正确的用户名、密码登录，登录完成后，右上角显示登录账号的名称，如下图所示： （2）使用错误的用户名、密码登录，会提示登录失败，然后右上角还是登录按钮，如下图所示： 上面这个现象很正常，符合我们的预期。2、使用JMeter发送请求（1）正确的用户名、密码 之前发送...
2019-01-03 16:01:57
786
转载 性能测试之目标系统部署
导读安装VMware安装Cent OS安装SecureCRT安装Redmine系统Redmine系统简介录制、调试登录脚本目的：搭建一套论坛系统，当作压测的目标系统，来学习后续的知识点。所以本节很重要。1、安装VMware如果你有一台Linux服务器，请直接跳转到第3节。（1）Windows安装VMware打开百度，搜索VMware，将文件下载到本地，如下图所示： ...
2019-01-03 15:43:42
350
转载 软件性能测试基础
1、什么是软件性能？软件的性能是个很大的概念，覆盖面非常广泛，对一个软件系统而言，包括执行效率、资源占用、稳定性、安全性、兼容性、可扩展性、可靠性等待。用户视角的软件性能 从用户角度来说，软件性能就是软件对用户操作的响应时间；管理员视角的软件性能： 系统的响应时间系统运行时服务器的状态，如CPU利用率，内存使用情况等；系统是否能够实现扩展；系统支持多少用户访问；系统性能可能的瓶...
2019-01-03 15:04:52
2887
转载 Linux系统监控——top命令
1、top命令显示top命令显示区分为两个部分，上面是系统统计信息；下面是进程信息。2、系统统计信息2.1 第一行 第一行，需要关注的是load avg这行，通过这三个值，我们能看出系统负载的发展趋势。比如过去1分钟、5分钟、15分钟的平均负载的值分别是2.4、1.5、0.7，能说明什么问题呢？压测后，系统的负载越来越多。这个load值，除以逻辑CPU的数量，大于5就表明系统在超负...
2019-01-03 14:58:27
297
转载 JVM调优总结
堆大小设置 JVM 中最大堆大小有三方面限制：相关操作系统的数据模型（32-bt还是64-bit）限制；系统的可用虚拟内存限制；系统的可用物理内存限制。32位系统下，一般限制在1.5G~2G；64为操作系统对内存无限制。我在Windows Server 2003 系统，3.5G物理内存，JDK5.0下测试，最大可设置为1478m。 典型设置： java -Xmx3550m -Xms35...
2019-01-03 14:46:46
194
转载 压测基本流程
1.制定测试计划（主要包括：测试环境情况（硬件资源、软件资源）、测试工具描述、测试参照标准、参照文献、tps值预测（计算）、测试案例（压测点）等2.根据测试计划（测试案例）录制脚本，对脚本进行加工（参数化、检查点、关联、集合点等）；回访脚本是否成功3.在服务器上安装nmon ，安装成功之后，在SSh中进入到nmon的安装文件夹下，然后执行命令（./nmon）,检查nmon是否安装成功4....
2019-01-03 14:43:19
2038
转载 Loadrunner11 录制手机App脚本多种方法介绍
总体来说，通过LR录制手机脚本的方式有三种：1）通过代理方式录制，保证手机电脑在同一个网段；2）通过抓包录制，在手机上安装Mobile Recorder；3）通过安卓模拟器录制，本地安装android模拟器Emulator (Android SDK)一、通过代理方式录制http://jingyan.baidu.com/article/359911f566da0d57fe0306d0....
2019-01-03 14:41:07
421
转载 linux使用nmon监控、分析系统性能
一、概述nmon是一种在AIX与各种Linux操作系统上广泛使用的监控与分析工具，相对于其它一些系统资源监控工具来说，nmon所记录的信息是比较全面的，它能在系统运行过程中实时地捕捉系统资源的使用情况，并且能输出结果到文件中，然后通过nmon_analyzer工具产生数据文件与图形化结果。nmon所记录的数据包含以下一些方面（也是我们在寻找问题过程中所关注的资源点）： ·cpu占用率...
2019-01-03 14:37:49
907
转载 【测试新人必备】测试报告如何编写？
测试报告具体包含的内容包括以下（不同公司提供的模板或许有不同，但大体都一样）：第1部分：引言包括两部分1.1项目背景 和 1.2参考资料1.1项目背景 本测试报告的具体编写目的，指出预期的读者范围。(3-4句) 本测试报告为（系统名称）系统测试报告；本报告目的在于总结测试阶段的测试及测试结果分析，描述系统是否达到需求的目的。 本报告预期参考人员包括测试人员、测试部门...
2019-01-03 11:06:20
1593
转载 Jmeter压力测试简单教程（包括服务器状态监控）
前段时间公司需要对服务器进行压力测试，包括登录前的页面和登录后的页面，主要目的是测试负载均衡的实现效果。不知道是不是因为Jmeter不如loadRunner火爆还是什么，网上关于Jmeter的资料有很多但是大多千篇一律，要么简单弄个页面测试一下，要么全篇都是介绍很多和Jmeter无关的第三方工具，看起来很专业高深，但是作为测试小白来说，看到这样的东西确实头疼。我只是想好好了解一下Jmete...
2019-01-02 16:14:49
1045
2
原创 Jmeter 图形结果词意分析
1.No of Samples 样本数目：总共发送到服务器的请求数2.Latest Sample 最新样本：服务器相应最后一个请求的时间3.Average 平均值：总运行时间除以发送到服务器的请求数4.Deviation 偏离：服务器响应时间变化，离散程度测试值的大小，也就是数据的分布5.Throughput 吞吐量：服务器每分钟处理的请求数6.Median 中值：所有请求按大小顺...
2018-12-29 18:02:26
1270
转载 功能测试、自动化测试、性能测试区别？
转自：https://blog.csdn.net/qq_31344287/article/details/809956041、功能测试。 Functional testing(功能测试)，也称为behavioral testing(行为测试)，根据产品特性、操作描述和用户方案，测试一个产品的特性和可操作行为以确定它们满足设计需求。 1>又名：黑盒测试或数据驱动测试。 2&g...
2018-12-29 17:24:21
408
转载 使用jmeter进行并发登录测试(并发20)
第一种方案直接从数据库中获取账号和密码1、设置线程数为20 ，我们的并发用户量就是20个用户同时登录2、添加定时器3、设置集合点，当用户数量达到20个的时候再同时请求进行登录操作4、添加配置元件：JDBC Connection Configuration5、添加JDBC request请求（从数据库获取登录账号和密码）7、添加http登录请求...
2018-12-29 17:21:46
2264
转载 Jmeter中的几个重要测试指标释义
转自： http://www.51testing.com/html/28/116228-238479.html （较原文有改动） 一、基本概念1．测试计划是使用 JMeter 进行测试的起点，它是其它 JMeter 测试元件的容器。2．线程组：代表一定数量的并发用户，它可以用来模拟并发用户发送请求。实际的请求内容在Sampler中定义，它被线程组包含。可以在“测试计划->添加-&...
2018-12-29 17:17:27
1056
原创 Linux下使用Jmeter进行分布式压力测试
安装JDK并配置环境变量下载jmeter：http://jmeter.apache.org/download_jmeter.cgi linux下下载.tgz包安装配置jmeter： 上传至linux服务器: rz命令 解压tgz包 配置jmeter环境变量 ...
2018-12-28 14:26:06
4233
转载 Jmeter-数据库数据进行参数化
一、测试计划加载mysql驱动（官网下载mysql-connector-java-5.1.44-bin.jar后放置lib目录下） 二、添加配置元件-JDBC Connection Configuration(配置数据库连接信息) 三、添加Sampler-JDBC Request（查询） 四、后续查询结果引用 1)对Variable names的...
2018-12-28 14:14:36
1589
转载 jmeter—badboy脚本开发技术
一、badboy中的检查点 1、录制脚本 2、选择需要做检查点的内容，点击“Tool”,选择-“Add Assertion for Selection” 3、脚本栏左侧出现“Check For text” 4、点击Play All,断言成功，左侧会出现绿色对勾，断言失败会弹出提示框 二、设置参数化选择Variables----->右键选择...
2018-12-28 14:13:16
108
转载 jmeter常用的录制方法
录制1——badboybadboy下载：http://www.badboy.com.au/download/index 打开badboy工具，点击工具栏目上的红色圆形按钮，在地址栏目中输入被测试项目的地址 录制完成后，点击工具栏旁边的黑色按钮，结束录制。选择“文件” ——Export to jmeter.... 打开jmeter工具，选择“文件” —>“打开”，选择刚才保存的...
2018-12-28 14:10:58
194
转载 Hive中数据压缩（企业优化）
二 、配置mapreduce和hive中使用snappy压缩 将snappy解压，将Lib下的native复制到hadoop下的lib 1、 实际就是对mapreduce过程中数据进行压缩2、hadoop支持的压缩格式3、在mapreduce中设置压缩4、在hive中设置压缩5、数据文件格式 数据存储* 按行存储数据：TEXT...
2018-12-25 11:02:20
232
转载 BIOS中英文对照表
BIOS中英文对照表: Time/System Time 时间/系统时间 Date/System Date 日期/系统日期 Level 2 Cache 二级缓存 System Memory 系统内存 Video Controller 视频控制器 Panel Type 液晶屏型号 Audio Controller 音频控制器 Modem Controller 调制解调器（Modem)...
2018-12-17 16:53:05
6285
原创 Hadoop常用测试集HiBench配置指南
Hibench是一个大数据 benchmark 套件，用来测试各种大数据框架的速度，吞吐量，系统资源利用率。 它支持的框架有：hadoopbench、sparkbench、stormbench、flinkbench、gearpumpbench。hibench作为一个测试hadoop的基准测试框架，提供了对于hive：（aggregation，scan，join），排序（sort，TeraSo...
2018-12-17 15:32:35
4218
5
转载 一篇文章看懂TPCx-BB(大数据基准测试工具）源码
TPCx-BB是大数据基准测试工具,它通过模拟零售商的30个应用场景，执行30个查询来衡量基于Hadoop的大数据系统的包括硬件和软件的性能。其中一些场景还用到了机器学习算法（聚类、线性回归等）。为了更好地了解被测试的系统的性能，需要对TPCx-BB整个测试流程深入了解。本文详细分析了整个TPCx-BB测试工具的源码，希望能够对大家理解TPCx-BB有所帮助。代码结构主目录（$BENCH_...
2018-12-17 15:16:48
1467
原创 大数据基准测试BigDataBench4.0安装及使用
环境准备 hadoop集群环境已经正确安装，可通过50070端口访问namenode和datanode 在这里也是使用BigDataBench_V4.0_Hadoop进行的测试 安装gcc g++sudo yum install gccsudo yum install g++下载wget http://prof.ict.ac.cn/bdb_uploads/bdb_4/pa...
2018-12-17 15:08:55
584
2
翻译 大数据集群下filesystem测试工具之filebench
简介Filebench 是一款文件系统性能的自动化测试工具，它通过快速模拟真实应用服务器的负载来测试文件系统的性能。它不仅可以仿真文件系统微操作（如 copyfiles, createfiles, randomread, randomwrite ），而且可以仿真复杂的应用程序（如 varmail, fileserver, oltp, dss, webserver, webproxy ）。 Fil...
2018-12-14 17:05:48
943
转载 项目经理能力训练-如何讲解PPT？
准备：1、了解听众背景（年龄、学历）2、了解听众目前存在的问题（痛苦）3、明确讲解的目标策略：1、产品介绍类：听众的问题1-造成的痛苦-解决方法（产品的功能1），然后循环。2、表达观点类：一个观点，后面三个故事制作PPT：1、三分文字，七分图；2、纯文字页面，要重点突出，简洁明了，每页不超过5行；3、整个体系有逻辑性4、每页一个主题练习：1、要把内容都背下来...
2018-12-12 10:34:55
710
转载 PM资源库
www.pmi.org：项目管理协会官网www.mpug.org ： Microsoft Project 用户组织(USA)www.pmforum.org ：项目管理论坛www.cpmi.org.cn/：现代卓越官网www.newgrange.com ：项目经理人论坛www.spmn.com：软件项目经理人网（可下载免费风险管理软件Risk Radar）www.4pm.com：国外项目...
2018-12-12 10:31:15
678
转载 布鲁斯·塔克曼(Bruce Tuckman)的团队发展阶段模型
1. 组建期。（Forming) 项目小组启蒙阶段。 团队酝酿，形成测试。 测试的目的是为了辨识团队的人际边界以及任务边界。 通过测试，建立起团队成员的相互关系、团队成员与团队领导之间的关系，以及各项团队标准等。 团队成员行为具有相当大的独立性。 尽管他们有可能被促动，但普遍而言，这一时期他们缺乏团队目的、活动的相关信息。 部分团队成员还有可能表现出不稳定、忧虑的特征。 团队领导在带领...
2018-12-12 10:30:25
3887
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人