shahaizimxm-CSDN博客

转载淘宝技术发展

作者: 赵超发布时间: 2012-02-25 11:32 阅读: 158694 次推荐: 147 原文链接 [收藏] 　　目录　　一、引言　　二、个人网站　　三、Oracle/支付宝/旺旺　　四、淘宝技术发展（Java时代：脱胎换骨）　　五、淘宝技术发展（Java时代：坚若磐石）　　六、淘宝技术发展（Java时代：

2016-05-04 16:46:56 1028

原创 jenkins分布式任务构建

pybot.bat -i 3 E:\test\workspace\etl-autotest\接口测试\shaoyang189.txt分布式任务构建即就是一个master为中心，很多slave来进行具体的构建操作。在自动化测试过程中经常用到分布式构建，多台执行机来进行任务的构建以及自动化脚本的运行操作。如何在jenkins上进行分布式任务构建?

2015-08-18 10:11:06 1154

原创 jenkins 系统设置

pybot.bat -i 3 E:\test\workspace\etl-autotest\接口测试\shaoyang189.txt

2015-08-18 10:08:40 898

原创搭建jenkins环境、testlink

搭建jenkins环境1、安装好必须的软件：jdk、maven、tomcat。2、下载jenkins.war包，官网地址：http://jenkins-ci.org/将下载的jenkins.war包放置在tomcat/webapps目录。3、停止与启动tomcat$cd /tomcat/bin$./startup.sh //启动tomcat$./shutdow

2015-08-18 10:05:16 2533

原创 jenkins上配置robotframeworkride自动化脚本任务

jenkins上配置robotframeworkride自动化脚本任务编写好的自动化脚本，集成在jenkins上进行自动运行于监控，这里采用分布式构建，在一台slave上进行任务构建与自动化脚本的运行。步骤：1、创建jenkins任务选择创建一个自由风格的任务2、选择执行自动化脚本的slave机。（slave节点的配置参考）图1

2015-08-18 09:51:37 7053 2

原创安装开发软件-jdk、maven、tomcat、apache2、php5

jdk的安装与配置在官网http://www.oracle.com/technetwork/java/javase/downloads/index.html下载jdk linux版本jdk-7u75-linux-x64.gz ，最新版。一般安装软件有2种方式，第一种：apt-get install java 在线安装ubuntu提供的jdk是open jdk版本的。目

2015-08-18 09:44:06 1153

原创 jenkins checkstyle(二)

build.xml 该文件放在工程的根目录下 classpath="${thrid.dir}/checkstyle-5.6-all.jar" /> classpath="${thrid.dir}/checkstyle-5.6-all.jar"/>style

2014-09-28 09:33:25 1517

原创 jenkins checkstyle(一)

1、在jenkins图形化界面安装checkstyle插件如果自动安装插件不成功，则选择手工安装：1.1、先在该url下载jenkins的checkstyle插件：http://updates.jenkins-ci.org/download/plugins/插件：checkstyle.hpi、analysis-core.hpi(安装checkstyle插件前需要先安装analysi

2014-09-28 09:29:45 4022

原创 java.sql.SQLException: Query returned non-zero code: 12, cause: FAILED: Hive Internal Error: java.la

java.sql.SQLException: Query returned non-zero code: 12, cause: FAILED: Hive Internal Error: java.lang.NullPointerException(null) at org.apache.hadoop.hive.jdbc.HiveStatement.executeQuery(HiveSta

2014-08-13 14:21:29 2235

原创启示录-打造用户喜爱的产品

最近在读《启示录-打造用户喜爱的产品》，书中对于怎么做好一个产品经理进行了剖析。认为不是所有人都能成为成功的产品经理，天赋在成为成功产品经理中占据了关键因素，没有这个天赋就不能可能成功，而技能只需要后天培养任何人都能获得。对于这个种观点我持保留意见，凡是没有绝对，作者说的太绝对了，事在人为！

2014-06-20 15:24:45 868

转载 hdfs benchmark

hdfs benchmark1. TestDFSIO1)简介该benchmark用于测试hdfs的读写速率，发现所在网络的性能瓶颈。其在hdfs上的默认输出目录为/benchmarks/TestDFSIO；在本地的默认输出路径为当前目录（可通过设置-D test.build.data来修改），默认文件名为TestDFSIO_results.log（可以通过-resFile参数来修改

2014-03-31 15:26:29 1510

转载 Hadoop现有测试框架探幽

Hadoop现有测试框架探幽背景从使用hadoop的第一天开始，就一直没有离开过对Hadoop自身功能的开发以及hadoop本身bug的修复的相关开发。这样的开发模式已经持续了好几年，但是可以从中发现的一个现象：对于我们修复的bug或者开发的功能，一直都没有一种很规范，很统一，高效，好管理，并且一目了然的测试的方式。常常的现象是：开发了一个功能或修复了一个bug后，就针对该修改进行一些

2014-03-31 14:51:42 823

转载 Hadoop的基准测试工具使用

一、背景由于以前没有细看hadoop提供的测试工具，只是在关注hadoop本身的内容，所以很多的性能测试都忽略了。最近花了一周的时间准备做个性能测试，但是都是采用自己的方法得出的抽象值。今天看淘宝的博客，提到hadoop自带的测试工具，遂试了一把，记录一下，供以后参考。二、使用我做基准测试主要是用了hadoop-0.20.2-test.jar这个工具jar包。主要是做了I/O的测试。在

2014-03-31 14:15:03 1363

转载线性回归介绍之十——多因素分析策略

在多重线性回归中，许多人都会碰到这样的情形：单因素分析有统计学意义，而多因素分析则无统计学意义了。这种情况令很多人头疼，不知道到底该相信哪一个结果。今天就这种情况进行以下阐述，使大家对此有些了解。比如，描述身高、体重对血压的影响。单因素分析也就是分别做身高对血压、体重对血压的影响分析。结果显示身高和体重对血压的变化都有影响。多因素分析就是将身高、体重同时做对血压的影响分析，结果发现身高对血压的

2014-03-28 15:01:47 7264

转载线性回归介绍之九——多重线性回归

现实中大多数的结果都是多个原因引起的，所谓一因一果对应的事情是非常少见的。从医学领域来看，几乎任何疾病都不是由一种原因造成的，而是多钟病因共同作用的结果。因此，多重线性回归在实际中应用更为广泛。多重线性回归（multiple linear regression），有的教材也称之为多元线性回归，就是指一个因变量，多个自变量的线性回归。多重线性回归比单因素的线性回归复杂之处不在于多了几个变量，更为

2014-03-28 15:01:06 4328

转载线性回归介绍之八——回归方程的评价

如果你已经有了一堆数据，有了因变量和自变量，利用统计软件求出回归方程是非常简单的事情，这些软件虽然不懂得如何分辨你的数据应该用什么方法，但是一旦你确定了方法，他们的计算能力还是非常强大的，可以快速地给出你所需要的结果。但是即使有了回归方程，我们还有一个问题需要解决，那就是：你凭什么认为求出的这个方程是合理的？或者说，凭什么认为求出的方程式符合实际的？这就涉及到回归方程的评价问题。所谓回归方程的

2014-03-28 15:00:26 5815

转载线性回归介绍之七——回归诊断

如果你看的书多了，可能经常会发现回归诊断或模型诊断这样的名词，这里的诊断跟医学里的诊断有所不同。什么是模型诊断？其实它的主要目的就是为了看一下我们辛辛苦苦计算所得的方程或模型是不是合理？是不是有符合实际？是不是需要重新分析？对于线性回归而言，回归诊断需要处理的问题主要是看是不是有共线性？有没有异常点存在？以及前面所说的是否符合线性回归的使用条件。什么是共线性？这是个更为常见的名词，共线性也

2014-03-28 14:59:41 3433

转载线性回归介绍之六——再谈回归与方差分析的关系

上一篇文章已经对方差分析和线性回归的关系进行了阐述，不过刚看到了一位朋友的留言提问，所以想针对这个问题继续谈一下二者的关系。这一次主要是想结合一个实例来说明。比如有下面这样一个虚拟的例子：组别数值111.118.17112.73115.8311

2014-03-28 14:59:16 5289 1

转载线性回归介绍之五——回归与方差分析的关系

如果是初学者，看到这个题目一定有点惊奇：线性回归和方差分析还有关系？其实这不怪他们，应该是怪统计学教材以及统计教师。几乎所有的医学统计学教材中都把方差分析和线性回归分为独立两章，这倒不要紧，但是却没有专门的一章把它们的关系讲透，以至于许多学生学了很久都只能获得零零散散的珠子，缺乏一条将他们穿起来的线。这篇文章的目的就是通过一般线性模型（general linear model）的介绍，将方差分

2014-03-28 14:58:46 16143 2

转载线性回归介绍之四——如何做散点图

前几次关于线性回归介绍的都是一些理论上的东西，这一次想介绍一个非常使用的内容，即如何绘制散点图。当然，用SAS、SPSS等统计软件会很轻松地做出来，但是并不是每个人都能掌握这些统计软件，所以这一次主要是介绍如何通过EXCEL介绍线性回归的散点图。比如，有x和y两个变量，想分析它们之间的关系。首先，点“插入”-“图表”，选择“XY散点图”，然后一步一步点下去，中间可以加入x轴和y轴的标示以及图的

2014-03-28 14:57:22 17633 1

转载线性回归介绍之三——线性回归的使用条件

线性回归使用范围如此广泛，可惜真正正确使用的却为数不多。从国内的医学杂志情况来看，线性回归的使用都是信手拈来，丝毫不考虑自己的数据是否符合线性回归的使用条件。国内医学杂志80%以上的统计应用都是错误的，这一点已经有专门的有心人发现了。线性回归使用之前，有几个前提是一定要考虑的：（1）自变量与因变量是否呈直线关系。（2）因变量是否符合正态分布。（3）因变量数值之间是否独立。（4）方差是否齐性。

2014-03-28 14:56:32 25543 1

转载线性回归介绍之二——“线性”的理解

线性回归尽管在各个领域中用得如此广泛，但是真正能对其深入理解的并不多。从目前的统计学教材来看，大多都仅限于肤浅的介绍或一味地抄袭，很少有人加入自己的理解。前面几篇文章已经说明了“回归”的含义，那么“线性”是什么意思呢？“线性”是个关键词，它决定了线性回归的使用范围。所谓线性，通俗地讲，就是因变量与自变量大致呈直线状变化，不是绝对的直线，而是大体算是直线。如下图所示自变量x与因变

2014-03-28 14:50:32 2447

转载线性回归介绍之一

线性回归在所有的统计方法中绝对占有不可忽视的一席之地，其用途之广泛毋庸置疑，更重要的是它是整个回归家族中最为简单、也最容易理解的方法，几乎所有的统计学教材，不管是医学统计还是社会统计抑或经济统计，线性回归绝对会有独立的章节，而其他的回归方法则很少有这种待遇。线性回归大致可分为单因素回归和多因素回归，这里的“单”和“多”是针对自变量的（也叫原因变量），例如肥胖会对高血压有影响，这里的肥胖就是自变

2014-03-28 14:37:38 1592

转载 SPSS—回归—多元线性回归结果分析（二）

SPSS—回归—多元线性回归结果分析（二），最近一直很忙，公司的潮起潮落，就好比人生的跌岩起伏，眼看着一步步走向衰弱，却无能为力，也许要学习“步步惊心”里面“四阿哥”的座右铭：“行到水穷处”，”坐看云起时“。接着上一期的“多元线性回归解析”里面的内容，上一次，没有写结果分析，这次补上，结果分析如下所示：结果分析1：由于开始选择的是“逐步”法，

2014-03-19 17:57:28 27936 2

转载 SPSS--回归-多元线性回归模型案例解析！(一）

SPSS--回归-多元线性回归模型案例解析！(一）多元线性回归，主要是研究一个因变量与多个自变量之间的相关关系，跟一元回归原理差不多，区别在于影响因素（自变量）更多些而已，例如：一元线性回归方程为：毫无疑问，多元线性回归方程应该为：上图中的 x1, x2, xp分别代表“自变量”Xp截止，代表有P个自变量，如果有“N组样本，那么这个多元线性回归，将

2014-03-19 17:56:40 61930 7

转载华为内部狂转好文：有关大数据，看这一篇就够了

导读）科技的进步在很多的时候总会超出我们的想象，如果未来我们一个人拥有的电脑设备超过现在全球现在计算能力的总和，一个人产生的数据量超过现在全球数据量的总和，甚至你的宠物小狗产生的信息量都超过现在全球数据量的总和，世界会发生什么呢？阅读本文，大数据（Big Data）会告诉你一个充满奇幻色彩的世界。文章来源：华为IT产品解决方案作者：潘少　　一、详

2014-02-19 09:28:23 2871

原创利用jmeter和jconsole进行压力测试

需求背景：流量投诉助手进行压力测试，20个并发，持续10小时，查看系统的稳定性工具：jmeter+badboy+jconsole利用badboy录制脚本，在jmeter中进行并发，利用jconsole监控jvm步骤：1：设计测试场景场景1：用户打开流量投诉助手智能分析页面，输入手机号码，选择时间段：2013-09-01~2013-09-30，点击查询场景2：用户打开流量投诉

2013-09-27 10:21:00 3139

转载 Jmeter测试结果分析（上）

Jmeter测试结果分析（上）Jmeter测试结果分析这一篇，我打算分成上下两部分。上篇，主要讲述如何使用jmeter中Assertion对结果进行简单的分类；下篇，主要讲述的是当我们拿到测试结果后，我们应该如何去看待这些测试结果。用过LoadRunner的人都知道，LoadRunner本身提供了很多函数可以对收集回来的结果进行一些初步的分析。例如可以做到判断返回的结果是否正确；判

2013-09-26 10:32:24 858

转载 Jmeter测试结果分析（下）

Jmeter测试结果分析（下）前文再续，续接上一回。上一篇讲了如何利用Assertion将测试结果进行初步的筛选。那么，当我们拿到了测试结果之后，我们应该如何去看待它们呢？它们又是怎么来的呢？一、Listener的使用用过LoadRunner的人应该都知道，LoadRunner会为我们提供一大堆图标和曲线。但是在Jmeter里，我们只能找到几个可怜的Listener来方便我们查

2013-09-26 10:31:51 1058

原创搭建hadoop-dist-2.0.0-cdh4.2.0开发测试环境

项目中用到的版本是hadoop-dist-2.0.0-cdh4.2.0，因此在虚拟机上搭了一个2.0的环境。hadoop的开发测试环境一般来说分3种：单机版：不配置任何配置文件，仅用来开发和调试伪分布式：namenode、datanode、job、tasktrack等服务都在同一个节点上，配置相关的xml文件，用来开发和调试完全分布式：master、slave等分布在不同的节点上，

2013-08-29 15:18:05 1643

原创 org.apache.hadoop.fs.FileAlreadyExistsException: Output directory hdfs://127.0.0.1:9000/user/hadoop/

org.apache.hadoop.fs.FileAlreadyExistsException: Output directory hdfs://127.0.0.1:9000/user/hadoop/output already exists解决：hdfs的output目录已经存在，使用下面的命令删除就okhadoop@ubuntu:/usr/local/hadoop/bin$ ha

2013-08-29 11:26:26 9758 1

原创 WARN conf.Configuration: mapred.output.value.class is deprecated. Instead, use mapreduce.job.output.

WARN conf.Configuration: mapred.output.value.class is deprecated. Instead, use mapreduce.job.output.value.class解决：他的意思是使用的class是旧版本了，建议你使用新版本的class该问题不需要处理，不影响程序运行

2013-08-29 11:24:15 906

原创 java.lang.IllegalStateException: Invalid shuffle port number -1 returned for attempt_1377744323071_0

java.lang.IllegalStateException: Invalid shuffle port number -1 returned for attempt_1377744323071_0001_m_000000_2解决：在网上查了一下，这个yarn调试问题，在 yarn-site.xml文件中添加一下配置： yarn.nodemanager.aux-services

2013-08-29 11:21:31 1277

原创 jmeter接口测试

用jmeter进行接口测试1、安装好jdk我安装的是jdk1.62、下载jmeter，解压即可下载地址：http://jmeter.apache.org/download_jmeter.cgiapache-jmeter-2.9.tgzmd5pgpjmeter目录结构：C:\apache-jmeter-2.9\bin

2013-08-27 15:02:19 3177

转载浅谈数据仓库建设中的数据建模方法

所谓水无定势，兵无常法。不同的行业，有不同行业的特点，因此，从业务角度看，其相应的数据模型是千差万别的。目前业界较为主流的是数据仓库厂商主要是 IBM 和 NCR，这两家公司的除了能够提供较为强大的数据仓库平台之外，也有各自的针对某个行业的数据模型。例如，在银行业，IBM 有自己的 BDWM(Banking data warehouse model)，而 NCR 有自己的 FS-LDM 模

2013-08-21 09:31:46 1196

转载 ETL 测试/数据仓库测试-----技巧，技术，过程和挑战

今天让我在休息之余给我的测试朋友介绍一个在我的测试沙龙上的需要和提升技能之一，例如ETL测试（Extract，Transform，and Load，中文名称为数据提取、转换和加载），这篇文章告诉你ETL 测试以及我们如果进行ETL测试过程的一个完整测试思想。　　为什么企业需要数据仓库？　　IT企业的实践希望在技术转型上创建一个新的台阶。他们不断尝试着让他们的产品伴随着互操作

2013-08-21 09:20:59 3070 2

原创 SecurityException: java.lang.SecurityException

[ZooKeeperSaslClient] SecurityException: java.lang.SecurityException: 无法定位登录配置 occurred when trying to find JAAS configuration.原因：host绑定没有配置

2013-08-15 11:17:56 1182

原创搭建hadoop-0.20.2开发测试环境（二）

一开始以为ubuntu安装好以后，就万事大吉了，马上就可以开始hadoop了，没想到后面遇到很多问题，弄得头大，还好通过百度，总算解决了。在虚拟机上面安装的ubuntu，会发现主机与虚拟机的切换麻烦，另外虚拟机中不可复制粘贴，操作起来各种头痛。有同事建议我用ssh工具连ubuntu，好，那就下载一个secureCRT好了。但是在使用ssh连接之前还有一些准备工作要做1、设置ubun

2013-08-01 18:17:21 728 1

原创搭建hadoop-0.20.2开发测试环境（一）

在win8系统下搭建一个hadoop的开发测试环境环境：VMware-workstation-full-9.0.2ubuntu-12.10-desktop-i386步骤：1、安装虚拟机，下载地址：VMware-workstation9.0.22、下载ubuntu iso镜像文件，地址：百度的3、在虚拟机下面安装ubuntu系统step1：创建新的虚拟机

2013-08-01 12:48:11 750

原创搭建hadoop-0.20.2开发测试环境（三）

搭建hadoop环境1、安装jdk，值得注意的是：linux下的java有两种一个是openjdk一个sun的。因为一些原因，Sun Java 无法从 Ubuntu 的软件库里面取得取而代之的是 OpenJDK，不过 OpenJDK 跑某些程式会出现问题所以还是需要 Sun Java。（这是前人给的经验，我根据他的说法，直接安装了sun的jdk，谢谢）$ sudo add-apt-

2013-08-01 10:25:00 820