2015年10月_test_soy

原创 hive中的动态分区和静态分区

HIVE分区，实际上是通过一个路径来标识的，而不是在物理数据中。比如每天的数据，可能分区是pt=20121023这样，那么路径中它就会变成：/hdfs/path/pt=20121023/data_files。通过路径来标识的好处是，如果我们需要取特定分区的数据，只需要把这个路径下的数据取出来就可以了，不用扫描全部的数据。HIVE默认是静态分区。但是有时候可能需要动态创建不同的分区，比如商品

2015-10-30 18:20:00 480

转载 CASE WHEN 及 SELECT CASE WHEN的用法

Case具有两种格式。简单Case函数和Case搜索函数。简单Case函数CASE sexWHEN '1' THEN '男'WHEN '2' THEN '女'ELSE '其他' END --Case搜索函数 CASE WHEN sex = '1' THEN '男' WHEN sex = '2' THEN '女' ELSE '其他' END 种

2015-10-28 11:00:13 503

转载 Hadoop读写文件时内部工作机制是怎样的?

读文件　　读文件时内部工作机制参看下图：　　客户端通过调用FileSystem对象（对应于HDFS文件系统，调用DistributedFileSystem对象）的open()方法来打开文件（也即图中的第一步），DistributedFileSystem通过RPC（Remote Procedure Call）调用询问NameNode来得到此文件最开始几个block的文件

2015-10-28 10:28:34 453

原创 mysql表and字段注释添加

给表添加注释：ALTER TABLE table_name COMMENT='表注释'; 给字段添加注释：ALTER table table_name MODIFY `column_name` datetime DEFAULT NULL COMMENT '字段注释'

2015-10-24 16:05:53 680

原创 \r\n,\n,\r简介

'\r'是回车，前者使光标到行首，（carriage return）'\n'是换行，后者使光标下移一格，（line feed）\r 是回车，return\n 是换行，newline^M 是ascii中的'\r', 回车符，是16进制的0x0D，八进制的015，十进制的13^M在vi编辑器中可以使用Ctrl+ v + m三个键打出来对于换行这个

2015-10-24 14:58:31 976

原创 Hive常用SQL命令操作

创建表 hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段ds hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING); 显示所有表 hive> SHOW TABLES; 按正条件（正则表达式）显示表， hive> SHO

2015-10-22 16:55:07 715

原创 Hadoop文件操作

HDFS是一种分布式文件系统，为MapReduce这种框架下的海量数据分布式处理而设计。Hadoop之HDFS文件操作常有两种方式，一种是命令行方式，即Hadoop提供了一套与Linux文件命令类似的命令行工具；另一种是JavaAPI，即利用Hadoop的Java库，采用编程的方式操作HDFS的文件。方式一：命令行方式Hadoop文件操作命令形式为hadoop fs

2015-10-22 16:35:28 853

原创 Hadoop 文件命令

文件操作 * 查看目录文件 * $ hadoop dfs -ls /user/cl * * 创建文件目录 * $ hadoop dfs -mkdir /user/cl/temp * * 删除文件 * $ hadoop dfs -rm /user/cl/temp/a.txt * * 删除目录与目录下所有文件 * $ hadoop dfs -rmr /use

2015-10-22 14:29:05 439

原创 hive函数大全

一、关系运算：1. 等值比较: = 语法：A=B 操作类型：所有基本类型描述: 如果表达式A与表达式B相等，则为TRUE；否则为FALSE 举例： hive>select 1 from lxw_dual where 1=1; 12. 不等值比较:

2015-10-21 19:34:17 450

原创 hive实现update与delete

INSERT OVERWRITE TABLE tablename2 [PARTITION (partcol1=val)]Select * from tablename1 where partition_name=’va1’ or partition_name=val2;eg:A表数据如下id(String) name(String)------

2015-10-21 19:32:20 5637

转载索引的作用和为什么要创建索引

为什么要创建索引呢？这是因为，创建索引可以大大提高系统的性能。第一，通过创建唯一性索引，可以保证数据库表中每一行数据的唯一性。第二，可以大大加快数据的检索速度，这也是创建索引的最主要的原因。第三，可以加速表和表之间的连接，特别是在实现数据的参考完整性方面特别有意义。第四，在使用分组和排序子句进行数据检索时，同样可以显著减少查询中分组和排序的时间。第五，通过使用索引

2015-10-20 15:58:23 2368

转载 SQL重复记录查询的几种方法

1、查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断复制代码代码如下:select * from peoplewhere peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)2、删除表

2015-10-19 17:16:00 393

转载 Linux权限管理及用户与用户组

第一部分：Linux权限管理一、基本权限 linux权限机制采用UGO模式。其中 u（user）表示所属用户、g（group）表示所属组、o（other）表示除了所属用户、所属组之外的情况。u、g、o 都有读（read）、写（write）、执行（excute）三个权限，所以UGO模式是三类九种基本权限。用命令 ls -l

2015-10-15 16:08:06 408

转载 web常见安全问题以及测试方法

web安全是我们测试组一直以来作为和性能测试并驾齐驱的两个重点。开发的过程中还需要着重注意，该转义的地方转义；该屏蔽的地方屏蔽，该过滤的地方过滤等等。年底又到了，势必又有大批的发号抽奖之类的活动开发、上线，在这个过程中，安全问题是我们每个人应该紧绷的神经，对于我们测试人员来说，每个活动需要做到手动安全测试加自动化安全测试相结合。　　常见的web安全问题有：　　SQL注入

2015-10-15 16:03:05 3937

原创 html基础-段落

HTML段落段落通过标签进行定义;浏览器自动在段落前后添加空行；是块级元素.实例:这是段落。这是段落。这是段落。段落元素为p标签定义显示出来为:对于html来说，无法通过在html代码中添加额外的空格或换行来改变输出的效果；当显示页面时，浏览器会移动源代码中多余的空格和空行；所有连续

2015-10-15 10:50:33 472

转载 SAP BO 报表工具

随着大数据时代的来临，BI分析工具也热火朝天的发展起来。由于一直在做SAP的BI产品，所以主要围绕着SAP BO提供的报表工具做一个简单的选型介绍。目前SAP BO提供了下列组件供我们选择： BIP：称为BOE平台，作为核心的BO组件，为我们提供了门户支持（LaunchPad，支持浏览器、Mobile App），报表开发平台（Wor

2015-10-14 17:56:35 8960 1

原创报表测试

报表测试分为：报表界面测试、报表安全性、报表准确性、报表展示速度（也就是性能）。数据准确性测试报表测试的系统分为两类，一类是业务系统中，带有统计分析功能模块，该模块中包含分析报表，这个系统的主体是业务系统，报表是为办理业务的而提供帮助的。比如说，应年检统计报表，某月应交罚款车辆统计报表，这样的报表数据准确与否，可通过增加、删减、修改相关业务或相关业务的参数，查看统计报表数据

2015-10-14 15:30:07 3181

转载 Jetty嵌入式web的war的发布方法

直接war的发布启动方式： 1）Runner的类内容如下：注意一定要在根目录，但是个人觉得不一定import java.io.File; import java.net.URL; import java.security.ProtectionDomain;import org.eclipse.jetty.server.Server; importorg.eclipse.jetty.server

2015-10-13 11:36:19 900

转载 Linux(RedHat 5.8)下安装Jetty 部署使用

Linux(RedHat 5.8)下安装Jetty 部署使用首先需要安装JDK，自行解决下载jetty安装包http://dist.codehaus.org/jetty/我下载的是8.1.15tar -xzvf *.tar.gz解压完之后，基本就可以用了webapps下有一些demo的war包启动jetty服务：java -jar sta

2015-10-13 11:35:37 292

Jetty 是一个开源的servlet容器，它为基于Java的web内容，例如JSP和servlet提供运行环境。Jetty是使用Java语言编写的，它的API以一组JAR包的形式发布。开发人员可以将Jetty容器实例化成一个对象，可以迅速为一些独立运行（stand-alone）的Java应用提供网络和web连接。(Jetty是一个开源的软件，可以作为HTTP服务，javax.servlet的容器

2015-10-13 11:34:02 425

原创 html基础-标题

HTML文档中，标题是很重要的.标题(heading)是通过........等标签进行定义的.定义最大的标题定义最小的标题实例：a is headingb is headingc is headingd is headinge is headingf is heading浏览器会自动的在标题的前后添加

2015-10-10 13:56:45 299

原创 html基础-属性

属性可以为html元素提供附加信息.属性和属性值对大小写不敏感.但是推荐使用小写属性.应该始终为属性值加双引号!HTML标签可以拥有属性.属性提供了有关HTML元素的更多的信息.属性总是以名称/值对的形式出现，例如 name = "value".属性总是在HTML元素的开始标签中规定.实例：what is this输出结果为 : wh

2015-10-09 18:36:06 424

test_soy的博客