自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 IIS访问需要用户名密码另一种情况(端口号)与解决方法

原文地址: http://fbjia.com/archives/1393.html 1.iis服务器设置问题: 邮件网站属性,有一个tab是目录安全性-身份验证的高级,如果勾选了window身份验证就会出现访问网站需要用户名密码的。 2.网站存放目录的权限。 右键网站目录-安全,看u...

2013-11-25 13:31:56

阅读数 74

评论数 0

原创 Calendar 3月31减少1个月是2月28

Calendar calendar = Calendar.getInstance(); calendar.set(2013,2,31); calendar.add(Calendar.MONTH,-1); out.print(TimeUtil.formatDate(...

2013-04-28 14:41:04

阅读数 132

评论数 0

原创 数字格式化不四舍五入和各种格式化

最大的的发现就是 如何不四舍五入的,保留原来的小位数,如2,323,263.5233   上代码: DecimalFormat format = new DecimalFormat("##.###"); DecimalFormat format1 ...

2013-04-26 11:09:33

阅读数 136

评论数 0

Hbase shell 常用命令

下面我们看看HBase Shell的一些基本操作命令,我列出了几个常用的HBase Shell命令,如下: 名称 命令表达式 创建表 create '表名称', '列名称1','列名称2',...

2013-04-05 23:34:00

阅读数 29

评论数 0

hbase安装配置(整合到hadoop)

hbase安装配置(整合到hadoop)Huangguisu 1.快速单机安装: 在单机安装Hbase的方法。会引导你通过shell创建一个表,插入一行,然后删除它,最后停止Hbase。只要10分钟就可以完成以下的操作。 1.1下载解压最新版本 选择一个Apache 下载镜像:http...

2013-04-05 23:19:00

阅读数 38

评论数 0

HBase shell 简单使用

HBase提供了丰富的访问接口。   • HBase Shell   • Java clietn API   • Jython、Groovy DSL、Scala   • REST   • Thrift(Ruby、Python、Perl、C++…)   • MapReduce   • ...

2013-04-05 23:07:00

阅读数 37

评论数 0

替换SQL字段中的换行符,回车符

替换SQL字段中的换行符,回车符: 在富文本内容中通常会出现回车、换行内容。在sql数据库中这些回车、换行符,输出html后,表现为空格。 这里是在数据导出、导入中发现的,通常把回车、换行符找出来,用<br>替换。 这里使用了,sql 函数。replace...

2013-03-29 13:02:00

阅读数 193

评论数 0

哈佛商业评论:中层经理的末路

译者注:最近老衲在思考互联网时代对于现有组织行为的影响,经过一系列推理分析,惊讶地得到一个结论,那就是互联网时代不再需要那么多每天坐在独立办公室里,拿着高薪却不创造直接价值的管理者。他们很少出现在业务一线,却凭借着上层的信任、对流程的熟悉、组织层级所需的上传下达,以及熟练掌握办公室政治...

2013-03-26 20:50:00

阅读数 29

评论数 0

gerrit linux下安装

下载软件: git-1.8.1.5.tar.gz http://code.google.com/p/git-core/downloads/detail?name=git-1.8.1.5.tar.gz&can=2&q= httpd-2.0.64.tar.gz ...

2013-03-12 16:09:00

阅读数 32

评论数 0

KETTLE Configuring for Cloudera

To communicate with Cloudera, you must change which version of Hadoop to use when communicating with a Hadoop cluster. Within the file plug...

2013-03-04 15:10:00

阅读数 33

评论数 0

java调用C#动态库

前言 借助于CLE,可以很容易在java中使用C#的动态库,这里通过一个简单的例子说明。使用CLE,需要预先安装http://www.srplab.com/Data/starcore_win32.2.0.3.exe. 下面是一段C#的代码,非常简单: using System; usin...

2013-03-03 18:30:00

阅读数 42

评论数 0

JAVA 对象序列化

对象序列化:就是将一个对象转换为二进制的数据流,如果一个类的对象要想实现对象序列化,则对象所在的类必须实现Serializable接口。在此接口中没有任何的方法,此接口只是作为 一个标识,表示本类的对象具备了序列化的能力而已。 如果要想完成对象的序列化,则还要依靠ObjectOutputStre...

2013-02-10 00:18:00

阅读数 17

评论数 0

JAVA 字符编码

在程序中如果字符编码没有处理完整,则肯定会造成乱码,常见的编码有以下几种: UTF:包含了以下的编码 ISO 8859-1:是包含全部的英文编码 GBK/GBK2312:表示中文,GBK 表示简体中文和繁体中文、GB2312只表示简体中文 如果程序中操作的编码与本地的环境编码不统一,那么操...

2013-02-09 22:51:00

阅读数 19

评论数 0

JAVA Scanner 类

Scanner 是一个新的操作类,是在java.util 包中提供的一个操作类,使用此类可以方便的完成输入流的输入操作: package org.scannerdemo; import java.util.Scanner; public class ScannerDemo01 { ...

2013-02-09 22:39:00

阅读数 18

评论数 0

Hadoop Hive与Hbase整合

用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面 的 hql查询.hive也即 做数据仓库 1. 基于Hadoop+Hive架构对海量数据进行查询:http://blog.csdn.net/kun...

2013-02-05 21:00:00

阅读数 17

评论数 0

HADOOP JAVA接口

从Hadoop URL 中读取数据 package org.urlcat; import java.io.InputStream; import java.net.URL; import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;...

2013-02-03 14:31:00

阅读数 31

评论数 0

HIVE 通过 MYSQL 保存元数据

1.安装hadoop(1.0以上) 2.安装hive安装(0.9.0以上版本) 4.当然你还得安装jdk 4. mysql,同时准备个可访问的账号,这里采用root,最好配上远程访问权限。 修改hive下的conf文件夹中将hive-default.xml.template 复制并改名成h...

2013-02-03 13:14:00

阅读数 19

评论数 0

Linux下chkconfig命令详解

chkconfig命令主要用来更新(启动或停止)和查询系统服务的运行级信息。谨记chkconfig不是立即自动禁止或激活一个服务,它只是简单的改变了符号连接。 使用语法: chkconfig [--add][--del][--list][系统服务] 或 chkconfig [--leve...

2013-02-03 00:07:00

阅读数 16

评论数 0

HIVE JDBC

一、Eclipse 导入 JAR包 HIVE/LIB/* HADOOP/LIB/hadoop-core-1.1.1.jar 二、启运HiveServer hive --service hiveserver 10000 & 三、连接JAVA 测试代码...

2013-01-31 00:03:00

阅读数 23

评论数 0

JAVA JDBC

JDBC, Java Database Connecive, Java 数据库连接,是一组专门负责连接并操作数据库的标准,在整个JDBC 中实际上大量的提供的是接口。针对于各个不同的数据库生产商 ,只要想使用JAVA 进行数据库的开发,则对这些标准有所支持。 JDBC 在使用中常见的有以下三类:...

2013-01-26 18:23:00

阅读数 62

评论数 0

HIVE Row_Sequence 实现列自增长

package org.rowsequence; import org.apache.hadoop.hive.ql.exec.Description; import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoop.hive...

2013-01-26 00:53:00

阅读数 87

评论数 0

hive中使用自定义函数(UDF)实现分析函数row_number的功能

之前部门实现row_number是使用的transform,我觉得用UDF实现后,平时的使用会更方便,免去了transform相对繁琐的语法。 <wbr><wbr><wbr>用到的测试表为:</wb...

2013-01-26 00:30:00

阅读数 11

评论数 0

HIVE 通过正则匹配 字段分列

通过 SerDe(serialize/deserialize) ,在数据序列化和反序列化时格式化数据。 这种方式稍微复杂一点,对数据的控制能力也要弱一些,它使用正则表达式来匹配和处理数据,性能也会有所影响。但它的优点是可以自定义表属性信息 SERDEPROPERTIES ,在 SerDe 中通过...

2013-01-25 17:36:00

阅读数 179

评论数 0

HIVE 自定义函数 UDF

Hive进行UDF开发十分简单,此处所说UDF为Temporary的function,所以需要hive版本在0.4.0以上才可以。 一、背景:Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。Hive是一个很开放的系统,很多内容都支持用户定制,包括: a)文件格式...

2013-01-24 21:54:00

阅读数 11

评论数 0

HIVE 命令行

执行一个查询 $HIVE_HOME/bin/hive -e 'select a.col from tab1 a' 之后过程中,会在终端上显示mapreduce的进度,执行完毕后,最后把查询结果输出到终端上,接着hive进程退出,不会进入交互模式。 使用静音模式...

2013-01-23 22:11:00

阅读数 16

评论数 0

HIVE 动态分区与静态分区

HIVE分区,实际上是通过一个路径来标识的,而不是在物理数据中。比如每天的数据,可能分区是pt=20121023这样,那么路径中它就会变成:/hdfs/path/pt=20121023/data_files。通过路径来标识的好处是,如果我们需要取特定分区的数据,只需要把这个路径下的数据取出来就可以...

2013-01-23 21:55:00

阅读数 9

评论数 0

HIVE 文件存储格式

hive在建表是,可以通过‘STORED AS FILE_FORMAT’ 指定存储文件格式 例如: [plain] view plaincopy >CREATEEXTERNALTABLEMYTEST(numINT,nameSTRING) >ROW...

2013-01-23 21:38:00

阅读数 11

评论数 0

HIVE RCFile高效存储结构(zz)

本文介绍了Facebook公司数据分析系统中的RCFile存储结构,该结构集行存储和列存储的优点于一身,在 MapReduce环境下的大规模数据分析中扮演重要角色。 Facebook曾在2010 ICDE(IEEE International Conference on Data Engin...

2013-01-23 15:02:00

阅读数 8

评论数 0

HIVE 处理日志,自定义inputformat 完整版

网上找了很多材料都是写了部份代码的,今天在峰哥的帮助下实现了此功能。 为何要设置此功能是由于 hive fields terminated by '||||' 不支持 字符串导致 将你的inputformat类打成jar包,如MyInputFormat.jar 将...

2013-01-23 13:20:00

阅读数 30

评论数 0

HIVE Schema Design 模式设计

Table-by-Day hive> CREATE TABLE supply_2011_01_02 (id int, part string, quantity int); hive> CREATE TABLE supply_2011_01_03 (id in...

2013-01-22 21:15:00

阅读数 27

评论数 0

HIVE Indexex 索引

Creating an Index -- 创建一个索引 CREATE TABLE employees ( name STRING, salary FLOAT, subordinates ARRAY<STRING>, d...

2013-01-22 21:10:00

阅读数 31

评论数 0

HIVE VIEW 视图

Views to Reduce Query Complexity -- 视图减少复杂查询 FROM ( SELECT * FROM people JOIN cart ON (cart.people_id=people.id) WHERE firstname='john...

2013-01-22 20:56:00

阅读数 65

评论数 0

HIVE Queryes 查询

SELECT … FROM Clauses hive> SELECT name, salary FROM employees; 表别名 hive> SELECT name, salary FROM employees; hive> ...

2013-01-21 22:00:00

阅读数 38

评论数 0

HIVE 数据操作 DML

Loading Data into Managed Tables -- 加载数据到表 LOAD DATA LOCAL INPATH '${env:HOME}/california-employees' OVERWRITE INTO TABLE employees PART...

2013-01-20 22:35:00

阅读数 22

评论数 0

HIVE 数据定义 DDL

Databases in Hive -- 在HIVE 中使用数据库 Hive offers no support for row-level inserts, updates, and deletes. Hive doesn’t support transactions. Hive add...

2013-01-20 19:40:00

阅读数 357

评论数 0

Hive 数据类型 文件格式

Primitive Data Types --Hive 支持数据类型 Hive supports several sizes of integer and floating-point types, a Boolean type, and character strings of arbi...

2013-01-19 21:37:00

阅读数 30

评论数 0

Hive CLI

Variables and Properties -- 设置 hive 变量 $ hive --define foo=bar hive> set foo; foo=bar; hive> set hivevar:foo; hivevar:foo=bar; hiv...

2013-01-19 20:34:00

阅读数 13

评论数 0

HIVE 查询显示列名 及 行转列显示

hive默认查询不会显示列名, 当一个表字段比较多的时候,往往看不出值与列之间的对应关系,对日常查错及定位问题带来不便,应同事要求,看了HIVE CLI源码,做了下些许调整, 加入列头打印及行转列显示功能 未开启行转列功能之前: hive> > > ...

2013-01-17 22:45:00

阅读数 10

评论数 0

HIVE 随谈(hive操作create,alter等)

Hive 的官方文档中对查询语言有了很详细的描述,请参考:http://wiki.apache.org/hadoop/Hive/LanguageManual ,本文的内容大部分翻译自该页面,期间加入了一些在使用过程中需要注意到的事项。 Create Table CREATE [EXTER...

2013-01-17 22:43:00

阅读数 7

评论数 0

HIVE 基本语法

DDL Operations 创建表 hive> CREATE TABLE pokes (foo INT, bar STRING); 创建表并创建索引字段ds hive> CREATE TABLE invites (foo INT, bar STRING...

2013-01-17 22:39:00

阅读数 57

评论数 0

提示
确定要删除当前文章?
取消 删除