2014年04月_呼啦圈521

06月 04月 03月 02月 01月

原创 linux后台运行jar程序的方法

Linux 后台运行jar程序方法一：nohup java -jar xx.jar >/dev/null &输出文件为输出到空设备里。方法二：编写shell后台开启。代码参考：#! /bin/sh#启动方法 start(){ now=`date "+%Y%m%d%H%M%S"` exec java -Xms128m -Xmx2048m -jar /var/w

2014-04-29 17:25:16 1120

原创 mapreduce-java 案例

package cn.com.cennavi.test;import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWrit

2014-04-18 15:59:19 637

原创 impala-java 案例

package cn.com.cennavi.test;import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;public class ImpalaUtil { /

2014-04-18 15:25:31 2132 1

原创 hive常用语句

Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行，通过自己的SQL 去查询分析需要的内容，这套SQL 简称Hive SQL，使不熟悉mapreduce 的用户很方便的利用SQL 语言

2014-04-18 13:57:53 2826

原创 hive-java 例子

import java.sql.Connection;import java.sql.DriverManager;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;public class HiveUtil {private static String d

2014-04-18 13:30:47 1366

转载 impala入门基础教程

问题背景：初步了解Impala的应用重点测试Impala的查询速度是否真的如传说中的比Hive快3~30倍写作目的：了解Impala的安装过程初步了解Impala的使用比较Impala与Hive的性能测试适合阅读对象：想了解Impala安装的读者想了解Impala与Hive性能比较的读者不涉及的内容：如何安装H

2014-04-18 10:39:00 3681

原创 hive和impala比较（转载）

1. Impala架构 Impala是Cloudera在受到Google的Dremel启发下开发的实时交互SQL大数据查询工具，Impala没有再使用缓慢的Hive+MapReduce批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由Query Planner、Query Coordinator和Query Exec Engine三部分组成），可以直接从

2014-04-18 10:25:03 2730 1

原创开源日志系统比较：scribe、chukwa、kafka、flume（转载）

1. 背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1）构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2）支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；（3）具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩

2014-04-17 18:06:09 616

原创 ssh scp两台linux服务器之间传递文件或文件夹

如果ssh的端口是22，那么可以不用指定-p或-P选项。1.sshLinux使用ssh命令登陆Linux服务器：ssh -l root -p 188 192.168.1.2ssh -l 用户名 -p 端口号主机名或IP输入密码即可2.scpscp命令复制文件或目录命令：复制文件：（1）将本地文件拷贝到远程 scp -P 22 文件名用

2014-04-11 16:58:04 2878

原创 Jedis操作redis（转）

package org.jzkangta.jedis;import java.util.ArrayList;import java.util.HashMap;import java.util.Iterator;package org.jzkangta.jedis;import java.util.ArrayList;import java.util.HashMap

2014-04-05 09:58:58 597

转载 hadoop jar命令解读

假如执行下面命令：cd /home/hadoop/ && hadoop jar ./test/wordcount/wordcount.jar org.codetree.hadoop.v1.WordCount /test/chqz/input /test/chqz/output那么这个命令内部到底做了些什么呢？1、首先，在 ${HADOOP_HOME}/bin/hadoop 脚本中

2014-04-02 09:23:32 5451