2015年07月_colie_li

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Hive数据导入、sqoop数据导入导出

在进行数据统计的时候经常会遇到把HIVE中的表数据进行导入导出处理，或者是将查询结果导入到另外一个地方，一般是通过Sqoop来进行Mysql和Hdfs进行数据交互。1、通过一个sql把算出来的结果导入到一张数据表里面，一般的做法是把数据导入到Hdfs中，然后通过和目标表建立分区，把数据load到目标表中;如： beeline -u "jdbc:hive2://test.com:

2015-07-30 11:19:00 1255

转载 Hive日期格式转换用法

1.日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, stringformat]) 返回值: string说明: 转化UNIX时间戳（从1970-01-0100:00:00 UTC到指定时间的秒数）到当前时区的时间格式举例：hive> select from_unixtime(1323308943,'

2015-07-30 10:38:55 1289

原创 Mysql或者Hive数据行变成列

对于mysql / hive 再进行统计的时候如果需要行变成列，可以使用函数CASE 字段a WHEN 值b THEN c [WHEN d THEN e]* [ELSE f] END 当字段a=值b时,返回c（如果是字段的话则代表该字段的值，也可以是一个固定值加单引号就可以）；当a=d时，返回e，否则返回f。如：数据表结构：(举例说明，id有重复的)

2015-07-29 20:17:29 1149

转载 hbase的export与import工具

hbase提供了导出表的方案，将指定的表导出到HDFS或本地，这样方便了备份或数据转移。最快的方式是通过mapreduce来完成这件事，需要在hbase的conf中添加mapred-site.xml：Java代码 mapred.job.tracker 192.168.0.1:9001 hadoop.tmp.dir /tmp/hadoop-${user.name}

2015-07-29 19:32:32 829

转载 hive与hbase整合过程

hive与hbase整合过程---coco# by coco# 2014-07-25 本文主要实现一下目标： 1. 在hive中创建的表能直接创建保存到hbase中。 2. hive中的表插入数据，插入的数据会同步更新到hbase对应的表中。 3. hbase对应的列簇值变更，也会在Hive中对应的表中变更。 4. 实现了多列，多列簇的转

2015-07-29 19:32:12 817

转载 hive与hbase整合过程

2015-07-29 17:13:59 643

转载 Linux里如何查找文件内容

Linux查找文件内容的常用命令方法。从文件内容查找匹配指定字符串的行：$ grep "被查找的字符串" 文件名例子：在当前目录里第一级文件夹中寻找包含指定字符串的.in文件grep "thermcontact" */*.in从文件内容查找与正则表达式匹配的行：$ grep –e “正则表达式” 文件名查找时不区分大小写：$ grep –i "被查找

2015-07-29 15:11:19 1219

转载 Hive的insert操作

insert 语法格式为：1. 基本的插入语法：insert overwrite table tablename [partition(partcol1=val1,partclo2=val2)] select_statement;insert into table tablename [partition(partcol1=val1,partclo2=val2)] select

2015-07-28 16:15:35 8752

转载一张图告诉你是需要 SQL 还是 Hadoop

译序很多朋友问时下如火如荼的 Hadoop 是否适合引进我们自己的项目，什么时候用 SQL，什么时候用 Hadoop，它们之间如何取舍？Aaron Cordova 用一张图来回答你这个问题，对于不同的数据场景，如何选取正确的数据存储处理工具进行了详细描述。Aaron Cordova 是美国大数据分析及架构专家，Koverse CTO 及联合创始人。原文正文Twitter 上的

2015-07-23 23:36:26 834

原创源码深度解析SpringMvc请求运行机制

本文依赖的是springmvc4.0.5.RELEASE，通过源码深度解析了解springMvc的请求运行机制。通过源码我们可以知道从客户端发送一个URL请求给springMvc开始，到返回数据给客户端期间是怎么运转的。1、用户请求处理过程：1、用户发送请求时会先从DispathcherServler的doService方法开始，在该方法中会将ApplicationContext、loca

2015-07-19 01:41:13 11002 3

转载 TCP协议中的三次握手和四次挥手(图解)

建立TCP需要三次握手才能建立，而断开连接则需要四次握手。整个过程如下图所示：先来看看如何建立连接的。首先Client端发送连接请求报文，Server段接受连接后回复ACK报文，并为这次连接分配资源。Client端接收到ACK报文后也向Server段发生ACK报文，并分配资源，这样TCP连接就建立了。那如何断开连接呢？简单的过程如下：【注意】中断连接端可以是Cl

2015-07-18 17:18:30 982

转载 String,StringBuffer与StringBuilder的区别??

String 字符串常量StringBuffer 字符串变量（线程安全）StringBuilder 字符串变量（非线程安全）简要的说， String 类型和 StringBuffer 类型的主要性能区别其实在于 String 是不可变的对象, 因此在每次对 String 类型进行改变的时候其实都等同于生成了一个新的 String 对象，然后将指针指向新的 String 对象，所以经常

2015-07-18 11:19:06 445

原创 azkaban2.5 详细配置以及使用方式

azkaban支持shell、java、mapreduce以及hive的工作流调度，在对这些不同类型任务调度之前需要配置所对应的插件；azkaban整体分为两部分azkaban executor server(负责任务调度的处理)、azkaban web server（提供web ui可视化操作）；目前采用的版本插件均为2.5.0 完整包下载1、编译 azk

2015-07-10 13:58:48 9053

转载 hive常用操作

添加分区ALTER TABLE table_name ADD PARTITION (partCol = 'value1') location 'loc1'; //示例ALTER TABLE table_name ADD IF NOT EXISTS PARTITION (dt='20130101') LOCATION '/user/hadoop/warehouse/table_name/

2015-07-08 20:31:08 573

原创常用排序--冒泡/快速排序

冒泡排序是两个相临位置的数据进行比较，按照逻辑从大到小还是从小到大进行调换，确定一个数字为一趟.public class Maopao { public static void main(String[] args) { int [] target={5,3,4,2,11,8,7}; int t =0; int length = target.length; for(in

2015-07-06 11:18:47 718

原创线程中的AtomicInteger和CountDownLatch

1、AtomicInteger 使用AtomicInteger，即使不用同步块synchronized，也可以保证Integer类原子性操作，因为i++;++i并不是线程安全的//获取当前的值public final int get()//取当前的值，并设置新的值 public final int getAndSet(int newValue)//获取

2015-07-04 23:37:50 1474

转载 java中volatile关键字的含义

在java线程并发处理中，有一个关键字volatile的使用目前存在很大的混淆，以为使用这个关键字，在进行多线程并发处理的时候就可以万事大吉。Java语言是支持多线程的，为了解决线程并发的问题，在语言内部引入了同步块和 volatile 关键字机制。 synchronized 同步块大家都比较熟悉，通过 synchronized 关键字来实现，所有加上synchronized

2015-07-04 22:45:59 382

原创 Java中的字符替换

public class ReplaceStr { public static void main(String[] args) { String str="orange.peach.banana.tomato"; System.out.println(str.replace(".", "|")); //按照对应项目匹配

2015-07-02 14:34:33 634