Hive数据导入、sqoop数据导入导出

在进行数据统计的时候经常会遇到把HIVE中的表数据进行导入导出处理,或者是将查询结果导入到另外一个地方,一般是通过Sqoop来进行Mysql和Hdfs进行数据交互。 1、通过一个sql把算出来的结果导入到一张数据表里面,一般的做法是把数据导入到Hdfs中,然后通过和目标表建立分区,把数据lo...

2015-07-30 11:19:00

阅读数:838

评论数:0

Hive日期格式转换用法

1.日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, stringformat])  返回值: string 说明: 转化UNIX时间戳(从1970-01-0100:00:00 UTC到指定时间的秒数)到当前时区...

2015-07-30 10:38:55

阅读数:851

评论数:0

Mysql或者Hive数据行变成列

对于mysql /  hive 再进行统计的时候如果需要行变成列,可以使用函数 CASE 字段a WHEN 值b THEN c [WHEN d THEN e]* [ELSE f] END  当字段a=值b时,返回c(如果是字段的话则代表该字段的值,也可以是一个固定值 加单引号就可以);当...

2015-07-29 20:17:29

阅读数:945

评论数:0

hbase的export与import工具

hbase提供了导出表的方案,将指定的表导出到HDFS或本地,这样方便了备份或数据转移。    最快的方式是通过mapreduce来完成这件事,需要在hbase的conf中添加mapred-site.xml: Java代码   mapred.job.tracker  192.168.0...

2015-07-29 19:32:32

阅读数:469

评论数:0

hive与hbase整合过程

hive与hbase整合过程---coco # by coco # 2014-07-25  本文主要实现一下目标:    1. 在hive中创建的表能直接创建保存到hbase中。    2. hive中的表插入数据,插入的数据会同步更新到hbase对应的表中。    3...

2015-07-29 19:32:12

阅读数:649

评论数:0

hive与hbase整合过程

hive与hbase整合过程---coco # by coco # 2014-07-25  本文主要实现一下目标:    1. 在hive中创建的表能直接创建保存到hbase中。    2. hive中的表插入数据,插入的数据会同步更新到hbase对应的表中。    3...

2015-07-29 17:13:59

阅读数:347

评论数:0

Linux里如何查找文件内容

Linux查找文件内容的常用命令方法。   从文件内容查找匹配指定字符串的行: $ grep "被查找的字符串" 文件名 例子:在当前目录里第一级文件夹中寻找包含指定字符串的.in文件 grep "thermcontact" */*.in 从文件内容查找...

2015-07-29 15:11:19

阅读数:392

评论数:0

Hive的insert操作

insert 语法格式为: 1. 基本的插入语法: insert overwrite table tablename [partition(partcol1=val1,partclo2=val2)] select_statement; insert into table tablename [...

2015-07-28 16:15:35

阅读数:5945

评论数:0

一张图告诉你是需要 SQL 还是 Hadoop

译序 很多朋友问时下如火如荼的 Hadoop 是否适合引进我们自己的项目,什么时候用 SQL,什么时候用 Hadoop,它们之间如何取舍?Aaron Cordova 用一张图来回答你这个问题,对于不同的数据场景,如何选取正确的数据存储处理工具进行了详细描述。Aaron Cordova 是美国大数...

2015-07-23 23:36:26

阅读数:719

评论数:0

源码深度解析SpringMvc请求运行机制

本文依赖的是springmvc4.0.5.RELEASE,通过源码深度解析了解springMvc的请求运行机制。通过源码我们可以知道从客户端发送一个URL请求给springMvc开始,到返回数据给客户端期间是怎么运转的。 1、用户请求处理过程: 1、用户发送请求时会先从DispathcherSer...

2015-07-19 01:41:13

阅读数:10093

评论数:3

TCP协议中的三次握手和四次挥手(图解)

建立TCP需要三次握手才能建立,而断开连接则需要四次握手。整个过程如下图所示: 先来看看如何建立连接的。 首先Client端发送连接请求报文,Server段接受连接后回复ACK报文,并为这次连接分配资源。Client端接收到ACK报文后也向Server段发生ACK报文,并分配资源,...

2015-07-18 17:18:30

阅读数:734

评论数:0

String,StringBuffer与StringBuilder的区别??

String 字符串常量 StringBuffer 字符串变量(线程安全) StringBuilder 字符串变量(非线程安全)  简要的说, String 类型和 StringBuffer 类型的主要性能区别其实在于 String 是不可变的对象, 因此在每次对 String 类型进行改变...

2015-07-18 11:19:06

阅读数:366

评论数:0

azkaban2.5 详细配置以及使用方式

azkaban支持shell、java、mapreduce以及hive的工作流调度,在对这些不同类型任务调度之前需要配置所对应的插件;azkaban整体分为两部分azkaban executor server(负责任务调度的处理)、azkaban web server(提供web ui可视化操作)...

2015-07-10 13:58:48

阅读数:6929

评论数:0

hive常用操作

添加分区 ALTER TABLE table_name ADD PARTITION (partCol = 'value1') location 'loc1'; //示例 ALTER TABLE table_name ADD IF NOT EXISTS PARTITION (dt='2013010...

2015-07-08 20:31:08

阅读数:450

评论数:0

常用排序--冒泡/快速排序

冒泡排序是两个相临位置的数据进行比较,按照逻辑从大到小还是从小到大进行调换,确定一个数字为一趟. public class Maopao { public static void main(String[] args) { int [] target={5,3,4,2,11,8,7}; ...

2015-07-06 11:18:47

阅读数:547

评论数:0

线程中的AtomicInteger和CountDownLatch

1、AtomicInteger   使用AtomicInteger,即使不用同步块synchronized,也可以保证Integer类原子性操作,因为i++;++i并不是线程安全的 //获取当前的值 public final int get() //取当前的值,并设置新的值 ...

2015-07-04 23:37:50

阅读数:827

评论数:0

java中volatile关键字的含义

在java线程并发处理中,有一个关键字volatile的使用目前存在很大的混淆,以为使用这个关键字,在进行多线程并发处理的时候就可以万事大吉。 Java语言是支持多线程的,为了解决线程并发的问题,在语言内部引入了 同步块 和 volatile 关键字机制。   synchronized  ...

2015-07-04 22:45:59

阅读数:268

评论数:0

Java中的字符替换

public class ReplaceStr { public static void main(String[] args) { String str="orange.peach.banana.tomato"; Sy...

2015-07-02 14:34:33

阅读数:423

评论数:0

乱码解决方式

乱码解决方式:  mqMessage.toString().getBytes("UTF-8") new String(test,"UTF-8");

2015-07-01 15:37:35

阅读数:405

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭