2018年01月_qq_26369213

原创 hive笔记-使用JDBC操作hive

参考网址：https://cwiki.apache.org/confluence/display/Hive/HiveClient#HiveClient-JDBC其实根据官网的wiki即可实现，连代码都不用自己敲，但是有几个地方需要注意的。package com.hihi.hive;import java.sql.SQLException;import java.sql.Connection;...

2018-01-16 21:29:08 3622 1

原创 hive笔记-刷新分区

1、选择一张分区表（本次取的是内部表），把分区数据取到本地。[root@hadoop001 hiveData]# hadoop fs -get /user/hive/warehouse/emp_dept_partition/deptno=30/000000_0 emp_dept_partition-deptno30[root@hadoop001 hiveData]# lsdept emp_d...

2018-01-14 16:46:20 12365

原创 hive笔记-通过修改源码注册永久UDF

准备：先下载对应版本的源码，并源码编译一次。1、找出对应的java文件，并对其修改[root@hadoop001 hive-1.1.0-cdh5.7.0]# find . -name FunctionRegistry.java./ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java2、修改FunctionRegistry...

2018-01-12 23:28:28 890

原创 hive笔记-自定义UDF

1、定义自己的UDF函数package com.hihi.hive;import org.apache.hadoop.hive.ql.exec.UDF;import org.apache.hadoop.io.Text;public class HelloWord extends UDF { public Text evaluate(final Text s) { ...

2018-01-11 21:37:26 2066

原创 hive笔记-export/import

该EXPORT命令将表或分区的数据连同元数据一起导出到指定的输出位置。然后可以将此输出位置移至不同的Hadoop或Hive实例，并使用该IMPORT命令从那里导入。导出分区表时，原始数据可能位于不同的HDFS位置。还支持导出/导入分区子集的功能。导出的元数据存储在目标目录中，数据文件存储在子目录中。EXPORT和IMPORT命令中使用的源和目标metastore DBMS的独立工作; 例如，它们可...

2018-01-08 21:13:04 1148

原创 hive笔记-静态分区和动态分区

1、静态分区CREATE TABLE emp_dept_partition(empno int,ename string,job string,mgr int,hiredate string,sal double,comm double) PARTITIONED BY (deptno int)ROW FORMAT DELIMITED FIELDS TERMINATED BY "\t" ;备注：静态...

2018-01-07 22:21:34 2914

原创 hive笔记-如何创建一张表并将数据导入

参考资料：https://cwiki.apache.org/confluence/display/Hive/Home#Home-UserDocumentationhive版本：hive1.1.0主要通过参考官网wiki，顺便做做笔记。具体的参数功能建议直接参考官网。创建一个数据库的语法("[]"为可选参数)：CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] data...

2018-01-07 19:20:37 2213

原创客户端向yarn提交MR作业流程简述

这里简述一下客户端向yarn提交MR作业是，yarn是如何进行调度，同时会有哪些进程(windos下为线程)协调工作。1、yarn简述yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式操作系统平台，而mapreduce等运算程序则相当于运行与操作系统之上的应用程序。yarn在hadoop2.x系列中被加入的资源管理器，取代hadoop1.x中的jobtracker，将资...

2018-01-04 22:45:46 4619

原创通过源码了解hdfs客户端写文件流程

之前梳理了一下hdfs客户端的简单流程，但为了跟深刻的了解，所以尝试通过源码了解一次。先准备demo代码，将断点打在fs.copyFromLocalFile()。public class HdfsClientDemo { FileSystem fs = null; Configuration conf = null; @Before public void init() throws Ex...

2018-01-01 19:06:19 761

然然然星人的博客