- 博客(12)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 走近大数据之Hive进阶（七、开发Hive的自定义函数）
Hive自定义函数实现细节： 1.自定义UDF需要继承org.apache.hadoop.hive.sql2.需要实现evaluate函数，evaluate函数支持重载3.把程序打包放到目标机器上去4.进入hive客户端，添加jar包：- hive>add jar /root/training/udfjar/udf_test.jar5.创建临时函数：- hiv...
2019-05-19 10:43:41
163
原创 走近大数据之Hive进阶（六、Hive的客户端操作）
通过jdbc的方式操作hive需要开启相关服务hive --service hiveserver //开启hive远程服务，以便jdbc远程连接一、Hive的JDBC客户端操作新建Java项目需要用到的jar包，这些jar包在hive的lib目录下，或者hadoop的lib目录下都能找到代码如下：二、Hive的Thrift客户端操作...
2019-05-16 23:27:44
204
原创 走近大数据之Hive进阶（五、Hive的子查询）
HIVE子查询 hive只支持from和where子查询select e.ename from emp e where e.deptno in (select e.deptno from dept d where d.dname='SALES' or d.dname='ACCOUNTING'); 注意的问题:1、语法中的括号2、合理的书写风格3、主查询和子查询可以不是同...
2019-05-11 18:17:42
1201
原创 走近大数据之Hive进阶（四、Hive的表连接）
HIVE表连接(转换成mapreduce作业,提交到hadoop上)一、Hive等值连接和不等值连接等值连接(连接条件中为等号):select e.empno, e.ename, e.sal, d.dname //选择要查询的字段from emp e, dept d //选择表，并取别名where e.deptno=d.deptno; //条件是表e的deptno等于表d的de...
2019-05-11 12:39:25
625
原创 走近大数据之Hive进阶（一、Hive数据的导入）
一、使用Load语句进行数据的导入-语法：LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE]INTO TABLE tablename [PARTITION (partcoll = vall, partcol2 = val2 ...)]*将student01.txt数据导入t2 （t2表没有指定分隔符）load data loca...
2019-05-11 11:48:01
375
转载 Hive中实现group_concat功能（不用udf）
hive>desct;OKidstringstrstringTimetaken:0.249secondshive>select*fromt;OK1A1B2C2DTimetaken:0.209seconds在H...
2019-05-09 16:40:35
3139
原创 查看Hive中表的所有信息（结构、字段、存放路径、属性）
目录1. 查询创建表信息（show create table）2. 查询表的字段信息（desc）3. 查看表的详细属性信息（desc formatted）4.查看表的详细信息（describe extended）5. 查看表的partitions信息（show partitions ）1. 查询创建表信息（show create table）里面有delemited...
2019-05-06 17:45:23
38667
转载 hdfs shell的基本操作
目录hdfs基本操作1、查询命令2、创建文件夹3、创建新的空文件4、增加文件5、查看文件内容6、复制文件7、删除文件或文件夹8、重命名文件9、将源目录中的所有文件排序合并到一个本地文件hdfs基本操作1、查询命令 hadoop dfs -ls / 查询/目录下的所有文件和文件夹 hadoop dfs -ls -R 以递归的方式查询/...
2019-05-06 17:31:00
821
原创 hive查找函数并查看函数使用方法
1、先进入到hive2、查看month相关的函数show functions like '*month*'输出如下：3、查看add_months函数的用法desc function add_months;3. 查看 add_months 函数的详细说明并举例desc function extended add_months;...
2019-05-05 17:28:23
1759
原创 走近大数据之Hive入门（六、Hive的数据模型）
目录一、Hive的数据存储二、内部表(Table)三、分区表(Partition)四、外部表(External Table)五、桶表(Bucket Table)六、视图(View)一、Hive的数据存储 基于HDFS(Hadoop的数据仓库) 没有专门的数据存储格式(默认的情况下采用'\t'(制表符)作为列与列之间的分隔符) 存储结构主要包括：...
2019-05-04 11:49:00
263
原创 走近大数据之Hive入门（五、Hive的数据类型）
目录一、基本数据类型二、复杂数据类型三、时间数据类型一、基本数据类型整数类型：tinyint/smallint/int/bigint浮点数类型：float/double布尔类型：boolean字符串类型：string（包含：string、varchar、char）>create table person (pid int, pname string, ma...
2019-05-04 10:57:11
258
Lucene创建索引步骤
2017-11-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人