m0_55834564的博客

目录1.请谈一下hive的特点?2.Hive底层与数据库存交互原理?3.Hive内部表和外部表的区别?4.Hive导入数据的五种方式是什么?举例说明5.hive与传统关系型数据库的区别6.Hive中创建表有哪几种方式，其区别是什么？7.Hive的窗口函数有哪些8.row_number()，rank()和dense_rank()的区别9.Hive如何实现分区10.Hive的两张表关联，使用MapReduce怎么实现？11.请说明hive中 Sort By，Or.

目录1.需求2.创建数据3.创建表并导入数据4.创建一个类5.打包jar并导入hive中6.将jar包添加到hive的classpath7.创建临时函数与开发好的java class关联8.即可在hql中使用自定义的函数strip1.需求自定义函数，通过用户生日，计算每个人对应的星座2.创建数据[root@hadoop l0415]# vim littlebigdata.txt edward capriolo,edward@media6degre.

一、系统内置函数1．查看系统自带的函数hive> show functions;2．显示自带的函数的用法hive> desc function upper;3．详细显示自带的函数的用法hive> desc function extended upper;二、自定义函数1）Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。2）当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户

一、介绍窗口函数，也叫OLAP函数（Online Anallytical Processing,联机分析处理），可以对数据库数据进行实时分析处理。 窗口函数由开窗函数和分析函数构成，窗口函数就是既要显示聚集前的数据,又要显示聚集后的数据,简单讲，就是你查询的结果上，多出一列值（可以是聚合值或者排序号)，所以分析函数可以分为两类：聚合分析函数和排序分析函数 基本语法：<窗口分析函数> over (partition by <用于分组的字段> order by<用于排序

1.idea测试连接hdfspackage com.lenovo;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import java.io.IOException;public class hdfs { public static void main(String[] args) throws IOException { Configurati

目录1.列出mysql中有哪些数据库2.列出MySQL中的某个数据库有哪些数据表:3.从MySQL数据库服务器中的emp表导入HDFS:4.RDBMS到HIVE5.导入表数据子集6.Sqoop数据导出1.列出mysql中有哪些数据库sqoop list-databases \--connect jdbc:mysql://localhost:3306/emp \--username root \--password 123456 2.列出MySQL中的某..

目录一、sqoop的介绍二、sqoop原理三、安装1.下载并解压2.修改配置文件3.测试一、sqoop的介绍Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中.Sqoop项目开始于2009年，最早是作为Hadoop的一

一、行转列1.函数说明 concat CONCAT(string A/col, string B/col…)：返回输入字符串连接后的结果，支持任意个输入字符串; concat_ws CONCAT_WS(separator, str1, str2,...)：它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接的字

1.查看库show databases #查看数据库

目录1.什么是分区表2.创建数据3.创建静态表4.导入数据5.创建动态分区表结构6.开启动态分区7.把刚才静态分区的数据导入到静态分区，用ord_date自动分区1.什么是分区表分区表就是将一个大表分成若干个小表。分区表分的是文件夹2.创建数据[root@hadoop dool]# vim data.txt #创建文本for i in $(seq 10) #输入这个脚本，会自动生成数据do echo -e "$(date -d "$RANDOM

1.什么是分桶表？创建分桶表: 把一个大文件拆分小文件来处理分桶表是对列值取哈希值的方式，将不同数据放到不同文件中存储。对于 hive 中每一个表、分区都可以进一步进行分桶。2.创建数据[root@hadoop dool]# vim data.txt #创建文本#导入数据1,zhang,122,lisi,343,wange,234,zhouyu,155,guoji,566,xiafen,487,yanggu,788,liuwu,419,zhuto,6610,madan

1.数据库的命名不能用数字开头0: jdbc:hive2://192.168.171.151:10000> create database 0328;#不区分大小写字母Error: Error while compiling statement: FAILED: ParseException line 1:16 cannot recognize input near '0328' '<EOF>' '<EOF>' in create database statement

hiveserver2启动不了端口号被占用，lsof -i:10000查看端口号占用情况，kill -9 10000杀掉端口号重新启动hiveserver2;问题：[root@hadoop ~]# hiveserver2which: no hbase in (/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/usr/soft/hadoop/bin:/usr/soft/hadoop/sbin:/usr/soft/hive