Hive
失散Lost
这个作者很懒,什么都没留下…
展开
-
hive内置函数
一.日期函数注:函数对应的代码块的第一句都是执行desc function 函数名;得到的内容1.from_unixtime(,):from_unixtime(unix_time, format) - returns unix_time in the specified format以指定的格式返回时间戳(转成日期)select from_unixtime(1568201852,'yy...原创 2019-09-11 21:59:47 · 595 阅读 · 0 评论 -
初次使用datax,发现datax不支持mysql8.x
一:下载安装wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gztar -zxvf datax.tar.gz -C /usr/local/二:官方文档https://github.com/alibaba/DataX/blob/master/dataxPluginDev.md三:简单案例(1)str...原创 2019-09-18 21:14:36 · 5292 阅读 · 7 评论 -
hive练习:行列转换相关
1数据:id userid subject score1 001 语文 902 001 数学 923 001 英语 804 002 语文 885 002 数学 906 002 英语 75.57 003 语文 708 003 数学 859 003 英语 9010 003 政治 82目标输出userid 语文 数学 英语 政治 total001 ...原创 2019-09-17 21:42:07 · 355 阅读 · 0 评论 -
hive练习:窗口函数相关
1.编写sql实现每个用户截止到每月为止的最大单月访问次数和累计到该月的总访问次数数据:A,2015-01,5 A,2015-01,15 B,2015-01,5 A,2015-01,8 B,2015-01,25 A,2015-01,5 A,2015-02,4 A,2015-02,6 B,2015-02,10 B,2015-02,5 A,2015-03,16 A,2015-...原创 2019-09-17 16:08:32 · 949 阅读 · 1 评论 -
Hive(二)分区,修改分区,严格模式
hive的分区表:分区意义:避免全表扫描,从而提高查询效率。默认使用全表扫描。使用什么分区?日期、地域、能将数据分散开来?分区技术:[PARTITIONED BY (COLUMNNAME COLUMNTYPE [COMMENT 'COLUMN COMMENT'],...)]1、hive的分区名区分大小写2、hive的分区字段是一个伪字段,但是可以用来进行操作3、一张表可以有一...原创 2019-09-09 23:38:55 · 3278 阅读 · 1 评论 -
Hive(一)
背景fackbook为解决海量数据分析,避免使用传统mr而开发出来类sql的操作大数据的工具。定义Apache Hive™数据仓库软件有助于使用SQL读取,编写和管理驻留在分布式存储中的大型数据集。可以将结构投影到已存储的数据中。提供了命令行工具和JDBC驱动程序以将用户连接到Hive。特点1、Tools to enable easy access to data via SQL, t...原创 2019-09-09 21:58:39 · 195 阅读 · 0 评论 -
centos7+mysql+hive安装配置
readme这是我在搭建完成hdfs后,搭建hive的步骤参考资料Centos7+MySQL8.0安装过程+设置无密码登录+Navicat远程连接Hadoop2.7+Mysql8.0下Hive2.3的安装Centos7下,hadoop2.8.5配合hive2.3.6 顺利兼容介绍一下我进行的顺序:一.安装mysql我使用的是yum源安装,设置了密码(密码必须有大小写字母,符号,...原创 2019-09-09 18:01:18 · 962 阅读 · 0 评论 -
Hive中自定义函数
版权声明:转载,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 原...转载 2019-09-12 08:45:21 · 370 阅读 · 0 评论 -
hive没有正常启动,主机提示拒绝连接
今天突然遇到hive不能正常启动的问题主机提示拒绝连接之前一直好好的啊…jps查看发现runjar运行了hdfs也启动了啊,等等…第二台的namenode没有开启,第一台的namenode提示standbywtf??解决:修改了第二台ifcfg-ens33的DNS1为自己的网关试试重新启动hdfs发现两台的namenode都开起了,打开50070,果然handoop01的状态为ac...原创 2019-09-12 00:14:37 · 1784 阅读 · 0 评论 -
hive lzo的安装
第一步1、在hadoop集群每个节点上安装lzo和lzop及其依赖(主要为解决安装lzop):yum -y install *lzo*2. 安装准备:[root@hadoop01 home]# yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool3.下载[root@hadoop01 home]# wg...原创 2019-09-19 13:12:52 · 295 阅读 · 0 评论