大数据框架
参丛iis
这个作者很懒,什么都没留下…
展开
-
oozie安装以及定时调度总结
一、前提 安装jdk,hadoop集群,启动start-dfs.sh,start-yarn.sh 所需安装包oozie-4.0.0-cdh5.3.6.tar,ext-2.2,mysql-connector-java-5.1.27-bin.jar,请自行下载 解压oozie-4.0.0-cdh5.3.6.tar.gz安装包到个人需要的目录(所有目录以及hostname请与自己机器名匹配) 二...原创 2019-04-28 18:10:24 · 522 阅读 · 0 评论 -
hive总结
一、前提 在hadoop集群中一台机器安装hive,熟悉常用指令。 二、了解hive 1.hive是什么? hive是facebook开源的应用于处理分析大量数据的数据仓库,hive封装了很多mapreduce的mr模型,客户端可以通过hql经过hive的匹配到mr模型,mr运算的结果返回给客户端。 hive的数据存放在hdfs,计算是mr,运行在yarn上,hive是数据结构的一种表映...原创 2019-05-13 10:57:55 · 157 阅读 · 0 评论 -
Hive常用查询指令
一、查询表结构 desc table_name; 二、查询分区 show partitions table_name; 三、杀死某个任务 hadoop job kill job_id 四、查看创建表语句 show create table table_name;原创 2019-07-29 15:41:24 · 284 阅读 · 0 评论