Hadoop
文章平均质量分 91
小刘干饭第一名
这个作者很懒,什么都没留下…
展开
-
大数据之Hadoop2.0框架之YARN
文章目录1.Yarn概念2.Yarn核心思想2.1 MapReduce2.2 Yarn MR23.Yarn工作流程3.Yarn核心组件概念3.1 ResouceManager3.2 NodeManager3.3 ApplicationManager3.4 container4.容错能力 1.Yarn概念 定位:可以理解成分布式操作系统 作用:资源整合,让系统资源得到最大化利用,同一套硬件集群中可以运行多个任务(mr,spark,flink…) 2.Yarn核心思想 2.1 MapReduce 2.2 Ya原创 2021-01-20 17:30:50 · 669 阅读 · 2 评论 -
Hadoop数据仓库框架Hive:常用业务实践
文章目录1.建立测试库并切换到测试库2.建立orders和trains表2.1表字段分析查看表内容插入数据查询数据字段说明2.2 建立trains表建表插入数据并查询前10行清理第一行脏数据并查看效果3.常见业务操作3.1 每个用户有多少个订单3.2 每个用户一个订单平均有多少商品(1)一个订单有多少商品(2)每个用户对应的商品量(3)计算每个用户对应的平均商品量4.每个用户在一周中的购买订单的分布5.某个时间段查看每个用户购买了哪些商品6.想知道距离现在最近 或者最远的时间7.判断用户在那一天比较活跃8.原创 2020-12-25 23:21:08 · 659 阅读 · 0 评论 -
Hive基础之数据模型相关操作
文章目录一.内部表1.内部表建表2.内部表删除(1)仅删除表中数据,保留表结构(2)删除表和数据二.外部表1.外部表建表语句2.外部表在HDFS查询数据3.内部表与外部表的区别三.分区表1.分区表建表2.向分区表中导入数据3.查询分区表数据4.查看存储在HDFS上的数据5.删除分区四.分桶表1.建表2.向分桶表中导入数据3.在HDFS查看结果五.向表中导入数据1.从本地导入2.从HDSF导入六.Hive建表方式总结1.直接建表法(内外部表,分区/桶表)2.抽取(as)建表3.like建表 一.内部表 1.内原创 2020-12-21 18:20:01 · 819 阅读 · 0 评论 -
Hadoop 之Hive安装
1.下载软件包 [root@master src]# wget http://mirror.bit.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-bin.tar.gz --2020-12-13 17:34:29-- http://mirror.bit.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-bin.tar.gz 正在解析主机 mirror.bit.edu.cn (mirror.bit.edu.cn).原创 2020-12-14 18:13:47 · 654 阅读 · 0 评论 -
Hadoop 入门之HDFS Shell命令基础
1.查看所有目录及文件 -ls [root@master sbin]# hadoop fs -ls / Found 2 items -rw-r--r-- 2 root supergroup 1005 2020-12-07 14:57 /core-site.xml drwxr-xr-x - root supergroup 0 2020-12-07 18:04 /dzw 2.在hdfs下创建目录 -mkdir [root@master sbin]# hadoop fs -原创 2020-12-08 11:34:43 · 149 阅读 · 0 评论