![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
code_night
这个作者很懒,什么都没留下…
展开
-
使用hdfs API 读写hadoop文件的坑
使用hdfs API 读写hadoop文件的坑环境: 自己搭建的阿里云三台云服务器,整个环境都配置好遇到的问题: 在写hdfs api的时候,能创建目录,但是就是无法上传和下载问题,具体的报错信息在如下:log4j:WARN No appenders could be found for logger (org.apache.hadoop.util.Shell).log4j:WARN Please initialize the log4j system properly.log4j:WARN原创 2021-05-22 20:39:13 · 286 阅读 · 0 评论 -
hive全局排序和分桶
hive中如何实现大数据情况下的全局排序参照hbase的设计 范围分区+局部有序 (distribute by sort by +指定范围)问题:遇到这样的面试题,有100t的数据,我们需要对其进行全局排序,怎么样做效率最高?一般来说我们在实际中很少会遇到全局排序的状况会很少,所以我们一般都会采取子查询之后的数据进行排序,或者选取topn来排序.如果非要对全局进行排序,我们需要使用udf转化成局部排序,这样话,就可以使用多个reduce来进行局部排序达到整体的有序.但是这里要注意采样数据原创 2021-05-16 20:13:01 · 238 阅读 · 0 评论 -
Scala面向对象要点总结
Scala为什么是完全面向对象要点总结一 Scala中的类1.1 Scala中的class和Object在编译时的区别一 Scala中的类1.1 Scala中的class和Object在编译时的区别①object在编译时会产生一个伴生对象,用来模拟java中的静态类型,我们可以直接通过类名去访问属性和方法。如:User.class, Scala05_Class$.classclass 在编译时只会产生当前类的class文件如:Scala05_Class.class②...原创 2020-10-21 19:25:58 · 217 阅读 · 1 评论 -
Hadoop组成结构(新版3.x)
Hadoop组成结构(新版3.x)一. HADOOP组成描述(1)Hadoop的四个特性(2)Hadoop的组成二.HDFS概述(1)HDFS概念(2) HDFS的特点(3)HDFS的组成结构和作用三. Yarn的组成(1)ResourceManager(RM)(2)NodeManager(3)ApplicationMaster(4)container一. HADOOP组成描述(1)Hadoop的四个特性高可靠(底层维护了多个副本,即使丢失某一个副本也没事)高可扩展(在集群中分配任务,可以随意扩展原创 2020-09-11 20:24:49 · 933 阅读 · 0 评论