![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据学习笔记
文章平均质量分 71
huanMaLi
比自己比我差的人还没放弃,比我好的人仍在努力。
展开
-
HDFS完全分布式的搭建
HDFS完全分布式的搭建1,同步时间上网找一个最新的时间服务器,同步时间,保证整个集群的每台机器时间都一样。yum install ntp //在各个节点安装ntp命令ntpdate ntp1.aliyun.com //同步时间2,配置免密登录node01-->node01node01-->node02node01-->node03node01-->原创 2018-10-11 11:12:44 · 725 阅读 · 0 评论 -
Spark学习笔记
文章目录Spark简介Spark的历史spark开发者spark比MR快的原因Spark的四种运行模式开发Spark的语言RDD(弹性分布式数据集)RDD简介RDD五大特性RDD的三种算子Transformation类算子Action类算子控制类算子RDD的大体流程Spark集群搭建Spark简介Spark的历史Spark在2012开源,距今长达6年时间,hadoop已经有12年的历史了。S...原创 2018-11-03 17:53:37 · 669 阅读 · 0 评论 -
Spark集群搭建
文章目录Spark的四种运行模式standalone 集群的搭建standalone集群的大体框架standalone集群步骤1,在node01节点上下载spark安装包2,解压spark-1.6.3-bin-hadoop2.6.tgz安装包3,修改spark配置文件4,将配置好的spark安装包发送到各个节点上5,将启动命令改名6,启动spark7,jps查看各个节点开启的进程Spark的四种...原创 2018-11-03 18:31:51 · 274 阅读 · 0 评论 -
高可用的Spark集群搭建
文章目录1,集群介绍2,普通Spark集群介绍3,高可用Spark集群介绍4,高可用Spark集群的搭建流程1,集群介绍在之前Spark集群搭建博客中介绍了Spark的四种运行模式以及搭建。localstandaloneyarnmesos目前接触的只有前三种,由于yarn集群本身就是高可用的,所以下面就只对standalone集群进行高可用搭建。2,普通Spark集群介绍如...原创 2018-11-10 16:12:19 · 456 阅读 · 0 评论 -
Spark的任务调度(学习笔记一)
文章目录一、spark任务调度知识点1、Spark中的一些专业术语1.1、任务相关1.2、资源相关2、RDD的依赖关系2.1、窄依赖2.2、宽依赖2.3、宽窄依赖的作用2.4、为什么我们需要把job切割成stage?二、任务调度流程三、问题思考3.1、stage中的每一个task(管道计算模式)会在什么时候落地磁盘?3.2、Spark在计算的过程中,是不是特别消耗内存?3.3、什么样的场景最耗内存...原创 2018-11-05 22:57:06 · 285 阅读 · 0 评论 -
Spark的Shuffle过程
文章目录1. Spark Shuffle概述2. Shuffle的作用3. Spark Shuffle的运行时机4. Spark Shuffle的运行机理及图解MR Shuffle过程4.1 HashShuffle4.1.1 HashShuffle概述4.1.2 优化前的Hash shuffle机制4.1.3 优化后的Hash shuffle机制4.2 SortShuffle4.2.1 普通运行机...原创 2018-11-18 18:49:33 · 873 阅读 · 0 评论 -
资源调度(学习笔记)
文章目录资源调度流程1,当集群启动时,各个worker向master汇报信息,封装到workerInfo类中,放入workers集合。2,当客户端向集群提交Application时,首先会在客户端启动一个sparksubmit进程3,为driver向Master申请资源,此时遍历workers集合,随机找一台资源充沛的worker节点,启动driver进程。4,Driver启动成功后,向M...原创 2018-11-12 18:18:32 · 3346 阅读 · 0 评论 -
任务调度+资源调度整合(学习笔记)
文章目录任务调度+资源调度大体流程轮训启动为什么要用轮训启动这种设计模式?轮训方式启动Executor的公式Works集合为什么要使用Hashset?Driver进程是怎么启动起来的?挣扎的(掉队的)任务推测执行机制推测执行机制的判断标准配置信息的使用重试机制任务调度+资源调度大体流程1,Worker启动成功向master注册2,提交App spark-submit --master --c...原创 2018-11-16 08:27:43 · 1906 阅读 · 0 评论 -
kafka集群搭建
文章目录集群规划集群搭建1. 下载kafka安装包2. 修改配置文件3. 问题总结集群规划主机名NameNode1NameNode2DataNodeZKFCJNNRSNodeManagerzookeeperkafkanode01√√√√node02√√√√node03√√√node04原创 2018-11-19 20:30:25 · 209 阅读 · 0 评论 -
Scala学习笔记
文章目录Scala介绍Scala六大特征Scala的安装与配置Scala基础1,数据类型2,变量与常量的声明3,类和对象4,if else的使用5,for ,while,do…while的使用6,创建for循环7,创建多层for循环8,带判断条件的for循环9. scala中不能使用count++,count—只能使用count = count+1 ,count += 110. for循环用yie...原创 2018-10-29 22:57:10 · 391 阅读 · 0 评论 -
Hive表结构总结
Hive五种表结构特性1,内部表:当删除内部表时,HDFS上的数据以及元数据都会被删除2,外部表:但删除外部表时,HDFS上的源数据不会被删除但元数据会被删除3,临时表:在当前会话期间存在,会话结束时自动消失。4,分区表:将一批数据按照一定的字段或关键字分为多个目录进行存储5,分桶表:将一批数据按照指定好的字段和桶的数量,对指定字段的数据取模运算,分成不同的桶进行存储,方便随机取样以及j...原创 2018-10-25 16:57:45 · 748 阅读 · 0 评论 -
Hive原理及Hive的搭建
Hive简介什么是Hivehive是基于Hadoop的一个数据仓储工具,可以将结构化的数据文件映射为一张数据表,并提供SQL查询功能,可以将SQL语句转化为MapReduce任务进行执行。hive是基于Hadoop的一个数据仓储工具,可以将结构化的数据文件映射为一张数据表,并提供SQL查询功能,可以将SQL语句转化为MapReduce任务进行执行。Hive的优点学习成本年低,可以通过类S...原创 2018-10-25 16:28:34 · 341 阅读 · 0 评论 -
HDFS 伪分布式的搭建
三种分布式介绍1,伪分布式在一台服务器上,启动多个进程,分别表示各个角色2,完全分布式在多台服务器上,每台服务器启动不同角色的进程,使用多台服务器组成HDFS集群node01:namenodenode02:secondarynamenode datanodenode03:datanodenode04:datanoode3,高可用性的完全分布式node01:namenodeno...原创 2018-10-11 12:27:56 · 206 阅读 · 0 评论 -
高可用完全分布式搭建
高可用的完全分布式搭建HA HDFS结构图这种设计模式的特点:①采用了两个namenode,一个对外提供服务,一个同步备份namenode元数据以待切换,防止发生异常,导致namenode挂掉。②所有的datenode同时向两个NameNode汇报数据块信息。③JN集群用于备份传递ANN的信息和文件④两个NN,启动时一个会处于activity,一个会处于standby状态⑤处于st...原创 2018-10-12 08:28:08 · 484 阅读 · 0 评论 -
Eclipse配置Hadoop开发环境+HDFS Java API测试
1. 添加插件下载在Windows Eclipse上需要的一些额外的文件:hadoop-eclipse-plugin-2.6.0.jar在eclipse安装目录的dropins目录下新建plugin文件目录,把上面下载的jar包放入plugin文件夹下。2. 在Windows上安装Hadoop2.6.0(1)在本地安装Hadoop注意本机安装的hadoop运行环境要和自己搭建的集群一致...原创 2018-10-16 00:15:24 · 1594 阅读 · 0 评论 -
大数据初接触(笔记一)
1,什么是大数据       简单的说:就是短时间内快速的、产生海量的、多种多样的、有价值的数据。2,大数据技术:分布式存储分布式计算1,分布式批处理攒一段时间的数据,然后在未来的某一个时间来处理这些数据2,分布式流处理数据不需要攒,直接处理每产生一条数据,立马对数据作出处理,将数据推送到前台界面和存储到数据库中形成报表发个老板。例如:天原创 2018-10-09 19:42:09 · 210 阅读 · 0 评论 -
HDFS原理(笔记二)
1,HDFS集群存储流程图流程图解析1,系统启动过程步骤①当集群启动时,DN向NN发送一些信息(Block的位置信息、每一个DN的位置信息、DN的心跳信息(DNID)等)②客户端汇报当前要上传的文件信息(block数量、文件的上传时间、权限、拥有者)③NameNode向客户端发送ID号、请求存放block的位置④客户端根据ID号和block的位置进行存储安全模式1,加载fsima...原创 2018-10-09 20:26:14 · 162 阅读 · 0 评论 -
分布式存储学习脑图
分布式存储学习脑图原创 2018-10-09 20:32:23 · 493 阅读 · 0 评论 -
Yarn集群规划和搭建
一、hadoop集群搭建请参考前面几篇博客,下面我们就在前面集群的基础上进行yarn集群搭建。二、规划NN1NN2DNZKZKFCJNNRSNMnode01√√√node02√√√√√√node03√√√√√node04√√√√三、要修改的配置文件ya原创 2018-10-19 17:15:49 · 395 阅读 · 0 评论 -
MapReduce的原理及执行过程
MapReduce简介        Hadoop MapReduce是一个软件框架,基于该框架能够容易地编写应用程序,这些应用程序能够运行在由上千个商用机器组成的大集群上原创 2018-10-17 11:30:53 · 1047 阅读 · 0 评论 -
Spark运行在yarn集群上的两种提交方式
文章目录Spark集群简单介绍yarn集群的两种提交方式client执行原理执行流程cluster提交命令(两种)执行原理执行流程Spark集群简单介绍如前面几篇博客介绍的Spark集群分为四种:localstand aloneyarnmesos这里我们就拿yarn来介绍。yarn集群的两种提交方式首先spark跑在yarn集群上,必须要开启HDFS,因为包要上传到HDFS...原创 2018-11-24 16:27:32 · 2128 阅读 · 0 评论