<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Hellomdk的博客]]></title><description><![CDATA[]]></description><link>https://blog.csdn.net/Hellomdk</link><language>zh-cn</language><generator>https://blog.csdn.net/</generator><copyright><![CDATA[Copyright &copy; Hellomdk]]></copyright><item><title><![CDATA[基于springmvc的websocket]]></title><link>https://blog.csdn.net/Hellomdk/article/details/99973695</link><guid>https://blog.csdn.net/Hellomdk/article/details/99973695</guid><author>Hellomdk</author><pubDate>Wed, 21 Aug 2019 16:33:42 +0800</pubDate><description><![CDATA[基于SpringMVC的webSocket学习]]></description><category></category></item><item><title><![CDATA[commons-io之FileUtils、IOUtils]]></title><link>https://blog.csdn.net/Hellomdk/article/details/97111676</link><guid>https://blog.csdn.net/Hellomdk/article/details/97111676</guid><author>Hellomdk</author><pubDate>Wed, 24 Jul 2019 10:59:21 +0800</pubDate><description><![CDATA[commons-io简单说明：
Common IO 是一个工具库，用来帮助开发IO功能 它包括6个主要部分：
一些工具类：包括一些静态方法来执行常用任务。

输入：InputStream 和 Reader 实现。

输出：OutputStream 和 Writer 实现。

过滤器：多种文件过滤器实现(定义了 IOFileFilter接口，同时继承了 FileFilter 和 FilenameFi...]]></description><category></category></item><item><title><![CDATA[HTML5学习之FileReader接口]]></title><link>https://blog.csdn.net/Hellomdk/article/details/97102625</link><guid>https://blog.csdn.net/Hellomdk/article/details/97102625</guid><author>Hellomdk</author><pubDate>Wed, 24 Jul 2019 09:32:53 +0800</pubDate><description><![CDATA[HTML5学习之FileReader接口
		
		
		
			用来把文件读入内存，并且读取文件中的数据。FileReader接口提供了一个异步API，使用该API可以在浏览器主线程中异步访问文件系统，读取文件中的数据。到目前文职，只有FF3.6+和Chrome6.0+实现了FileReader接口。
&nbsp;
1、FileReader接口的方法
FileReader接口...]]></description><category></category></item><item><title><![CDATA[单点登录的三种实现方式]]></title><link>https://blog.csdn.net/Hellomdk/article/details/96829741</link><guid>https://blog.csdn.net/Hellomdk/article/details/96829741</guid><author>Hellomdk</author><pubDate>Mon, 22 Jul 2019 09:35:53 +0800</pubDate><description><![CDATA[单点登录SSO（Single Sign On）说得简单点就是在一个多系统共存的环境下，用户在一处登录后，就不用在其他系统中登录，也就是用户的一次登录能得到其他所有系统的信任。单点登录在大型网站里使用得非常频繁，例如像阿里巴巴这样的网站，在网站的背后是成百上千的子系统，用户一次操作或交易可能涉及到几十个子系统的协作，如果每个子系统都需要用户认证，不仅用户会疯掉，各子系统也会为这种重复认证授权的逻辑搞...]]></description><category></category></item><item><title><![CDATA[权限管理--常见模块设计]]></title><link>https://blog.csdn.net/Hellomdk/article/details/85156825</link><guid>https://blog.csdn.net/Hellomdk/article/details/85156825</guid><author>Hellomdk</author><pubDate>Fri, 21 Dec 2018 09:34:59 +0800</pubDate><description><![CDATA[文章目录1.基于 RBAC（Role-based Access Control）权限访问控制2.最简单版本3.用户组模式4.权限分类5.完整版
1.基于 RBAC（Role-based Access Control）权限访问控制
也就是说一个用户可以有多个角色，一个角色可以有多个权限，通过将角色和权限分离开来提高设计的可扩展性，通常一个用户有多个角色，一个角色也会属于多个用户（多对多），一个角色有...]]></description><category></category></item><item><title><![CDATA[Spark运行在yarn集群上的两种提交方式]]></title><link>https://blog.csdn.net/Hellomdk/article/details/84291945</link><guid>https://blog.csdn.net/Hellomdk/article/details/84291945</guid><author>Hellomdk</author><pubDate>Sat, 24 Nov 2018 16:27:32 +0800</pubDate><description><![CDATA[文章目录Spark集群简单介绍yarn集群的两种提交方式client执行原理执行流程cluster提交命令（两种）执行原理执行流程
Spark集群简单介绍
如前面几篇博客介绍的
Spark集群分为四种：

local
stand alone
yarn
mesos

这里我们就拿yarn来介绍。
yarn集群的两种提交方式
首先spark跑在yarn集群上，必须要开启HDFS，因为包要上传到HDFS...]]></description><category></category></item><item><title><![CDATA[kafka集群搭建]]></title><link>https://blog.csdn.net/Hellomdk/article/details/84258782</link><guid>https://blog.csdn.net/Hellomdk/article/details/84258782</guid><author>Hellomdk</author><pubDate>Mon, 19 Nov 2018 20:30:25 +0800</pubDate><description><![CDATA[文章目录集群规划集群搭建1. 下载kafka安装包2. 修改配置文件3. 问题总结
集群规划




主机名
NameNode1
NameNode2
DataNode
ZKFC
JNN
RS
NodeManager
zookeeper
kafka




node01
√


√

√


√


node02

√

√

√


√


node03


√



√

√


node04]]></description><category></category></item><item><title><![CDATA[Spark的Shuffle过程]]></title><link>https://blog.csdn.net/Hellomdk/article/details/84199845</link><guid>https://blog.csdn.net/Hellomdk/article/details/84199845</guid><author>Hellomdk</author><pubDate>Sun, 18 Nov 2018 18:49:33 +0800</pubDate><description><![CDATA[文章目录1. Spark Shuffle概述2. Shuffle的作用3. Spark Shuffle的运行时机4. Spark Shuffle的运行机理及图解MR Shuffle过程4.1 HashShuffle4.1.1 HashShuffle概述4.1.2 优化前的Hash shuffle机制4.1.3 优化后的Hash shuffle机制4.2 SortShuffle4.2.1 普通运行机...]]></description><category></category></item><item><title><![CDATA[任务调度+资源调度整合（学习笔记）]]></title><link>https://blog.csdn.net/Hellomdk/article/details/83996421</link><guid>https://blog.csdn.net/Hellomdk/article/details/83996421</guid><author>Hellomdk</author><pubDate>Fri, 16 Nov 2018 08:27:43 +0800</pubDate><description><![CDATA[文章目录任务调度+资源调度大体流程轮训启动为什么要用轮训启动这种设计模式？轮训方式启动Executor的公式Works集合为什么要使用Hashset？Driver进程是怎么启动起来的？挣扎的（掉队的）任务推测执行机制推测执行机制的判断标准配置信息的使用重试机制
任务调度+资源调度大体流程
1，Worker启动成功向master注册
2，提交App spark-submit --master --c...]]></description><category></category></item><item><title><![CDATA[资源调度（学习笔记）]]></title><link>https://blog.csdn.net/Hellomdk/article/details/83960660</link><guid>https://blog.csdn.net/Hellomdk/article/details/83960660</guid><author>Hellomdk</author><pubDate>Mon, 12 Nov 2018 18:18:32 +0800</pubDate><description><![CDATA[文章目录资源调度流程
1，当集群启动时，各个worker向master汇报信息，封装到workerInfo类中，放入workers集合。
2，当客户端向集群提交Application时，首先会在客户端启动一个sparksubmit进程
3，为driver向Master申请资源，此时遍历workers集合，随机找一台资源充沛的worker节点，启动driver进程。
4，Driver启动成功后，向M...]]></description><category></category></item><item><title><![CDATA[高可用的Spark集群搭建]]></title><link>https://blog.csdn.net/Hellomdk/article/details/83929369</link><guid>https://blog.csdn.net/Hellomdk/article/details/83929369</guid><author>Hellomdk</author><pubDate>Sat, 10 Nov 2018 16:12:19 +0800</pubDate><description><![CDATA[文章目录1，集群介绍2，普通Spark集群介绍3，高可用Spark集群介绍4，高可用Spark集群的搭建流程
1，集群介绍
在之前Spark集群搭建博客中介绍了Spark的四种运行模式以及搭建。

local
standalone
yarn
mesos

目前接触的只有前三种，由于yarn集群本身就是高可用的，所以下面就只对standalone集群进行高可用搭建。
2，普通Spark集群介绍

如...]]></description><category></category></item><item><title><![CDATA[Spark的任务调度（学习笔记一）]]></title><link>https://blog.csdn.net/Hellomdk/article/details/83758520</link><guid>https://blog.csdn.net/Hellomdk/article/details/83758520</guid><author>Hellomdk</author><pubDate>Mon, 05 Nov 2018 22:57:06 +0800</pubDate><description><![CDATA[文章目录一、spark任务调度知识点1、Spark中的一些专业术语1.1、任务相关1.2、资源相关2、RDD的依赖关系2.1、窄依赖2.2、宽依赖2.3、宽窄依赖的作用2.4、为什么我们需要把job切割成stage？二、任务调度流程三、问题思考3.1、stage中的每一个task（管道计算模式）会在什么时候落地磁盘？3.2、Spark在计算的过程中，是不是特别消耗内存？3.3、什么样的场景最耗内存...]]></description><category></category></item><item><title><![CDATA[Spark集群搭建]]></title><link>https://blog.csdn.net/Hellomdk/article/details/83689276</link><guid>https://blog.csdn.net/Hellomdk/article/details/83689276</guid><author>Hellomdk</author><pubDate>Sat, 03 Nov 2018 18:31:51 +0800</pubDate><description><![CDATA[文章目录Spark的四种运行模式standalone 集群的搭建standalone集群的大体框架standalone集群步骤1，在node01节点上下载spark安装包2，解压spark-1.6.3-bin-hadoop2.6.tgz安装包3，修改spark配置文件4，将配置好的spark安装包发送到各个节点上5，将启动命令改名6，启动spark7，jps查看各个节点开启的进程
Spark的四种...]]></description><category></category></item><item><title><![CDATA[Spark学习笔记]]></title><link>https://blog.csdn.net/Hellomdk/article/details/83688829</link><guid>https://blog.csdn.net/Hellomdk/article/details/83688829</guid><author>Hellomdk</author><pubDate>Sat, 03 Nov 2018 17:53:37 +0800</pubDate><description><![CDATA[文章目录Spark简介Spark的历史spark开发者spark比MR快的原因Spark的四种运行模式开发Spark的语言RDD（弹性分布式数据集）RDD简介RDD五大特性RDD的三种算子Transformation类算子Action类算子控制类算子RDD的大体流程Spark集群搭建
Spark简介
Spark的历史
Spark在2012开源，距今长达6年时间，hadoop已经有12年的历史了。S...]]></description><category></category></item><item><title><![CDATA[Scala学习笔记]]></title><link>https://blog.csdn.net/Hellomdk/article/details/83513258</link><guid>https://blog.csdn.net/Hellomdk/article/details/83513258</guid><author>Hellomdk</author><pubDate>Mon, 29 Oct 2018 22:57:10 +0800</pubDate><description><![CDATA[文章目录Scala介绍Scala六大特征Scala的安装与配置Scala基础1，数据类型2，变量与常量的声明3，类和对象4，if else的使用5，for ,while,do…while的使用6，创建for循环7，创建多层for循环8，带判断条件的for循环9.	scala中不能使用count++，count—只能使用count = count+1 ，count += 110.	for循环用yie...]]></description><category></category></item><item><title><![CDATA[Hive表结构总结]]></title><link>https://blog.csdn.net/Hellomdk/article/details/83382488</link><guid>https://blog.csdn.net/Hellomdk/article/details/83382488</guid><author>Hellomdk</author><pubDate>Thu, 25 Oct 2018 16:57:45 +0800</pubDate><description><![CDATA[Hive五种表结构特性
1，内部表：当删除内部表时，HDFS上的数据以及元数据都会被删除
2，外部表：但删除外部表时，HDFS上的源数据不会被删除但元数据会被删除
3，临时表：在当前会话期间存在，会话结束时自动消失。
4，分区表：将一批数据按照一定的字段或关键字分为多个目录进行存储
5，分桶表：将一批数据按照指定好的字段和桶的数量，对指定字段的数据取模运算，分成不同的桶进行存储，方便随机取样以及j...]]></description><category></category></item><item><title><![CDATA[Hive原理及Hive的搭建]]></title><link>https://blog.csdn.net/Hellomdk/article/details/83377791</link><guid>https://blog.csdn.net/Hellomdk/article/details/83377791</guid><author>Hellomdk</author><pubDate>Thu, 25 Oct 2018 16:28:34 +0800</pubDate><description><![CDATA[Hive简介

什么是Hive
hive是基于Hadoop的一个数据仓储工具，可以将结构化的数据文件映射为一张数据表，并提供SQL查询功能，可以将SQL语句转化为MapReduce任务进行执行。hive是基于Hadoop的一个数据仓储工具，可以将结构化的数据文件映射为一张数据表，并提供SQL查询功能，可以将SQL语句转化为MapReduce任务进行执行。
Hive的优点
学习成本年低，可以通过类S...]]></description><category></category></item><item><title><![CDATA[Yarn集群规划和搭建]]></title><link>https://blog.csdn.net/Hellomdk/article/details/83184912</link><guid>https://blog.csdn.net/Hellomdk/article/details/83184912</guid><author>Hellomdk</author><pubDate>Fri, 19 Oct 2018 17:15:49 +0800</pubDate><description><![CDATA[一、hadoop集群搭建
请参考前面几篇博客，下面我们就在前面集群的基础上进行yarn集群搭建。
二、规划





NN1
NN2
DN
ZK
ZKFC
JNN
RS
NM




node01
√



√
√




node02

√
√
√
√
√

√


node03


√
√

√
√
√


node04


√
√


√
√


三、要修改的配置文件
ya]]></description><category></category></item><item><title><![CDATA[MapReduce的原理及执行过程]]></title><link>https://blog.csdn.net/Hellomdk/article/details/83097203</link><guid>https://blog.csdn.net/Hellomdk/article/details/83097203</guid><author>Hellomdk</author><pubDate>Wed, 17 Oct 2018 11:30:53 +0800</pubDate><description><![CDATA[MapReduce简介
&amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;nbsp;&amp;amp;amp;amp;nbsp;Hadoop MapReduce是一个软件框架，基于该框架能够容易地编写应用程序，这些应用程序能够运行在由上千个商用机器组成的大集群上]]></description><category></category></item><item><title><![CDATA[Eclipse配置Hadoop开发环境+HDFS Java API测试]]></title><link>https://blog.csdn.net/Hellomdk/article/details/83066815</link><guid>https://blog.csdn.net/Hellomdk/article/details/83066815</guid><author>Hellomdk</author><pubDate>Tue, 16 Oct 2018 00:15:24 +0800</pubDate><description><![CDATA[1. 添加插件
下载在Windows Eclipse上需要的一些额外的文件：hadoop-eclipse-plugin-2.6.0.jar
在eclipse安装目录的dropins目录下新建plugin文件目录，把上面下载的jar包放入plugin文件夹下。

2. 在Windows上安装Hadoop2.6.0
（1）在本地安装Hadoop
注意本机安装的hadoop运行环境要和自己搭建的集群一致...]]></description><category></category></item></channel></rss>