- 博客(12)
- 收藏
- 关注
RSS订阅转载 spark 调度
1、fair调度模式 就是需要用户配置权重2、配置调度池 用户可以通过配置文件自定义调度池的属性1、调度模式2、权重3、minshare 配置多少个cpu的内核stage 和 tasksetmanager调度 stage的调度是由dagscheduler完成的，由rdd的有向五环图dag切分除了stage的有向五环图 stage的dag通过最后执行
2016-05-31 18:13:35
480
转载 spark的架构
spark架构采用了分布式计算中的master-slave模型，master是对应集群中含有master进程的节点，slave是集群中含有worker进程的节点，master作为整个集群的控制器，负责整个集群的正常运行，worker相当于是计算节点，接受主节点命令与进行状态汇报。Executor负责任务的执行，client作为用户的客户端负责提交应用，driver负责控制一个应用的执行 s
2016-05-30 16:56:12
942
转载 spark相比hadoop的 优势如下
1、中间结果输出 基于mr的计算引擎通常会将中间结果输出到磁盘上，进行存储和容错。处于任务管道承接的考虑，当一些查询翻译到mr任务时，旺旺会产生多个stage，而这些串联的stage又依赖于底层文件系统（如hdfs）来存储每一个stage的输出结果。spark将执行模型抽象为通用的有向无环图，dag计划 着可以将多个stage的任务串联或者并行执行，而无需将stage中间结果输出到hdf
2016-05-30 15:56:20
3795
转载 hive函数参考手册
http://www.cnblogs.com/end/archive/2012/06/18/2553682.htmlhive函数参考手册原文见：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF1.内置运算符1.1关系运算符运算符类型说
2016-05-30 10:15:29
341
转载 hadoop技术内幕
hadoop技术内幕深入解析mapreduce架构设计与实现原理1、基础篇1、阅读源代码前的准备2、mapreduce设计理念与基本架构3、mapreduce编程模型4、mapreducerpc框架解析5、作业提交与初始化过程分析6、jobtracker内部实现剖析7、tasktracker内部实现剖析8、task运行过程分析9、hadoop性能调优
2016-05-27 17:01:35
615
转载 kerberos介绍
kerberos是一种网络认证协议，主要用于计算机网络的身份鉴别。其特点是用户只需要输入一次身份验证信息就可以凭借此验证活得的票据访问多个服务，kerveros认证过程的实现不因爱于主机操作系统的认证，它不基于主机地址的信任，也不要求网络上所有主机的物理安全，kerveros作为一种可以任性的第三方认证服务，是通过传统的密码技术（如共享秘钥）执行认证服务的。1、kerverso协议中的基本
2016-05-27 16:56:45
1503
转载 yarn对mrv1的修改主要包括以下几个方面
1、将jobTracker中的作业控制（如作业创建、监控作业运行状态等）部分拆分出来。按照规范实现mapreduce计算空间的applicationmaster mrappmaster2、tasktracker的部分通过由模块 taskattemptlistenerimple完成3、利用状态机重写jobinprogreess类，其主要功能由jobimple完成4、利用状态机重写task
2016-05-27 11:54:15
358
转载 yarn的基本组成结构
1、yarn主要有ResourceManager/ NodeManager/ ApplicationMaster (图中给出了MapReduce和MPI两种计算框架的ApplicationMaster，分别为MR AppMstr 和MPI AppMstr 和container等几个组件构成MR是一个全局的资源管理器，负责整个系统的资源管理和分配，它主要由两个组件构成，调度器 Schedule
2016-05-27 11:35:44
2783
转载 最近的想法
1、毛毛那边：礼貌的说一声，谢谢，感谢她这段时间的陪伴和付出，我过的很快乐。 对么残酷的誓言，也抵挡不住残酷的现实，毛毛啊，你走吧，去寻找你所谓的幸福，当有一天，你玩累的时候，想哭的时候，打给电话给我我不可能保证你笑，但我会陪着你一起哭，毛毛啊，不论是友情也好，爱情也罢，记住，我爱你。2、工作这边，好好研究一下hadoop 还有 spark 看看，看一下是否有前途，
2016-05-27 10:07:59
265
转载 Java安全之认证与授权
http://blog.csdn.net/xtayfjpk/article/details/45872161 Java平台提供的认证与授权服务(Java Authentication and Authorization Service (JAAS))，能够控制代码对敏感或关键资源的访问，例如文件系统，网络服务，系统属性访问等，加强代码的安全性。主要包含认证与授权两部分，认证的目的在于可靠
2016-05-05 15:50:04
1330
转载 Shell特殊变量：Shell $0, $#, $*, $@, $?, $$和命令行参数
前面已经讲到，变量名只能包含数字、字母和下划线，因为某些包含其他字符的变量有特殊含义，这样的变量被称为特殊变量。例如，$ 表示当前Shell进程的ID，即pid，看下面的代码：$echo $$运行结果29949特殊变量列表变量含义$0当前脚本的文件名$n传递给脚本或函数的参数。n 是一个数字，表
2016-05-05 14:44:52
251
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人