yuangeffff-CSDN博客

翻译编写yarn应用

目的：本文在high level中描述了在YARN中实现应用的方法。理念和流程大概的理念是，应用提交client提交一项应用给yarn的Resource Manager。这可以通过建立一个yarn client来实现。yarnclient启动之后，client会建立应用，准备包含application master的container的应用，然后提交应用。你需

2015-07-15 16:21:14 770

翻译 yarn timeline 服务

介绍应用现在和历史的信息的存储和检索是在yarn中通用的特性，通过timeline服务器。她负责两个方面：保有应用独有的信息：应用或者框架独有的信息整体的收集和检索。比如说：mapreduce框架可以包括信息的片段：像是一些map任务，reduce任务等等。应用开发者可以通过timeline client发布特定的信息给timeline server，在applicat

2015-07-15 15:49:24 2558

原创 yarn-web应用代理

Web应用代理是YARN的一部分，默认来说，她是作为Resource Manager的一部分运行的，但是也可以配置为单独模式。代理的起因在于减少通过yarn的网络攻击。YARN中的application master负责提供WEB的界面，并把链接发送给resource manager。这导致了一系列的潜在的问题。RM作为一个被信任的用户运行，访问web的用户会认为这是可信的站点，实际

2015-07-15 10:44:00 2071

原创 yarn简介

下一代的mapreduce-YARN在hadoop0.23的时候，mapreduce经历了一次彻底的检修，现在我们有了第二代的mapreduce-YARN。yarn设计的基本理念是：把jobTracker的两个基本功能分开：资源管理和工作调度分为几个分开的daemon。理念是拥有一个全局的Resource Manager，每一个应用都分配一个application mast

2015-07-14 21:00:20 370

原创 hdfs

OK，现在是想要学习一下hdfs的api和shell的使用方法。首先，需要了解的是hdfs是什么？它有什么特点？它能用来做什么？hdfs：使用方式：hdfs --config confdir commanddfs运行一个文件系统的命令，在hadoop支持的文件系统中。namenode -format 格式化dfs文件系统secondar

2015-07-01 15:40:09 1299

原创 so now what

现在怎么办？方案1：使用cnbjlnx019的性能，在019上搭建集群优点：可以使用强大的性能，而且不需要占用本机的资源缺点：1：只能使用tarball方式安装 2：大量的配置工作方案2：在本机虚拟机上安装单节点优点：可以试验网络安装，配置官方的源缺点：性能太低，而且只能是单节点

2015-05-21 11:53:09 430

原创方案四成功了奥

key命令：下载vbox的包，安装然后启动，启动失败原因kernel-headers的包没有，把包安装上。Make sure you have updated versionType the following command$ sudo apt-get updateOR as root user enter:# apt-get update

2015-05-21 02:15:40 964

原创 multipath

multipath -ll显示的是multipath链路的部分，其中multipath0可能由N条链路组成一个完整的链路。multipath.conf配置文件显示的是黑名单和multipath的设备multipath显示的是存储中的Lun，其中不同的链路显示的是linux系统下不同的盘符，这也就是说，这些不同的盘符对应的是相同的lun配置前和配置后的区别在于是否

2015-05-13 22:40:46 528

原创 how did this thing go

问题在哪里？1：df -h显示的存储挂载的内容，可以看到一个物理挂载的目录比如：/dev/mapper/xxxxx 然后后面是文件系统，后面是在文件系统中的挂载点但是如果你使用Lvscan可以看到，这里并没有这个目录：/dev/mapper/xxxxx，而是另外一个lv这是为什么？按照我的理解，LV就直接可以挂载了丫，问题

2015-05-13 22:07:20 552

原创 my things

I wish to contribute things to my kins.I really do ,by doing this,I can make my life ,my saving worth something ,not just empty.But ,when I'm alone ,when I have empty time,he is n

2015-05-04 15:49:10 293

原创 imagination

Imagine this ,you work at a cool huge Internet company.It produces terabytes of data everyday ,millions of people are using your service ,like they live on your application.They chat o

2015-04-30 16:14:13 330

原创 I'm lost

I just want to go back to the time when I was 8.I can just go home and have nothing to worry.At that time ,everything is so easy,everything is so simple .I can only feel love an

2015-04-15 10:25:28 364

原创 trying new thing

Ok ,now the main task is to set up a basic hadoop environment.I'm going to start with the most popular suppliser :cloudera.CDH是世界上最完整，测试最多，最流行的apache hadoop发行版本。CDH是百分百apache授权的开源项目，也

2015-04-09 14:33:29 536

原创底层的思考

spark作为上层的一套数据处理的平台，底层嵌套的东西是hadoop的一套系统。也就是说：是hdfs,yarn的那一套东西，无论是什么上层处理平台。使用的都会是hdfs，hadoop，而我之前搭过两个节点的hadoop的集群，其中也是分为namenode ,datanode。其中也是有mapreduce和hive等等。底层的系统，linux是最底下的东西，

2015-04-03 16:33:44 386

原创 spark 1.3尝鲜

下载了一个spark 1.3 基于hadoop 2.4版本的，来尝尝鲜。OK,bin下面是具体的spark-shell,spark-sql，spark-submit,spark-class。我的理解是这里是和spark进行交互的api。conf就比较简单了，conf属于配置文件的集散地，这里面竟然有log4j......data下面是一个ml

2015-04-03 10:18:52 394

原创 ok,do a new thing

Ok ,now I'm going to do a new thing .Now close your eyes ,and sit in your seat still.Stay in your mind and find out these feelings that have been bugging you.These thought that has o

2015-04-02 09:41:31 257

yuangeqingtian的专栏