云计算
xuzhengzheng32
这个作者很懒,什么都没留下…
展开
-
spark on yarn
spark on yarn 的支持两种模式1)yarn-cluster:适用于生产环境;2)yarn-client:适用于交互、调试,希望立即看到app的输出Yarn-cluster和yarn-client的区别在于appMaster:yarn appMaster,每个yarn app实例有一个appMaster进程,是为app启动的第一个container;负责从ResourceMa转载 2015-07-08 16:41:56 · 433 阅读 · 0 评论 -
Akka简介
我们相信编写出正确的具有容错性和可扩展性的并发程序太困难了。这多数是因为我们使用了错误的工具和错误的抽象级别。Akka就是为了改变这种状况 而生的。通过使用Actor模型我们提升了抽象级别,为构建正确的可扩展并发应用提供了一个更好的平台。在容错性方面我们采取了“let it crash”(让它崩溃)模型,人们已经将这种模型用在了电信行业,构建出“自愈合”的应用和永不停机的系统,取得了巨大成功。Ac转载 2015-07-08 17:18:34 · 384 阅读 · 0 评论 -
详细探究Spark的shuffle实现
Background在MapReduce框架中,shuffle是连接Map和Reduce之间的桥梁,Map的输出要用到Reduce中必须经过shuffle这个环节,shuffle的性能高低直接影响了整个程序的性能和吞吐量。Spark作为MapReduce框架的一种实现,自然也实现了shuffle的逻辑,本文就深入研究Spark的shuffle是如何实现的,有什么优缺点,与Hadoop Ma转载 2015-07-08 15:33:21 · 502 阅读 · 0 评论 -
hive基本命令操作
创建表:hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the first being an integer and the other a string创建一个新表,结构与其他一样hive> create table n转载 2015-07-09 14:21:11 · 499 阅读 · 0 评论 -
hive基本命令操作
创建表:hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the first being an integer and the other a string创建一个新表,结构与其他一样hive> create table n转载 2015-07-09 14:22:07 · 370 阅读 · 0 评论 -
Running the Cloudera Training VM in VirtualBox(转)
找了很久相关的知识是搜另一个东西发现这个博客,炒鸡有用~~~~~Cloudera’s Training VM is one of the most popular resources on our website. It was created with VMware Workstation, and plays nicely with the VMware Player for Window转载 2015-07-03 15:34:01 · 474 阅读 · 0 评论 -
ERROR YarnScheduler: Lost executor 7 on quickstart.cloudera: remote Akka client disassociated
出现原因是存储分配不够,多分配一个就会解决。原创 2015-07-23 13:51:39 · 1592 阅读 · 0 评论