- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Cache-Persist-Checkpoint 的区别
cache()与persist()的区别会被重复使用的但是不能太大的RDD需要cache, cache()调用了persist(),区别在于cache只有一个默认的缓存级别MEMORY_ONLY,而persist可以根据情况设置其它的缓存级别,StorageLevel类中有12种缓存级别.cache 与 checkpoint 的区别关于这个问题 Tathagata Das 有一段回答: There
2017-03-30 11:06:42
1746
原创 Ambari Rest API modify configuration
先附一个官方文档有两种方式修改配置文件1. 使用REST API 第一种方式 ①步 curl --user admin:admin -H "X-Requested-By: ambari" -i -X POST -d '{"type": "capacity-scheduler", "tag": "version16", "properties" : {"yarn.scheduler.
2016-08-25 19:01:54
902
原创 YARN REST API
先附官网地址> 查看指定队列的所有任务：GET http://<rm http address:port>/ws/v1/cluster/apps?queue=dev> 查看指定任务的详细信息：GET http://<rm http address:port>/ws/v1/cluster/apps/application_1326821518301_0005> 监控任务：curl 'http
2016-08-10 18:55:38
5079
原创 Capacity Scheduler 队列设置
先附一个官网地址Capacity Scheduler是YARN中默认的资源调度器。 相关参数配置： 资源分配相关参数(1) capacity：队列的资源容量（百分比）。 当系统非常繁忙时，应保证每个队列的容量得到满足，而如果每个队列应用程序较少，可将剩余资源共享给其他队列。 注意，所有队列的容量之和应小于100。(2) maximum-capacity：队列的资源使用上限
2016-08-10 17:36:13
770
原创 Fair Scheduler 队列设置
先附一个官网链接由于yarn只能使用一种调度器，所以要想使用Fair Scheduler首先要在yarn-site.xml中将配置参数 yarn.resourcemanager.scheduler.class 设置为 org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler。 Fair Scheduler
2016-08-10 17:15:42
2659
原创 Spark学习笔记--01 Spark集群的安装
一、概述 关于Spark是什么、为什么学习Spark等等，在这就不说了，直接看这个：http://spark.apache.org，我就直接说一下Spark的一些优势： 1、快 与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎，可以通过基于内存来高效处理数据流。
2016-05-26 13:10:44
767
原创 Nio
一、Nio服务端程序启动和运行的详细过程： 1、打开一个serverSocketChannel(相当于ServerSocket)，并绑定监听地址，设置连接为非阻塞 servChannel = ServerSocketChannel.open();//建立通道 servChannel.socket().bind(new InetSocketAddress(por
2016-04-10 16:46:16
235
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人