- 博客(6)
- 收藏
- 关注
RSS订阅原创 说说maven快照配置问题
maven快照管理问题，怎么使用好快照呢？aliyunaliyunhttp://maven.aliyun.com/nexus/content/groups/public/truenevertruealways红色部分一条要加上，要不然不管是releases还是snapshots都不及时更新哦。是不是快照不是在私服中配置，二是在创建
2017-12-20 11:29:55
731
转载 spark on yarn的cpu使用
在yarn-site.xml中，可以配置virutal core的个数，请注意不是physical core的个数，相关配置如下： yarn.nodemanager.resource.cpu-vcores 30 NodeManager总的可用虚拟CPU个数virutal core的概念是将所有physical cpu组成8个可调度的队列，linux
2017-12-13 11:08:39
460
原创 spark on yarn 在HA nn1关闭的时候问题
当 nn1关闭的时候，spark提交任务不能执行报错如下：spark官方文档说明了这个问题的存在，应该很快就解决了，我们提交任务后，需要等待50*2秒，没有太大影响
2017-12-11 17:23:55
381
原创 Spark on Yarn：任务提交参数配置
当在YARN上运行Spark作业，每个Spark executor作为一个YARN容器运行。Spark可以使得多个Tasks在同一个容器里面运行。以下参数配置为例子spark-submit--master yarn-cluster / yarn-client #使用集群调度模式/客户端模式--num-executors 2 # ex
2017-12-11 14:08:09
2253
转载 ambari中删除journalnode节点
之前谈过如何在ambari中增加journalnode节点服务，这篇将说明如何删除journalnode服务说明：hadooptest 为集群的名字，不是HA的名字http://10.11.32.53:8080 为ambari管理界面hadooptest.bj 为需要删除服务的主机正常情况，首先journalnode服务最少需要3个节点，保障在删除操作的开始，你的journ
2017-12-01 10:56:58
412
转载 ambari增加journalnode服务节点
原生态方式：以hadoop用户执行以下操作:1.修改etc/hadoop/hdfs-site.xml,在dfs.namenode.shared.edits.dir 配置项中增加相应的新的journal的地址和端口.2.把etc/hadoop/hdfs-site.xml分发到集群中各服务器.3.把现有journal中的数据目录拷贝到新journal服务器.4.在新jour
2017-12-01 10:56:09
1043
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人