2015年10月_長遠

12月 11月 10月

yarn详解

问题导读：1、什么是yarn？2、Yarn 和MapReduce相比，它有什么特殊作用？背景 Yarn是一个分布式的资源管理系统，用以提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer们还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及...

2015-10-23 11:09:31 112

org.springframework.scheduling.quartz.CronTriggerBean定时任务配置

在项目中又用到了定时器，对于定时器的应用总是模模糊糊的，今天结合网上找到的资料与自己在项目中写的简单地在此写一下，以备需要时查阅。一个Quartz的CronTrigger表达式分为七项子表达式，其中每一项以空格隔开，从左到右分别是：秒，分，时，月的某天，月，星期的某天，年；其中年不是必须的，也就是说任何一个表达式最少需要六项。例：0 0 12 ? * WED 表示每个星期...

2015-10-20 11:15:44 209

zookeeper启动提示:/data/zookeeper/zookeeper_server.pid: Permission denied

在配置安装好zookeeper之后执行zkServer.sh start发现提示:/data/zookeeper/zookeeper_server.pid: Permission denied FAILED TO WRITE PID原因是刚才/data/zookeeper是root权限，而不是doop权限的，修改/data权限即可解决[root@master ~]# chown -R d...

2015-10-14 16:10:22 3928 1

hadoop-2.7.1 datanode

最近几天在虚拟机上部署hadoop，部署好了之后在slave的两个节点上面jps无法查看到datanode进程，最后用了笨方法，问题解决了。我是基于VMware workstation 9安装的三台rh Linux虚拟机，一主两从分别对应： 192.168.1.100 master 192.168.1.101 node1 ...

2015-10-14 15:51:57 151