BlueSky

datanode没有启动将hadoop配置文件修改后，重新格式化了hadoop集群，即hadoop name -format但是此时发现slave节点没有启动datanode上网查找解决方法，最后终于解决了，解决方法如下：1. 先执行stop-all.sh暂停所有服务2. 将所有Salve节点上的tmp(即 hdfs-site.xml 中指定的 dfs.data.dir 文件夹

转自：http://blog.fens.me/hadoop-mapreduce-log-kpi/Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie

项目需求：   需要统计一下线上日志中某些信息每天出现的频率，举个简单的例子，统计线上每天的请求总数和异常请求数。线上大概几十台服务器，每台服务器大概每天产生4到5G左右的日志，假设有30台，每台5G的，一天产生的日志总量为150G。处理方案：   方案1：传统的处理方式，写个JAVA日志分析代码，部署到每台服务器进行处理，这种方式部署起来耗时费力，又不好维护。

上次配好了hadoop的环境，已经大概过去一周了，查看hadoop的运行情况：上次配好了hadoop的环境，已经大概过去一周了，查看hadoop的运行情况： 在master节点上查看jps状态： 执行停止命令的时候发现下面情况： 在网上查了一些资料觉得下面的解释比较靠谱：出现这个问题的最常见原因是hadoop在stop的时