fengye275400678-CSDN博客

原创 hadoop在win7+idea+maven中配置

一、配置window环境 1、配置环境变量 HADOOP_HOME= PATH=%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin; 配置hadoop中的etc\hadoop相关文件 2、hadoop-env.cmd set JAVA_HOME=D:\Programming\Jdk\jdk1_8_91 3、core-site.xml <c...

2017-06-08 17:24:41 201

原创 hadoop配置文件说明

一、dfs.name.dir 这个参数用于确定将HDFS文件系统的元信息保存在什么目录下。如果这个参数设置为多个目录，那么这些目录下都保存着元信息的多个备份。在实际生产中，一台机器一般会挂多块物理磁盘，这个配置项就会以多目录的方式配置，每个目录放到一个不同的磁盘中，避免机器中某块磁盘坏了无法恢复fsimage的灾难后果。如： <property> <name&gt...

2017-05-14 11:51:17 156

原创将博客搬至CSDN

将博客搬至CSDN

2017-05-14 10:49:01 81

原创 flume配置及问题处理

一、flume配置一台机器做负载均衡，二台服务器做存储hdfs ============================================ hadoop01 ============================================ #声明Agent a1.sources = r1 a1.sinks = k1 k2 a1.channels = ...

2017-05-11 00:42:16 593

原创开源实时日志分析ELK平台部署

参考文章--http://www.tuicool.com/articles/QFvARfr

2017-03-31 09:22:11 77

原创 Chukwa在百度的应用实践

参考文章---http://baidutech.blog.51cto.com/4114344/748261/

2017-03-31 09:18:59 102

原创 chukwa 在数据收集处理方面的应用

浅谈 chukwa 在数据收集处理方面的应用引入文章---https://www.ibm.com/developerworks/cn/opensource/os-cn-chukwa/

2017-03-31 08:57:34 187

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人