- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 HDFS一些参数的设置说明
1. dfs.datanode.du.reserved每块磁盘保留的空余空间，应预留一些给非hdfs文件使用，默认值为0，其单位为字节。那么实际可用于HDFS的存储空间就是；总存储空间-dfs.datanode.du.reserved。如果此参数配置为10G，则df -h得出如下结果：Filesystem Size Used Avail Use%
2016-02-27 11:08:33
13089
1
原创 大数据应用的一点认识
大数据现在成为各个行业青睐的方向，很多企业将之转化为一种资产，业界也将ROI重新定义为从信息中获得产出，即ReturnFrom Information。第三方数据公司应运而生，一方面是开发数据分析工具的公司，另一方面是借助Hadoop生态大数据分析平台或相关工具为其它公司做数据分析，专业化更能提升数据为企业带来的价值，大数据技术领域的创业公司日益成为生力军。大数据创业企业有以PAAS、IAAS
2016-02-16 13:10:55
527
原创 怎样选择Hadoop的基准测试
我们部署好Hadoop集群，在测试和学习环境下对通过参数配置来提供集群资源的利用效率重视不够，但是在实际工作环境下这一点相当重要，这直接影响线上任务的执行时间，系统的吞吐量和资源利用率等。怎么才能得到符合实际工作需要的最佳参数配置呢？一般是基于在各种情况下对集群性能进行测试得出，这称之为benchmark。伴随参与Hadoop商业化的厂家不断涌现的情况下，各种benchmark工具或者套件也随
2016-02-16 13:10:08
1781
原创 基于yarn的Hadoop调优
Hadoop2推出yarn作为资源管理器，它借鉴了mesos的思想为上层应用提供统一的资源管理和调度。首先ResourceManager（RM）通过NodeManager（NM）不断得到集群整体资源的视图，这些资源包括CPU、内存等，而且是以Container的形式表现的。ApplicationMaster对应用户提交的应用，比如MapReduce，这一计算Job的数据分布在若干节点上，它首先通过
2016-02-16 13:08:59
939
原创 HUE中通过SQL进行数据分析
1. 下载数据：http://www.bayareabikeshare.com/datachallenge2. 登陆HUEFile Browser 上传文件： 201408_station_data.csv 201408_trip_data.csvData Browser/Metastore Tables，选择数据库 default， 执行action: Create
2016-02-04 17:26:18
6025
原创 Hadoop参数设置的关系疏理（2）
I. blocksize此参数是不是设置越大越好，比如1GB，是否使得MR变得更快呢？越大的block size，container比之default更少的向RM申请资源由此降低延迟。但是，这样的设置带来多方面的影响，首先一个文件将由更少的块组成，这势必造成不与Namenode通讯的条件下R/W更多的数据并减少NN的元数据大小、降低NN负载。更少的block也意味着文件存储到更少的节点上，这将
2016-02-02 11:58:19
734
原创 Hadoop参数设置中的关系疏理
1. map reduce.{map|reduce}.memory.mb为Container即Hadoop允许为task分配的内存大小，mapreduce.{map|reduce}.java.opts为node manage为启动task初始化的JVM heap大小， 后者应该小于前者，因为我们还要我Java代码保留内存，一般为其75%2. mapreduce.{map|reduce}.jav
2016-02-01 17:36:56
658
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人