- 博客(4)
- 收藏
- 关注
RSS订阅转载 Block SIzse是否可修改？
它是可以被修改的。 Hadoop的基础配置文件是hadoop-default.xml，默认建立一个Job的时候会建立Job的Config，Config首先读入hadoop-default.xml的配置，然后再读入hadoop-site.xml的配置（这个文件初始的时候配置为空），hadoop-site.xml中主要配置需要覆盖的hadoop-default.xml的系统级配置。...
2018-09-11 17:48:42
1812
转载 Ganglia监控与告警
ganglia作为一款最常用的Linux环境中的监控软件，它擅长的的是从节点中按照用户的需求以较低的代价采集数据。 但是ganglia在预警以及发生事件后通知用户上并不擅长。最新的ganglia已经有了部分这方面的功能。 但是更擅长做警告的还有Nagios。Nagios，就是一款精于预警、通知的软件。通过将Ganglia和Nagios组合起来，把Ganglia采集的数据作为Nagios的数据源...
2018-09-11 17:44:49
1487
转载 区分HDFS的jobtracker与testtracker
hadoop的集群是基于master/slave模式，namenode和jobtracker属于master, datanode和tasktracker属于slave, master只有一个，而slave有多个。 secondaryNameNode内存需求和nameNode在一个数量级上，所以通常secondary namenode(运行在单独的物理机器上)和namenode运行在不同的机器上....
2018-09-11 17:14:52
1652
转载 HDFS中的block
HDFS中的block默认三份保存。 HDFS被设计成支持大文件，适用HDFS的是那些需要处理大规模的数据集的应用。这些应用都是只写入数据一次，但却读取一次或多次，并且读取速度应能满足流式读取的需要。HDFS支持文件的“一次写入多次读取”语义。一个大文件会被拆分成一个个的块(block)，然后存储于不同的DataNode上。如果一个文件小于一个block的大小，那么实际占用的空间为其文件的大小。...
2018-09-11 16:43:15
2128
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人