hadoop
文章平均质量分 75
bryceforphy
大家好,我毕业于ZJU,现在是从事于互联网行业的码农一枚,平时对大数据、分布式系统等方面感兴趣,希望能够在这里与大家彼此交流,共同提高。追求知识的道路上,进一步有一步的欢喜。微博@不睡觉的时候会困,谢谢。
展开
-
分布式hadoop集群安装启动流程
介绍分布式hadoop HA集群安装启动流程原创 2016-08-17 14:19:58 · 2168 阅读 · 0 评论 -
高可用Hdfs&HBase配置实践
首先介绍版本背景,hdfs为2.7.1,hbase为1.3.0,其它版本的配置可能存在变化。HDFS相关配置:dfs.datanode.synconclose 设为true,当为false时,系统重启或断电时有可能数据丢失,默认值是falsedfs.datanode.sync.behind.writes=FALSE 如果是true,写之后,DN将指示操作系统把队列中的数据全部立原创 2017-03-28 22:24:46 · 5975 阅读 · 0 评论 -
HBase&HDFS异构存储的使用&简单介绍
使用方式:首先,开启hdfs异构存储策略,配置项是——dfs.storage.policy.enabled,该配置默认是开启的(true);第二步,需要将机器物理硬件上已经部署好的磁盘配置添加到hdfs的配置项dfs.datanode.data.dir中,需要注意的对于SSD盘或者RAM_DISK需要打上特殊的标记,类似[SSD]、[RAM_DISK],配置示例如下:原创 2017-04-22 12:14:23 · 6378 阅读 · 1 评论