Hadoop
文章平均质量分 80
qianmoQ
做一名低调的程序猿
展开
-
Hadoop 实战 - 访问HDFS出错
浏览器访问 HDFS 页面时,出现以下问题HTTP ERROR 500Problem accessing /nn_browsedfscontent.jsp. Reason: Can't browse the DFS since there are no live nodes available to redirect to.Caused by:java.io.IO原创 2015-05-28 17:14:54 · 1785 阅读 · 0 评论 -
Apache Ambari 03 - MySQL 存储配置
本文源自于:天天学 IT - 知识库复制 MySQL 连接jar包wget http://wiki.ttxit.com/download/attachments/3506679/mysql-connector-java.jar?version=1&modificationDate=1484216591000&api=v2mkdir -p /usr/share/java && scp mysql-c原创 2017-03-15 17:08:22 · 890 阅读 · 0 评论 -
学习资料/中文网大放送
中文网集结号Ambari中文网 Druid中文网-备案中SpringBoot中文网-备案中维基中文网-备案中Spring全家桶-备案中Spring中文网-备案中Apache中文网-备案中微信公众号集结号Ambari中文网 (china-ambari)轻课堂(edurtcom)更多公众号申请中… ...原创 2018-04-26 13:55:50 · 64106 阅读 · 0 评论 -
Hadoop小文件解决方案-基于NameNode内存和MapReduce性能解决方案
文章目录解决NameNode内存问题Hadoop存档文件Federated NameNodes解决MapReduce性能问题更改摄取过程/间隔批处理文件合并序列文件结论在第一篇文章中,我讨论了什么构成了一个小文件,以及为什么Hadoop存在小文件问题。我将一个小文件定义为小于Hadoop块大小75%的任何文件,并解释说由于NameNode内存使用和MapReduce性能,Hadoop更喜欢较少的...原创 2019-01-26 11:47:23 · 812 阅读 · 0 评论 -
Hadoop小文件解决方案-Hadoop小文件的前因后果
文章目录什么是小文件?为什么会出现小文件?为什么Hadoop有一个小文件问题?MapReduce的性能问题如果你有小文件,你会怎么做?Hadoop不适用于大量小文件,而是需要更少的大文件。这可能是您之前听过的声明。但是,为什么Hadoop会出现大量小文件的问题?而且,“小”究竟是什么意思呢?在本系列的第一部分中,我将回答这些问题。后续部分将讨论解决或解决小文件问题。什么是小文件?小文件可以...原创 2019-01-23 11:40:08 · 420 阅读 · 0 评论 -
Hadoop小文件解决方案-基于文件整合的解决方案
文章目录解决MapReduce性能问题HbaseS3DistCp使用CombineFileInputFormatHive配置使用Hadoop的附加功能选择解决方案通过研究一些不太常用的替代方案来解决MapReduce性能问题以及选择解决方案时要考虑的因素。解决MapReduce性能问题以下解决方案来缓解MapReduce性能问题:更改摄取过程/间隔批处理文件合并序列文件HBase...原创 2019-01-29 09:47:42 · 425 阅读 · 0 评论