hadoop
tbssl
这个作者很懒,什么都没留下…
展开
-
hadoop 3.1.0 50070端口无法访问
原来是3.1.0版本,50070端口 -> 9870端口了所以把50070改成9870就可以了看网上的博客似乎3.0版本还是50070端口最近在开始学hadoop,遇到了各种各样奇奇怪怪的问题,结果发现看官方文档大多可以解决。这个问题耽误了我一整天,无数次重新配置才发现是版本的问题。。以此问题提醒自己要多看官方文档。。...原创 2018-04-28 12:50:20 · 4227 阅读 · 3 评论 -
在用map reduce时候遇到的问题
1.DistributedCacha不能用了: 一开始以为是mapreduce的版本不对或者hadoop的版本跟公司的平台不兼容,后来发现是 公司给禁了。。 解决办法:每个mapper/reducer都读从hdfs上面读一遍文件,缺点显而易见;将文件读好,然后用conf.set() 放在configuration中,缺点:数据量大的话肯定会出问题。 2.排序慢。 需求:需求中的一部...原创 2019-08-01 22:26:21 · 969 阅读 · 0 评论