大数据
凌月衡
这个作者很懒,什么都没留下…
展开
-
hadoop程序同时输出到hdfs和hbase中
hadoop程序同时输出到hdfs和hbase中感觉网上相关信息较少,于是把自己使用的方法记录一下reducer要继承自TableReducer,这样才能在main函数中配置输出的表 TableMapReduceUtil.initTableReducerJob($(table), InvertedIndexReducer.class, job);输出使用Multipleoutp...原创 2018-05-17 18:55:18 · 511 阅读 · 0 评论 -
Hadoop 运行wordcount任务卡在job running的一种解决办法
Hadoop 运行wordcount任务卡在runnning job的一种解决办法在使用Mac系统构建本地伪分布式hadoop系统,遇到如下问题网上有较多的解决办法,但是均不能解决我的问题,后来经过google查询之后,对yarn-site.xml 添加以下配置信息<property> <name>yarn.nodemanager.disk-he...原创 2018-05-15 01:18:28 · 5886 阅读 · 1 评论 -
Mac运行hadoop程序出现Mkdirs failed to create问题
Mac运行hadoop程序出现Mkdirs failed to create问题Mac系统运行hadoop程序出现如下问题 解决方案来源自:Mac下hadoop运行word count的坑该问题仅出现在macOS系统下,其解释为 The issue is that a /tmp/hadoop-xxx/xxx/LICENSE file and a /tmp/hadoop-x...原创 2018-05-15 01:30:15 · 2334 阅读 · 0 评论