![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 82
Jay7925417
这个作者很懒,什么都没留下…
展开
-
eclipse hadoop插件安装及问题
1、安装步骤参考:https://blog.csdn.net/tanggao1314/article/details/51225240https://www.cnblogs.com/shishanyuan/p/4178732.html2、参考上面安装插件,结果第一步就失败了,eclipse上什么都没有https://blog.csdn.net/forking2009/article/details...转载 2018-05-04 13:59:01 · 1513 阅读 · 2 评论 -
sqoop常用命令
命令:1、export :将hadoop数据文件导入到数据库中2、import :将数据导出到hadoop文件系统中参数解释:--connect 数据库连接命令--username 数据库用户名--password 数据库用户密码--export-dir 导入的hadoop文件(由hadoop导入到数据库)--target-dir 导出的hadoop文件(由数据库导出hadoop)--table...原创 2018-05-17 15:49:09 · 269 阅读 · 0 评论 -
hadoop jar打包执行问题及解决
1、运行hadoop jar ./WordCount.jar出现提示:RunJar jarFile [mainClass] args...2、运行时增加mainclass类名hadoop jar ./WordCount.jar WCDriver出现提示:Exception in thread "main" java.lang.ClassNotFoundException: WCDriver ...原创 2018-05-05 23:45:49 · 3958 阅读 · 0 评论 -
hadoop reducer不执行问题及解决
一、问题描述:在eclipse上通过hadoop插件自动生成mapper、reducer、main方法类实现wordcount的统计。待处理的文件内容:hello tomhello joyhello rosehello joyhello jerryhello tomhello rosehello joy测试了几次,处理的结果都为:hello 1hello 1hello 1hello 1hello ...原创 2018-05-07 15:36:47 · 2365 阅读 · 0 评论 -
hadoop集群安装及测试
在低配置虚拟机环境下测试安装hadoop集群环境。1、集群实现准备1.1 集群实现思路1.2 虚拟机配置建议配置:1G内存,2个CPU由于测试机器配置有限,实际设置4台虚拟机,每台分配245M内存,1个CPU1.3 集群节点分配为避免单点故障,NameNode 、ResourceManager均配置热备节点Park01 Zookeeper NameNode (active)ResourceMan...原创 2018-06-03 13:29:01 · 1399 阅读 · 0 评论 -
flume-ng命令
flume-ng命令帮助:[root@hadoop01 apache-flume-1.6.0-bin]# ./bin/flume-ng helpUsage: ./flume-ng <command> [options]...commands: help display this help text agent ...原创 2018-05-31 10:20:14 · 5319 阅读 · 0 评论