- 博客(4)
- 资源 (2)
- 收藏
- 关注
原创 关于hadoop2.5.2运行MapReduce计算框架依赖最少jar包问题
问题描述:在hadoop2.5.2中的MapReduce计算框架上,利用Java代码执行分析任务时,需要导入必要的jar包。一般可直接导入/home/hadoop-2.5.1/share/hadoop/目录下的所有jar包,共计184个,大小为65.6M。这样,在Eclipse中执行代码时,会因为引用jar包过多,导致运行卡顿;另外在将整个工程导出为.jar文件(其中包括所有需要引用的jar文件)...
2018-03-30 21:07:04 699
原创 在windows调用hadoop时出现的错误及解决办法
问题描述:在利用Eclipse将程序打包成jar包,在Eclipse中调用时,出现以下错误ExitCodeException exitCode=1: /bin/bash: line 0: fg: no job control at org.apache.hadoop.util.Shell.runCommand(Shell.java:538) at org.apache.hadoop.util.Sh...
2018-03-30 16:23:15 559
原创 hadoop-2.5.2本地测试环境下(利用java多线程模拟),提交MapReduce任务时出现的错误及解决办法
问题:最近在看视频写基于MapReduce的WordCount小例子,在本地测试环境下(即利用java多线程方式模拟,执行过程在本地,分析的文件和最终结果在服务器上),需要进行以下几步:①配置完hadoop的环境变量,HADOOP_HOME;②拷贝debug工具(winutils.exe)到HADOOP_HOME\bin目录下;③修改hadoop源码【注意:由于视频并未谈及如何修改源码,所以此步无...
2018-03-29 17:38:03 314
原创 关于远程工具无法连接VMware问题的两种解决办法
问题描述:之前已经配置过linux系统的网卡文件/etc/sysconfig/network-scripts/ifcfg-eth0了,依靠NAT服务能正常访问外网。但在电脑意外关机,导致VMware被强制关闭后,再次开机启动VMware时,发现用远程连接工具并不能连接到虚拟机中的linux,而且在cmd和虚拟机中互相ping对方ip地址,发现并不能ping通同时linux也不能访问外网。解决办...
2018-03-25 00:07:23 10827
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人