实习了已有一个礼拜之久,那么我就来写写我最近在大数据方面遇到的一些bug。熟悉mapreduce时,在windows平台下用eclipse远程连接hadoop进行开发的时候,直接从网上下载hadoop在eclipse的对应的插件,放到eclipse的插件目录下,网上有其他的教程,我就不一一说了,我就说说我在别人的经验之上遇到的新的问题把,在建立mapreduce的项目初期,要求配置端口号,我们使用的是cdh5的框架,所以一切都是用cdh5配置好的,而在远程服务器中并没有找到对应的mapred-site.xml的端口号。可能由于hadoop的不断更新,已经不用在mapred-site.xml中直接配置端口号,而是在yarn里面的ip.address的端口号更改之后就可以连上了,另外不能直接用主机的名字,而是用他的ip地址。
windows平台下的eclipse远程连接cdh5
最新推荐文章于 2022-11-04 16:38:00 发布
本文分享了在Windows平台上使用Eclipse进行MapReduce开发时遇到的问题及解决方案。重点介绍了如何配置端口号,并指出在CDH5框架下,不再直接在mapred-site.xml文件中配置端口,而是通过修改YARN中ip.address的端口实现。
摘要由CSDN通过智能技术生成