写搜索引擎希望能尝试使用hadoop 来进行分布式查找结果,并顺便学学老早就想学的 hadoop。花了两个晚上的时间倒腾,总算跑出了第一个结果。。虽然很累,还是挺好的。下面陈列一下遇到的问题,希望对自己或者别人都能有些帮助。我自己用的是C++,在 win10 上用 vmware 装了 ubuntu 14.04 的虚拟机,然后装了 hadoop,没有使用 eclipse,因此选择学习的是 hadoop 的 streaming ,出错的时候真是不太好找资料啊。不过还好大部分错都是比较弱智的错误。囧!!
1.在ubuntu 下装单机/伪分布式配置的 hadoop
参考了一个很好的博客,从官网上下载到安装包后,就按照步骤走,花了一个晚上配置好了 hadoop,博客地址:Hadoop安装教程_单机/伪分布式配置。