hadoop

hadoop下的map reduce有两种方式可以使用，一种是直接使用map reduce按照map reduce的格式进行变成，将输入输出的格式一定要一致。我目前看的程序是这样的，这个地方需要设置一些环境路径参数等，同时要注意在编程中只支持java，而在变成中有mapper reducer函数，要完成和hadoop的接口输入和输出。要设置一些东西，格式也要符合其格式要求。

另外一种方式是利用hadoop streaming，利用streaming，可以使用任何语言来运行。在这个过程中，任意支持输入输出的编程语言均可以用来运行和在hadoop下运行。同时其中的输入输出格式也不是像前一种情况那样需要有固定的输入输出格式。这种方式的调用和前一种的方式不是很一样，需要注意。同时在这个环境下，对编程的限制就没有那么大了，只要我们写好程序，按照需要的方式提交人物就行了。但是这种方式下，需要指定hadoop的详细版本，不像前面一样不用给出那么相信的信息。

除了这两种方式外，为了用C++编程，hadoop提供了管道的方式来完成调用和运行。

这些内容可以参考hadoop guide。我感觉我一直没有理解这个东西，等我在别人的帮助下，跑了一个程序后，才发现原来我自己开始练习的是streaming的方式，现在看别人的程序是用java写的直接用map reduce的方式。

我发现我对这种编程语言之类的东西，真的是很头大，接受的很慢，个中的各种细节是一头雾水。大概这就是我老公说我的，对这些东西排斥心理太重了？？？？可我真是觉得这玩意很BT啊，里面的东西我都整不明白啊。

加油，以积极的心态去面对每一个新的东东。