mapreduce真的慢

2018/04/05
如果仔细考虑的话，肯定是我一些配置的问题，我在使用mapreduce进行文本处理的时候，发现这个处理过程是真的慢。
一开始没有对yarn进行配置，使用了半个小时，map和reduce任务都制定了。
在对yarn进行优化之后，速度提升了不少，但是还是慢。
现在又对这个reduce的数量进行设置，发现更快了，但是要注意我这里的任务本身不需要归约，所以不用reduce。
最后，处理使用了10分钟。

---

但是从这里也明显看出，这个任务的处理过程还是太慢了。
看来还是得用spark或者什么的，这就需要好好把其他的几个项目都用来干什么仔细了解才能知道怎么样变快。
另外，还有一件事要明白，本身我就是使用了两台机器，这也并不是多块。