在HADOOP平台上运行MATLAB程序(Centos7系统)(incorporate)

“遇到的任何解决不了的问题，只是因为你没有找到对的教程而已。”这边只是把我遇到的问题和找到的合适的教程整理一下。希望有帮助。感谢学习路上遇到个每一个认识或者不认识的大神

之前写过一个教程，是standalone形式的，其实官网上还有一种是把map和reduce函数分别合并到hadoop的mapreduce的job里。

这是是standalone的官方教程https://ww2.mathworks.cn/help/compiler/hadoop/example-on-running-a-standalone-matlab-mapreduce-application.html

incorporate的官方教程https://ww2.mathworks.cn/help/compiler/hadoop/example-using-the-mcc-command-workflow.html

看两个的workflow就大概知道两个的区别了https://ww2.mathworks.cn/help/compiler/hadoop-integration.html?s_tid=CRUX_lftnav

上次集群崩了，重新弄了一个，然后测试了incorporate的example，遇到了一些问题。总结一下

• 第一个在服务器上安装matlab，淘宝买了个破解版，（这种做法不对，但是没钱买正版），安装教程https://www.linuxidc.com/Linux/2015-11/125153.htm
• 安装到 sudo ./install的时候报错

• 这个是因为没有序列号，https://blog.csdn.net/sw3300255/article/details/84521094这个博文里给出了解决方案

./install -mode silent -agreeToLicense yes -fileInstallationKey 1111-1111-1111-1111，后面1111填上自己的序列号就行了

• 装的时候遇到了各种打不开license文件的问题，其实是因为新手，不敢给自己太大权限，所以不敢用root用户，所以当前用户在matlab安装文件下的权限不够。那就简单了 sudo chmod -R 777 MATLAB，把matlab文件夹下的所有文件权限变成所有用户都能访问就可以了
• 装完matlab以后，报了internal error的错，打开就报错，然后就退出了。这个问题matlab官网上给出了解释https://ww2.mathworks.cn/support/bugreports/1297894，总之，要强制让matlab用系统文件，别用自己的文件，所以给他自己的文件重命名就可以了。这个错是把 sys/os/glnxa64文件夹下的libstdc++.so.6重命名就可以了 mv libstdc++.so.6 libstdc++.so.6.old
• 装了MCR环境以后要把它添加到环境变量，添加完发现ssh不管用了。报错，ssh: /usr/local/MATLAB/R2015b/bin/glnxa64/libcrypto.so.1.0.0: no version information available (required by ssh)而且提示的是openssh版本不一致，那就和之前的问题一样，matlab的文件和系统文件版本不一致，不能用matlab带的文件，要强制他用系统文件，所以把matlab自带的那个文件libcrypto.so.1.0.0重命名 mv libcrypto.so.1.0.0 libcrypto.so.1.0.0.old就可以了。

至此，matlab的问题完全解决了？呵呵呵。

anyway，反正现在matlab是正常了。然后照着教程来了。

首先会在hadoop在运行job的时候报一些小错，不报错我都不习惯了。比如报错

/libexec/ld-elf.so.1: /usr/local/lib/libssl.so.6: Undefined symbol "EVP_idea_cbc"

反正就是某个文件不对啊之类的，这个其实很简单，基本上和上面说的问题一样，matlab版本的问题，找到把它提示错的那些文件，都重命名就OK了。

然后就是卡在job running不动了。去master:8088上看工作情况，是一直在accepted，然后提示的错误是container is not running，或者是container is running beyond memory limits之类的，就是在集群配置的时候配置文件没有配置好，这个在stackoverflow有详细解答https://stackoverflow.com/questions/21005643/container-is-running-beyond-memory-limits

具体的yarn-site.xml和mapred-site.xml的内存配置需要根据集群内机器的具体情况决定。我现在也没很清楚。目前我的配置是这样的，集群有3台机器，每台4核cpu，8g内存。然后两个文件的配置是下图。可以运行，但是不知道这样配置合不合理。如果有大神的话求解答。

 

最后，每一个坑，不管有没有帮助，反正都躲不掉，那就努力解决吧。你要相信你遇到的问题，总有别人也遇到过，也总有别人解决了。耐心找到对应的教程吧。

或者，实在不行了，如果程序简单的话，直接自己写matlab并行程序吧。哈哈哈哈哈。好的，我去学习matlab和python并行程序的编程了。

 

更新，刚刚又发现了一个问题。重启集群以后，再运行一次测试，卡在了running job，提示是Container is not yet running. Current state is LOCALIZING Hadoop 2.6.5

后来发现是我master上的zookeeper没有启动成功