谈谈MATLAB大数据处理

摘要： 今天多数的大数据方案都是依托Hadoop环境来做结构化和非结构化数据处理，如何把自己的Hadoop算法快速部署到实际的生产环境当中去，对很多企业的大数据部署也提出了挑战。CSDN专访MathWorks中国资深技术专家陈建平，分享大数据解决方案。

近年来，随着大数据在Google、Facebook等企业的成功应用，很多传统企业和初创公司都转向应用大数据技术挖掘数据金矿。现有企业累计了大量的工业数据，但是大数据的开发的复杂流程阻碍了企业快速从工业数据和商业数据中挖掘价值。行业专家（算法研究者）精通行业数据分析，却受限于编程复杂度和缺乏快速部署算法的方法，使很多创造性想法无法得到有效实施。在这个技术飞跃的时代，拥有大量工业数据的企业和技术专家们应该如何开展大数据技术的研发工作？

大数据从业者在数据搜集、数据探索、开发和部署的每一个阶段都会碰到各式各样的难题，不得不在不同的开发环境中进行切换，并为此付出了大量额外的时间和人力成本。在现有的数据资源上，如何对数据进行清洗、整合以及探索性研究，正是数据专家们发挥专长的地方；而这个过程所耗费的时间往往是编程实现的好几倍。今天多数的大数据方案都是依托Hadoop环境来做结构化和非结构化数据处理，如何把自己的Hadoop算法快速部署到实际的生产环境当中去，对很多企业的大数据部署也提出了挑战。

MathWorks公司的MATLAB软件在科研和工业生产上拥有大量的用户，而且在数据分析领域，MATLAB作为传统数据分析专业软件独树一帜。最近，针对大数据研发过程中关键点，基于大家熟悉的 MATLAB 开发环境，该公司提出一个完整的解决方案。下面我们就来看看他们关于大数据分析的流程，来自MathWorks公司的资深应用工程师陈建平对记