我眼中的大数据现状!
其实个人在大数据在大数据这个坑中，细细算来时间也有3years了，从一开始做大数据中心平台开发构建，到现在关注的数据上层应用挖掘。所以，基本上从数据收集- 数据处理(离线实时，并且还勉强算是国内实时处理早期的实践者)- 数据上层应用挖掘，这个链路都走了一遍。
并且加上手里一千多人的大数据圈子，发起组织线下技术沙龙等等经历，坑内里的做的并不算十分的多，但是通过一些交流，接触过的这方面的东西还是不少的。
所以，不至于有资格说对这个技术方向有啥定论，但是一些自己的看法见解还是有滴。
说起大数据，有个成语可以来形容一下它的现状： 遍地开花!
如今，在国内，只要是个IT公司(说的是非传统行业)，出去的时候，感觉要是说自己公司没有涉足大数据都不好意思。
所以，现在的情况大部分是这样的：一个创业公司哪怕只有十多人的开发团队，也非得整一个大数据小组出来，我们不止要做大数据离线处理，还要做离线处理，不止有数据分析报表，我们还得进行深度的数据挖掘，做到精准的个性化推荐，流弊的数据预测!
----，寥寥数人，不止要搭起一整套完整的数据收集、数据传输、数据离线实时处理，不止要维护hadoop集群、spark集群、storm集群的稳定性，抽空还要做深层数据挖掘，还要研究工业化流弊的算法。
你们招的这些人不是攻城狮啊，是神啊!这么流弊!
其实我并没有说这种做法一定是错的，只是行业现状真心很多这种情况。如今，大数据确实是异常略微畸形的火爆!
至于说大数据这个技术方向为何会如此的爆炸，个人的观点可能和大部分的观点一样：一方面是数据积累到一定程度了;另一方面是大规模数据处理技术的日渐成熟，其中当然以hadoop生态为代表。
但在不久前，我曾和一个创业公司的COE聊过这个话题，他的观点很新颖。他反驳了我的观点，他说中国现在之所以大数据遍地开花，是由于赚钱模式变了。
他说，在以前，随便搞点啥都能拉到一大堆投资，但现在经济形势不一样了，必须想其他新的触发点，那就是数据，并且围绕数据而产生新的利益点，这样，投资人才愿意投钱进来，所以是个公司都愿意和大数据沾点边，不然都不好意思出去说。
就个人而言，其实感觉他说的也挺有道理的，不过我依然保持自己的看法，只是两人看待事情的角度有些不一样，我是从技术的角度去解析这个情况，而他则更多从创业者的角度图去解释这个事情。无关对错! 就目前来说，业内大数据遍地开花这个情况确实是存在的，个人感觉大体上有如下的具体变化：
(1)涉足的数据处理方式上来说，大规模离线处理已经被玩坏了，稍微有点实力的公司都已经开始离线、实时并行了(近一两Storm、Spark强势崛起);
(2)而在数据来源上，已经不再局限于自个的数据了，越来越多的公司开始爬取互联网上的公共数据(我曾在《DT时代变革的反思》一文中比较详细的分析过这个数据新来源);
而在数据的上层应用上，也已经不再局限于多维统计分析，渐渐得向用户画像、精准个性化推荐、业务的预测等方向靠拢(但实际上深层挖掘方面，国内还是很low的);
02
大数据年份这东西!
之前和朋友吃饭时聊的时候，他说到大数据这个技术方向的积累问题。他曾感叹到，大数据这个方向还是缺少底蕴。
我问他为何这么说，他说你见过十年以上的大数据专家么?其他行业方向，比比皆是!我顿时无语，大数据这个技术方向满打满算才发展不到六七年吧，上哪找十年以上的大数据专家去。
情况确实是这样的，基本可以分这几种情况吧：
(1)在这个坑里，真正五年以上的大数据背景的人，已经可以算的上是半个专家了，业内绝对是稀有动物(所以，经常看到那种招聘简历写到十年以上大数据行业背景，我就笑了);
(2)而诸如三四年的，会点数据架构，又会点上层数据应用挖掘的，估计至少也能算的是半个中坚了，这种人不算太少，但也绝对不算多;
(3)最多的是那种不到两年大数据行业背景的，特别是那种听闻大数据行情好，纷纷转过来一两年左右的，再就是那种一毕业就立志投身大数据行业的新人朋友，这类型的人应该是占据大数据从业人士中的绝大部分。
这个方向却是缺少累积的，经常在群中(storm-分布式-IT技术 191321336)遇到那种号称是搞大数据的，然后问到：hadoop和storm哪个比较好?
我的天呐，为何他们那么喜欢把两个不是一类东西放在一起比较?!我都无力吐槽了，就目前来说，大数据这个方向确实缺少底蕴，还略显浮夸，需要时间去积累。
03
企业在招什么样的大数据工程师?
(1) 刚洗白一两年的，或者立志为大数据行业做贡献的毕业生。
刚才说大数据行业遍地开花，人员稀缺，从个人经历来说，这真心是这种状况。
业务重心逐渐偏移到数据部，所以部门急剧扩招(当然也有老员工离职的问题)，近三个月来，我陆陆续续面 了大约有7个人左右吧。
面 的人中有两三年工作经验的，也有四五年工作经验的，当然也有刚毕业 。
看年份感觉都还不错是吧，但是如果你翻一翻简历就会哭了。就说说三到五年工作经验的吧。
简历中，项目经历一项一大溜啥XX管理系统、XX电商后端开发项目，翻了八九个项目，终于在最后看到辣么一两个大数据有关的项目。而掌握的技术中是各种的什么Spring MVC啊、SSH啊、js啊、甚至是php之类的，只有寥寥数个什么hadoop啥的，还不敢放在前头，当时我就哭了/(ㄒoㄒ)/~~。
情况真是这样的，工作经验足的，很多都是刚从其他技术领域转过来的，其中以开发java后端，诸如精通什么MVC框架的人群为主体。
能说上hadoop是怎么回事，会点MapReduce、Hive之类的是常态;会点Spark，能写Scala，知道Storm的，少之又少;能把整个数据框架流程说清楚的都是奇才了;至于说到大规模数据的深层挖掘，他们是这样说的“没怎么接触，但有这个兴趣去学”。
行情确实是这样的，大数据的坑挖的太大，所以各个公司都缺人，而且还是奇缺，所以也就有了上面我说的现象，各个行业，特别是传统IT行业的从业人士，纷纷转入互联网，投身大数据。而有点大数据经验的，大部分都是香馍馍似得供着，不愿意放手。
所以，最终我们这边实际情况就是，问HR咋回事，HR说JD发出去无数份，能拉过来面 的就酱紫了。
最终大老板发话了，说到：经验差点没关系，只要脑子活愿意学，就要!所以，7个人，offer就发出去4份。
但更悲剧还在后头，两个有大概平均1.5大数据经验的人，拿到offer后根本不鸟之，也也不知道后来去了哪个公司，而最后进来的是两个 应届毕业生。
所以，就目前来看，大数据行业的火爆带来的一个现状就是，大量的java开发人员转行，大数据行业背景平均在一年多，虽然如此，依然是供不应求的。
(2) 我们来看看一些“喜人”的招聘需求。
随便翻一翻招聘网站的职位需求，每天都有大量的大数据相关职位被刷新。然后结合刚才我们所说的一些混乱现状，你会发现很多“喜人”的招聘说明。
我希望的是，用人的公司也好、企业也好，看完这个之后，能对招人有个更清晰的定位。
我们要的是大数据行业专家!
JD 中是这么描述的，十年以上大数据领域经验，然后会XX，然后又得会XX。再多的俺就不多说了，结合刚才我们说的大数据行业历史。十年?我就呵呵了~~
我所看到的这种JD，大部分出自于传统IT行业(看到没，传统IT行业也开始追赶潮流了)，而互联网公司职位描述就含蓄多了，最起码他们不会动不动就要十年以上“砖家”。
而且还有一点个人想吐槽的就是，你说十年就十年吧，给待遇还奇低无比。关于这一点，互联网公司就比较明白事理的。
关于大数据薪酬这一块，我们再进行分析分析~~
我们要的是能进行大规模数据挖掘的人才!
关于数据挖掘，上面也稍微提到过一点，数据的上层应用挖掘，这个需求随着数据处理流程日益完善，数据的应用已经从简单的多维统计分析，慢慢得向深层挖掘过渡。
不说大规模数据，就说传统的数据挖掘，其实这块就国内的情况来看，还是处于比较初级的状态的。
我们经常看到这样的职位JD描述，Title写的是“数据挖掘工程师招聘”，然后附加条件是，熟悉大数据领域，会MapReduce、kafka、hadoop、storm、spark，熟悉ETL，对若干NoSQL了解熟悉，能够进行平台搭建，平台开发，能够进行数据处理，会分类、聚类、用户画像、个性化推荐各种算法。
最后在工作年限上写着“1-3年”(年份太足是很贵的嘛)。我的天啊，他们看样子不止是想招数据挖掘工程师啊。
他们像是在招ETL工程师;不对，应该是大数据平台开发工程师;也不对，好像确实是在招数据挖掘工程师，没看到有算法需求吗。
我赶脚呀，他们不是在招数据挖掘工程师，他们是在招一个全能工程师，是在招一个神啊。
1058
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
