关于大数据的那些事儿（一）

关于大数据的那些事儿（一）

---

作为开发者，在大数据时代我们到底需要会什么？

大数据到底是什么？
它是为了解决海量数据的存储和计算所出现的技术，包括结构化和非结构化数据
以及，存储数据的成本。

只会搭搭集群，写写map-reduce不是我们的核心竞争力所在，即使现在靠这个能混口饭吃，但是能够想象到，这种类型的人才是可以批量生产的！
因为这并不算是什么核心技术，只要你不傻，借助网上的资料，几个月的时间你就可以成为一名“大数据工程师”。
但是你的会东西别人也会，那么你的价值体现在哪里？

大数据的核心价值在于数据挖掘和机器学习等领域，这是能够改变人类生活的技术
无非就是干四件事情
聚类、分类、预测、回归
（1）将海量数据标准化
（2）选择算法模型进行训练分析，此过程中要注意过度拟合、拟合不足和维度危机等。
（3）构建用户画像，根据维度给用户贴标签等
（4）进行精准营销，准确预测和推荐

大数据工程师价值所在于能够平衡，平衡什么呢？
速度和精度
在速度和精度之间做出的衡量，这才是懂大数据人才的value所在

那么问题来了：
速度和精度无非两个方面
要么算法，要么底层构架

通过优化算法（优化模型，训练最优解，尽可能地减少迭代次数）
和优化系统的底层构架（I/O开销、网络开销、序列化和压缩等）

任何一个方面都是值得专研整个职业生涯的，浑浑噩噩地写代码，不知道知道为谁而写，写了是干嘛用的，不知道自己写的代码背后发生了什么，为什么要这样写，这并不是正真的程序员，在我的眼中程序员是能够创造世界的一群人。

仅作为和前辈交流的一点心得体会所记下。

另外收获了一些关于创业的感悟

• 1、你的idea是不是一种刚需？就想每天人们都需要吃饭一样，必不可少。
• 2、你的技术能否落地？落地不了的东西，那也只能是想想而已。
• 3、你的idea是不是有有社会价值？说的圣明一点，以赚钱为目的的创业成功的可能性不大，但是能有社会价值，促进生活的idea并不是那么多。
• 4、微创新，创业并不是要在某个领域颠覆传统，推倒所有竞争对手，你要做的有可能仅仅是在对手的基础上改进那么一点点，想想QQ和微信也许你就明白了。
• 5、好玩，这是互联网时代不可缺少的一个特性，你的作品不好玩，那就代表着没有用户粘性，结果如何可想而知。

作者：@小黑

转载于:https://www.cnblogs.com/jchubby/p/5449363.html