Docker中Spring boot+VueJS+MongoDB的前后端分离哲学摔跤

　　此文献给对数据有热情，想长期从事此行业的年轻人，希望对你们有所启发，并快速调整思路和方向，让自己的职业生涯有更好的发展。
　　
　　根据数据应用的不同阶段，本文将从数据底层到最后应用，来谈谈那些数据人的必备技能。
　　
　　1、大数据平台
　　
　　目前很火，数据源头，各种炫酷新技术，搭建Hadoop、Hive、Spark、Kylin、Druid、Beam~，前提是你要懂Java，很多平台都是用Java开发的。
　　
　　目前很多企业都把数据采集下来了，对于传统的业务数据，用传统的数据是完全够用的，可是对于用户行为和点击行为这些数据或者很多非结构化的数据，文本、图像和文本类的，由于数据量太大，很多公司都不知道怎么进行存储。
　　
　　在这里还是要推荐下我自己建的大数据学习群:199427210，群里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入,大家都是软件开发党，不定期分享干货（只有大数据软件开发相关的），包括我自己整理的一份最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深入大数据的小伙伴加入。
　　
　　这里面要解决的是实时、近实时和离线的大数据框架如何搭建，各数据流之间如何耦合和解耦，如何进行容灾、平台稳定、可用是需要重点考虑的。
　　
　　我的感觉是：最近两三年中，这块人才还是很稀缺的，因为大数据概念炒作的这么厉害，很多企业都被忽悠说，我们也来开始进入大数据行业吧。进入的前提之一就是需要把数据存储下来，特别是很多用户行为方面的数据，对于业务的提升比较明显的，如果你能很好的刻画用户，那么对你的产品设计、市场营销、开发市场都是有帮助的。现阶段，很多公司都要做第一步：存储更多的数据。这也是这块人员流动性比较高的原因，都被高薪挖走了。
　　
　　这块工作最被吐槽的一点就是：Hive速度好慢，SQL查询好慢，集群怎么又挂掉了，hadoop版本升级后，怎么数据跑出来不对了等等。
　　
　　如果想在这块做的很好，还需要有整个系统架构的设计能力、比较的强的抗压能力和解决问题的能力、资源收集的能力，可以打入开源社区，这样就可以随时follow最新的潮流和技术。
　　
　　2、数据可视化
　　
　　这是个很炫的工作，最好是能懂点前端，比如js。数据可视化人员需要有很好的分析思维，不能为了炫技而忽视对业务的帮助程度。因为我对这个岗位客串的不多，所以没有特别深入的感悟，不过我觉得这个岗位需要有分析的能力，才能把可视化做好。
　　
　　另外一方面来说，做数据应用的人都应该懂点数据可视化，要知道观点表达的素材顺序是：图片>表格>文字，一个能够用图片来阐述的机会千万别用文字来描述，因为这样更易于让别人理解。要知道，给大领导讲解事情的时候，需要把大领导设想成是个“数据白痴”，这样才能把一件事情说的比较生动。
　　
　　3、数据分析师
　　
　　对于数据分析师的定位：个人认为，成为优秀的数据分析师是非常难的，现在市面上也没有多少优秀的分析师。数据分析师的技能要求，除了会数据分析、提炼结论、洞察数据背后的原因之外，还需要了解业务，懂算法。
　　
　　只有这样，当面对一个业务问题时，数据分析师们才可以针对问题抽丝剥茧，层层递进去解决问题，再根据定位的问题进行策略的应对，比如是先做上策略进行测试还是应用算法进行优化，用算法用在哪个场景上，能不能用算法来解决问题。
　　
　　一个优秀的数据分析师，是个精通业务和算法的全能数据科学家，不是那个只会听从业务的需求而进行拉数据、做报表、只做分析的闲杂人等。我们都说分析要给出结论，优秀分析师的结论就是一个能解决问题的一揽子策略和应对措施，同时很多需求是分析师去主动发现并通过数据来挖掘出来的。
　　
　　>>> res = Students.objects.order_by(Lower('name'))
　　
　　>>> print(res.query)
　　
　　SELECT `teacher_students`www.zhenghongyule.cn/ .`id`,www.jiahuayulpt.com `teacher_students`.`name`, `teacher_students`.`age`, `teacher_students`.`sex`, `teacher_students`.`qq`, `teacher_students`.`phone`, `teacher_students`.`c_time` FROM `teacher_students` ORDER BY LOWER(`teacher_students`.`name`) ASC
　　
　　#LOWER是数据库本身的功能，它把字段的内容(`www.tianjuyuLe.cn teacher_students`.`name`) 变成大写排序。
　　
　　>>> res
　　
　　<QuerySet [<Students: www.yongshiyule178.com/ ABC-5>, <www.yingka178.com Students: abc-6>, <Students: XiaoHong-16>, <Students: 刘一-19>, <Students: 孙奇-29>, <Students: 小明-16>, <Students: 张三-23>, <www.michenggw.com Students: 李思-17>, <Students: 王五ents: 赵柳-22>, <Students: 赵柳-19>]>
　　
　　复制代码
　　
　　倒序
　　
　　复制代码
　　
　　>>> res = Students.objects.order_by(Lower('name').desc())
　　
　　>>> print(res.query)
　　
　　SELECT `teacher_students`.`id`,www.tiaotiaoylzc.com `teacher_students`.`name`, `teacher_students`.`age`, `teacher_students`.`sex`, `teacher_students`www.dfgjpt.com.`qq`, `teacher_students`.`phone`, `teacher_students`.`c_time` FROM `teacher_students` ORDER BY LOWER(`teacher_students`.`name`) DESC
　　
　　>>> res
　　
　　<QuerySet [<Students: 赵柳-22>, <Students: 赵柳-19>, <Students: 王五-24>, <Students: 李思-17>, <Students: 张三-23>, <Students: 小明-16>, <Students: 孙奇-29>, <Students: 刘一-19>, <www.yongshi123.cn Students: Xiaents: ABC-5>, <Students: abc-6>]>
　　
　　复制代码
　　
　　切片
　　
　　等同于MySQL里面的LIMIT,OFFSET,数量量和偏移量，和python的列表切片用法相似，不支持负索引，数量量大时不用步长
　　
　　***切片过后，不再支持附加的过滤条件与排序，条件需要放在切片之前。
　　
　　复制代码
　　
　　>>>res = Students.objects.all()[:5]
　　
　　>>>print(res.query)
　　
　　SELECT `teacher_students`.`id`, `teacher_students`.`name`, `teacher_students`.`age`, `teacher_students`.`sex`, `teacher_students`.`qq`, `teacher_students`.`phone`, `teacher_students`.`c_time` FROM `teacher_students` LIMIT 5
　　
　　>>>res = Students.objects.all()[2:6]
　　
　　>>>print(res.query) #打印出他的sql语句
　　
　　SELECT `teacher_students`.`id`, `teacher_students`.`name`, `teacher_students`.`age`, `teacher_students`.`sex`, `teacher_students`.`qq`, `teacher_students`.`phone`, `teacher_students`.`c_time` FROM `teacher_students` LIMIT 4 OFFSET 2
　　
　　>>>res = Students.objects.all()[::2]
　　
　　>>>res
　　
　　[<Students: 小明-16>, <Students: 赵柳-22>, <Students: 赵柳-19>, <Students: abc-6>]
　　
　　从上述描述中，可以看到对数据分析师的要求是：会写sql拉数据，精通业务、会数据洞察、精通算法，主动性强，要求还是很高的。
　　
　　4、数据挖掘/算法
　　
　　对于这个岗位的技能要求来说，没有要求你一定要从零开始实现所有的算法，现在有很多现成的算法包进行调用。最基本的要求是，你要知道每个场景会用到哪个算法，比如分类场景，常用的分类算法就有LR/RF/Xgboost/ET等等，此外，你还要知道每个算法的有效优化参数是什么、模型效果不好的时候怎么优化。还需要有算法的实现能力，语言方面可以用Scala/python/R/Java等。我们常说：工具不重要，重要的是你玩工具，不是工具玩你。
　　
　　另外针对有监督式学习算法，算法工程师最好有很好的业务sense，这样在feature设计的时候才能更有针对性，设计的feature才有可能有很好的先验性。
　　
　　以上说了这么多，唠叨了这么多，其实核心就是：如何用数据创造价值，如果你没有用数据创造价值的能力，那么就只能等着被数据淹没，被数据拍死在职场上，早早到达职业的天花板。

转载于:https://www.cnblogs.com/qwangxiao/p/10458600.html