2018年07月_玩转程序人生

转载大数据——从推荐策略算法到推荐系统，到数据架构，再到产品设计

01 推荐策略以及算法的百花齐放承上，我们讲了最基础的基于内容属性本身的相似关系进行针对物品的推荐，再到基于用户的兴趣属性进行推荐，再过渡到基于协同关系进行推荐，其实这些都算是推荐的策略，说的更技术点就是推荐的算法。而推荐策略的想象力其实无限的，并不局限于某种固定的策略，只要从业务的角度走的通，其实都是可以的，当然具体的选择以及搭配问题，后面我会讲到。加我的群号大数据： 7...

2018-07-18 09:42:55 3926

原创大数据构建数据生态系列02——与研发的爱恨情仇

1 写在之前接上一章的架构图，我们知道我们只是起了个头，后续还有待完善的部分。这一章节暂时不讲，我们在上一章成果的基础上，讲述一下整个数据收集的相关故事，以及期间的一些收获和思考。主要是和研发团队之间的“爱情火花”。在数据生态的第一环中，最核心的问题就是基础数据的收集，这是一切的后续数据挖掘、使用的前提。而说到数据收集，通过埋点的数据收集则又是...

2018-07-18 09:32:41 388

原创大数据构建数据生态系列之01——拆解架构图

1写在前面，大数据发展越来越火2 结合业务需求拆解架构图这里，我们把之前一章已经上过的架构图再贴一次：先简单的从整体上说一下这个架构图。从架构图中，我们可以看出来，我们整个数据架构中，需要做的事情很多。随着数据的流向，从下到上，主要分三层：第一层是数据收集层，负责基础数据的收集工作；第二层是数据存储以及处理层，负责数据存储...

2018-07-18 09:17:26 917 1

转载大数据采集、清洗、处理：使用MapReduce进行离线数据分析完整案例

1 大数据处理的常用方法大数据处理目前比较流行的是两种方法，一种是离线处理，一种是在线处理，基本处理架构如下：在互联网应用中，不管是哪一种处理方式，其基本的数据来源都是日志数据，例如对于web应用来说，则可能是用户的访问日志、用户的点击日志等。如果对于数据的分析结果在时间上有比较严格的要求，则可以采用在线处理的方式来对数据进行分析，如使用Spark、Storm等进行处理。比较贴切的一个例子是天猫双...

2018-07-13 15:58:56 1141 1

原创大数据能做什么，给我们带来了什么

Hadoop和大数据是这两年最火的词儿们之一，越来越多的公司对这个东西感兴趣，但是我接触到的大多数公司里的人，无论是技术人员还是老板。都不知道怎么能把这些东西用于改善自己公司的业务。在解答的过程中，提炼出几个要点，记录一下。大数据和云是不是一回事？这是最容易混淆的概念之一，我个人认为这是两回事，云服务，无论是云主机还是云存储还是云的其他应用，都是向用户提供一个接口，但这个接口的后端是虚拟机技术，...

2018-07-13 15:51:43 2630

原创对大数据的思考，大数据发展是怎么样的？

看了许多关于大数据的分析文章后，发现自己有些乱了．在职的学习也进行的将近２个多月的时间，总算是对大数据有了一些了解，不敢说深入．且作为自己这两个月来学习的一个总结吧！　　说到当初为什么要选择这个专业，说来也巧合．工作五年了，感觉到工作上没有什么可以发展的地方了．想重新开始，正好想去了解一下软件方面的内容．看到有人推荐＜大数据时代的历史机遇与挑战＞后．对自己的一些思路有些开扩．所以就选择了，至少来说...

2018-07-12 17:12:12 865

转载 1分钟了解JAVA与大数据之间的关系

大数据无疑是目前IT领域的最受关注的热词之一。几乎凡事都要挂上点大数据，否则就显得你OUT了。如果再找一个可以跟大数据并驾齐驱的IT热词，JAVA无疑是跟大数据并驾齐驱的一个词语。很多人在提到大数据的时候总会想到JAVA,那么java和大数据到底有什么关系？Java是什么一提起JAVA，大家都不陌生，Java是一门高级的网络编程语言，对于我们现在所用的软件及APP都是后台java编写出来的，对于大...

2018-07-11 09:38:15 6676

转载 java程序员转职大数据的优势在哪里？

大数据时代，中国IT环境也将面临重新洗牌，不仅仅是企业，更是程序员们转型可遇而不可求的机遇。国内大多数大型互联网公司的程序员被称作研发工程师，但实际上国内几乎没有研发项目，只能叫做开发。开发程序员的工作大多是重复性劳动，容易产生疲惫感，薪资在工作2-5年内就达到了一个峰值，再要提升就比较困难，这样就导致了很多程序员最终转行做了其他行业。分享之前我还是要推荐下我自己创建的大数据学习交流Qun7102...

2018-07-11 09:31:10 307

转载 2018全球大数据产业将呈七大发展趋势

大数据”是今年达沃斯世界经济论坛的热词之一，与会各界都对云计算、大数据等驱动经济数字化转型因素表达了高度关注。而在年初举办的2018拉斯维加斯消费电子展（CES）上，美国消费技术协会总裁兼首席执行官加里·夏皮罗、英特尔首席执行官布莱恩·克尔扎尼奇等都表示，大数据将对人类生活产生深远影响，大数据是未来科技浪潮发展不容忽视的巨大推动力量，2018年全球大数据产业将得到强劲发展。　　2022年大数据市场...

2018-07-11 09:22:57 466

转载 2018年大数据发展趋势的十大预测，你知道几个？

报告对2018年大数据发展趋势进行了十大预测，包括：机器学习继续成为大数据智能分析的核心技术；人工智能和脑科学相结合，成为大数据分析领域的热点；数据科学带动多学科融合；数据学科虽然兴起，但是学科突破进展缓慢；推动数据立法，重视个人数据隐私；大数据预测和决策支持仍然是应用的主要形式；数据的语义化和知识化是数据价值的基础问题；基于海量知识的智能是主流智能模式；大数据的安全持续令人担忧；基于知识图谱的大...

2018-07-11 09:19:04 392

转载零基础编程可以学习大数据吗？大数据难不难学啊？

随着互联网行业的快速发展，一方面是大企业对大数据相关技术人才的高薪招聘，另一方面是国家政策的大力支持，使得大数据行业备受人们的关注。科多大数据带你了解一下大数据行业：面对这么一个热门的行业不少人对大数据产生了浓厚的兴趣，其中不少人是之前并没有接触过计算机技术，对编程语言也不是很了解，可以说是0基础的那种，他们想去自学又觉得太难没有信心学好。想去培训机构找专业老师学习的话，怕自己没有基础培训机构不收...

2018-07-11 09:05:33 1800

pythonxuexi的博客