- 博客(23)
- 收藏
- 关注
RSS订阅原创 在大数据里读懂京东，你东哥为啥要裁员降薪？
1、京东的赚钱公式京东是一家电商公司。电商公司的变现方式，主要还是靠电商销售产生利润。大致的赚钱思路：净利润=流量*转化率*客单价*毛利润率-管理成本这其中，流量是很重要的，就好比你开门做生意，有没有客人光临，是衡量生意有没有得做的重要指标。至于进店多少人购买了商品，商品的定价情况及利润情况，房租进货等管理成本等等，是店家可以不断优化和调整的。但是流量，关乎有没有人喜欢这家店...
2019-04-27 21:20:30
428
原创 请查收！你收到一份月薪30k的大数据开发修炼指南
经常有初学者问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么?是计算机专业，对操作系统、硬件、网络、服务器感兴趣?是软件专业，对软件开发、编程、写代码感兴趣?还是数学、统计学专业，对数据和数字特别感兴趣。其实这就是想告...
2019-04-26 20:53:50
363
原创 Google工程师是怎么处理大规模数据的？
毫无疑问，Google是公认的大数据鼻祖。如今很多人提起大数据，还停留在Google 开启的“三驾马车”时代：Google FS、MapReduce、BigTable。其实，“三驾马车”早已不是浪潮之巅。近年来，大数据技术的发展，不论是技术迭代，还是生态圈的繁荣，都远超我们的想象。从 Spark 成为 Hadoop 生态的一部分，到 Flink 横空出世挑战 Spark 成为大数据处理领域的...
2019-04-25 11:18:55
232
原创 Kafka如何实现每秒上百万的超高并发写入？掌握好面试给你打满分！
这篇文章来聊一下 Kafka 的一些架构设计原理，这也是互联网公司面试时非常高频的技术考点。Kafka 是高吞吐低延迟的高并发、高性能的消息中间件，在大数据领域有极为广泛的运用。配置良好的 Kafka 集群甚至可以做到每秒几十万、上百万的超高并发写入。那么 Kafka 到底是如何做到这么高的吞吐量和性能的呢?这篇文章我们来详细说一下。页缓存技术 + 磁盘顺序写首先 Kafka 每次...
2019-04-24 14:14:32
516
原创 大数据入门到精通学习宝典
大数据处理技术怎么学习呢?在做大数据开发之前，因为Hadoop是高层次的语言开发，需要懂得Java或者Python，很快的就能上手。其实大数据并不是一种概念，而是一种方法论。简单来说，就是通过分析和挖掘全量的非抽样的数据辅助决策。大数据可以实现的应用可以概括为两个方向，一个是精准化定制，第二个是预测。比如像通过搜索引擎搜索同样的内容，每个人的结果却是大不相同的。再比如精准营销、百度的推广、淘宝...
2019-04-23 14:22:50
386
原创 学习大数据开发，这三个名词Hadoop，Spark，Kafka你都知道背后的故事吗？
Hadoop说起 hadoop ，可能现在许多人都不会陌生，但读就不一定读的对了。Hadoop的发音是 [hædu:p]。Hadoop这个名字是Hadoop项目创建者Doug Cutting 的儿子的一只玩具的名字。他的儿子一直称呼一只黄色的大象玩具为 Hadoop 。这刚好满足Cutting 的命名需求，简短，容易拼写和发音，毫无意义，不会在别处使用。于是 Hadoop 就...
2019-04-22 16:15:33
604
原创 什么是HBase ？所有的基础都在这儿了
2006 年10 月Google 发布三架马车之一的《Bigtable：A Distributed Storage System for Strctured Data》论文之后，Powerset 公司就宣布 HBase 在 Hadoop 项目中成立，作为子项目存在。后来，在2010 年左右逐渐成为 Apache 旗下的一个顶级项目。可能是实际应用中包装得太好，很多人对于 HBase 的认识止步于 ...
2019-04-19 21:06:55
222
原创 我是业务程序员，半年成功转型大数据开发
如果程序员只懂编程，其生存空间会越来越窄，发展也会处处受限。互联网公司，开发人员的日常工作任务，大致有如下几类：1. 产品人员需求（业务开发）；2. 运营人员需求（活动）；3. 以及技术团队自身技术更迭；从主动性来看，可能只有最后一种，是程序员自己真心喜欢的，其他的，都是被动接受。加上不懂业务的程序员，反抗精神不足，基本上产品和运营同学，提什么需求就做什么需求。我遇...
2019-04-18 15:23:58
451
原创 【大数据】什么是数据仓库？
阅读文本大概需要 3 分钟。数据库我们大家都知道，在平时的 Web 开发中用到的比较多。但是数据仓库是什么呢？他俩有啥区别呢？在开始之前先分享一个小故事：1.在很久很久以前，世界上生活着许多种族，有人类，有矮人，有精灵......他们有着不同的信仰，不同的文化，彼此相安无事。可是，有一个钢铁直男却偏偏想要统治整个世界。如何统治这么多不同文化信仰的种族呢？猥琐男想出一个馊主意，打造出...
2019-04-17 13:04:51
941
原创 大数据时代：数据告诉你，为何说起奥特曼，大家想到的都是迪迦！
于很多的小伙伴而言，日本真人特摄剧《奥特曼》系列是大家童年生活中记忆非常的深刻的存在吧！虽然从剧情的角度来说，奥特曼的剧情从现在来看确实是相当的幼稚，但是对于当时还是孩子的我们而言，这样充满了英雄主义的作品还是相当的带感而又热血的。小编依旧清晰的记得，当时年少的自己会在一放学之后就死死的守在电视机的面前等待着奥特曼的播放，在白日里上学的时候，与好友们谈论的也是奥特曼今天在剧情里做了什...
2019-04-15 14:49:28
545
原创 像数据科学家一样思考：12步指南（中）
7-工程产品下一步是建立统计软件。如果统计是分析和从数据中得出结论的框架，那么软件就是将这个框架付诸行动的工具。数据科学家必须为任何项目做出许多软件选择。如果你有一个喜欢的软件，这通常是一个不错的选择，但是有充分的理由去挑选别的东西。如果你是数据科学或统计软件的新手，或许很难找到一个起点。对大数据以及人工智能概念都是模糊不清的，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习...
2019-04-14 18:13:42
228
原创 2019年最全的大数据学习大纲总结，持续更新.....
一，题记要说当下IT行业什么最火？ABC无出其右。所谓ABC者，AI + Big Data + Cloud也，即人工智能、大数据和云计算(云平台)。每个领域目前都有行业领袖在引领前行，今天我们来讨论下大数据Big Data这个方向。二，大数据里面的角色角色一：大数据工程大数据工程需要解决数据的定义、收集、计算与保存的工作，因此大数据工程师们在设计和部署这样的系统时首...
2019-04-13 17:08:34
354
原创 像数据科学家一样思考：12步指南（上）
介绍目前，数据科学家正在受到很多关注，因此，有关数据科学的书籍正在激增。我看过很多关于数据科学的书籍，在我看来他们中的大多数更关注工具和技术，而不是数据科学中细微问题的解决。直到我遇到BrianGodsey的“像数据科学家一样思考”，它讨论了哪些工具最有用以及为什么，但主要目标是在智能，高效和成功的情况下完成数据科学工程，以解决实际数据中心问题的解决方案。数据科学项目的生命周期在书...
2019-04-12 12:15:27
259
原创 大数据，物联网和人工智能的关系
自从计算机首次发明以来，人们一直在寻找“下一件大事”。现在，由于近一半的世界拥有的手机速度比最早的超级计算机快，因此很难跟踪我们应该注意的事项。虽然许多利用强大技术的发明几乎没有成为头条新闻（有人见过智能冰箱吗？），但是使它们成为可能的进步常常成为同样炒作的牺牲品。 大数据，人工智能和物联网是近期最广泛滥用的三个术语，许多人不知道这些技术是如何联系在一起的，或者它...
2019-04-12 12:11:11
3053
转载 大数据概念完全解读
在写这篇大数据文章之前，我发现身边很多IT人对于这些热门的新技术、新趋势往往趋之若鹜却又很难说的透彻，如果你问他大数据是什么，什么是大数据概念？估计很少能说出一二三来。究其原因，一是因为大家对大数据这类新技术有着相同的原始渴求，至少知其然在聊天时不会显得很“土鳖”；二是在工作和生活环境中真正能参与实践大数据的案例实在太少了，所以大家没有必要花时间去知其所以然。我希望有些不一样，所以对该如何去认...
2019-04-11 12:24:05
930
原创 女性入行大数据不比男性差，性别偏见不存在的
性别的差别虽然越来越少，但确实存在。如果说，“女性比男性更不在乎钻戒和婚纱”相信很多人都会不相信，毕竟在现实的生活中，此类刻板而根深蒂固的印象有很多。那么，对于大数据这个领域，女性入行能否打破传统的“束缚”呢？诸如“女司机都是马路杀手”、“技术人员大多都是男性”等话题，相信很多人都屡见不鲜，但实际上，通过数据显示，女司机的事故爆发率比男司机低的多，在技术领域，也并不都是男性，女性也有着自...
2019-04-10 21:14:20
482
原创 大数据分析必须用python吗？
被大数据分析算法刷屏的各种推荐，刷个抖音，被频繁的推荐可能认识的人，其中就包括分手一年多的前女友；淘宝闲逛，推送的都是你妈妈搜索过的中老年大码女装；微博浑水，你多看了两秒钟“十二星座理想中的另一半”，往下刷的微博几乎都是关于星座的....我们之所以会被各种的推荐“刷屏”，都是因为企业越来越重视用户体验的结果，这背后都依托于大数据分析作为技术支撑，从而提高了产品的用户粘性，而BAT更是把大数据技...
2019-04-10 21:11:55
632
原创 成为高级大数据工程师的必备技能详解
国际数据公司IDC预测，到2020年，企业基于大数据计算分析平台的支出将突破5000亿美元，大数据解决方案在未来四年中，帮助全球企业分享大约1.6万亿美元新增收入的数据红利。数联寻英近日发布的首份《大数据人才报告》显示，目前全国大数据人才只有46万，未来3到5年人才缺口达150万之多。根据麦肯锡报告，仅仅在美国市场，2018年大数据人才和高级分析专家的人才缺口将高达19万。此外美国企业...
2019-04-09 16:30:16
956
原创 初级大数据工程师薪资15K起，未来10年还会上涨吗？
大数据的未来发展如何？大数据人才的就业前景怎么样？薪资水平是什么样的？今天这篇报告详述了大数据就业的前景和薪资。1大数据的价值现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。阿里巴巴创办人马云在演讲中就多次提到，未来的时代将不是IT时代，而是DT的时代，DT就是数据科技(Data Technology)。...
2019-04-07 16:23:07
557
原创 【大数据技术分享】数据清理的终极指南
我花了几个月的时间分析来自传感器、调查及日志等相关数据。无论我用多少图表，设计多么复杂的算法，结果总是会与预期不同。更糟糕的是，当你向首席执行官展示你的新发现时，他/她总会发现缺陷，你的发现与他们的理解完全不符- 毕竟，他们是比你更了解领域的专家，而你只是数据工程师或开发人员。你为你的模型引入了大量脏数据，没有清理数据，你告诉你的公司用这些结果做事情，结果肯定是错的。数据不正确或不一致会导...
2019-04-04 10:57:53
967
原创 转行为什么选择大数据开发？
昨晚睡眼朦胧的小编拼命的想睁开小眼睛补补课，怎奈两眼皮太过亲热，痴迷于彼此的缠绵，不过坚强的意志力还是在不断促使小手顺势划着屏幕。无意间从眼睛的眯缝中看到“房价、万科”几个字，小编瞬间从床上弹坐起来。先说好，小编并不是要买房，而是被醒目的[“活下去”——万科是在真哭还是假哭？]和[“活下去”！中原地产：万科都喊了 我们降薪不丢人]的标题惊醒了。这几年炒的火热的房价是真降了，有人欢喜...
2019-04-03 15:23:39
464
原创 大数据开发和java开发有什么不同？
最近发现有些同学并不太了解大数据开发工程师这个职位，所以想简单介绍一下什么是大数据开发工程师，当前互联网公司的数据开发到底是什么样子的？和一般的Java或者PHP工程师在工作上有什么区别？什么不是大数据开发？仅使用数据库（关系型mysql，sqlserver，oracle等 非关系型 mongo redis等），尽管数据量达到千万级别，亿级别不是大数据开发。从业务系统的数据库中查询数据...
2019-04-02 18:27:05
2471
原创 阿里大数据技术如何进化？资深技术专家带你回顾
一、阿里云大数据计算服务概述阿里巴巴大数据计算服务MaxCompute的前身叫做ODPS，是阿里巴巴内部统一的大数据平台，其实从ODPS到MaxCompute的转变就是整个阿里巴巴大数据平台的演化过程。所以在本次会着重分享阿里巴巴大数据在过去七八年的时间所走过的路以及后续技术发展大方向。首先做一个基本的定位，大家可以看到下面这张图是一个航空母舰战队。如果把阿里巴巴整体数据体系比作这个战队，...
2019-04-01 15:20:45
275
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人