2018年12月_小迪和夫人

原创从零开始学数据分析，什么程度可以找到工作？数据分析到底需要学习啥？

首先根据行业经验，做数据分析一般有这几个阶段：第一阶段一般岗位叫数据专员在这里小编给大家推荐一个数据分析学习qq群458345782，群里有教程分享，带大家零基础开始学基本学会Excel（VBA最好学会；会做透视表；熟练用筛选、排序、公式），做好PPT。这样很多传统公司的数据专员已经可以做了第二阶段数据专员~数据分析师这一阶段要会SQL，懂业务，加...

2018-12-31 00:37:23 247

原创大数据行业人士必知10大数据思维原理，可以让机器人读懂你！

大数据思维原理是什么?简单概括为10项原理，当样本数量足够大时，你会发现其实每个人都是一模一样的。1数据核心原理从“流程”核心转变为“数据”核心大数据时代，计算模式也发生了转变，从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。大数据下的新思维——计算模式的转变。...

2018-12-31 00:18:38 538

原创大数据专业就业前景及就业方向

什么是数据科学（Data Science）？随着科技的发展，人类社会拥有数据规模增长很快，每时每刻、从天到地都有大量数据被产生和存储下来。数据科学则通过对数据进行分析，帮助决策。比如这么多家社交网站，一天到晚从你的定位到点击了什么连接，各种鸡毛蒜皮的数据都存着，他们不怕数据多，就怕有什么没记录下来的。数据量的增大和数据的多样化也促进了很多公司、政府进行数据分析来支持商务决策（data dr...

2018-12-29 14:01:27 6267 1

原创 Spark这是要一统江湖的节奏

Spark创始人Matei最近在spark submmit上做了一次演讲，看了内容会发现spark这是要一统江湖的架势，一起来看看都介绍了什么内容。 Spark一直以来想做的一个事情就是统一整个大数据分析引擎，高层易用的API是核心竞争力。随着2.2版本出来，看起来又更进了一步。2.2版本重点搞了下面三件事：在这里我还是要推荐下我自己建的大数据学习交流qq裙：458345782， ...

2018-12-28 12:12:38 111

原创大数据开发工程师面试题(附答案)

之前采访毕业生的时候，有小伙伴提出意见，想看小编分享一些面试的干货，于是小编不负众望，今天给大家带来了一篇大神级面经，希望可以帮助即将毕业或正在找工作的小伙伴儿们，祝你们早日找到心仪的工作！在这里我还是要推荐下我自己建的大数据学习交流qq裙：458345782，裙里都是学大数据开发的，如果你正在学习大数据，小编欢迎你加入，大家都是软件开发党，不定期分享干货（只有大数据开发相关的），包...

2018-12-27 16:07:35 17010

原创大数据有十大应用领域，看看你用到了哪个？

如果提到“大数据”时，你会想到什么?也许大部分人会联想到庞大的服务器集群;或者联想到销售商提供的一些个性化的推荐和建议。如今大数据的深度和广度远不止这些，大数据已经在人类社会实践中发挥着巨大的优势，其利用价值也超出我们的想像。本文就来介绍大数据的十大应用领域。1.了解和定位客户这是大数据目前最广为人知的应用领域。很多企业热衷于社交媒体数据、浏览器日志、文本挖掘等各类数据集，通过大数...

2018-12-26 11:38:43 307

原创大数据类工程师面试题集锦附指南：互联网公司篇！

大数据工程师是近几年异常火爆的职位，市场需求旺盛，众多互联网公司都打出了高薪招聘的广告，本文整理了网络上部分技术人员分享的各大互联网公司大数据类(Hadoop、Spark等)面试题以及面试时需要注意的一些问题，希望对各位技术人员有所帮助。阿里巴巴　　阿里巴巴的面试轮次基本是三次，技术方面分为简单的项目经验了解和个人技术水平考察。部分网友将面试官分成了两类：一类是技术型，不断加深问题难度以测...

2018-12-25 11:34:55 450 1

原创不再迷茫大数据学习：带你从多个维度来分析大数据发展趋势

如今“大数据”已不再是单纯描述数据特征的词汇，而是一个多学科交融的热点研究领域，其背后有着复杂和深刻的新理念。带大家从“技术、工程、科学和应用”这四个维度分析大数据的研究现状与挑战，探讨未来研究的侧重点和发展趋势，如图3所示。1、纵向维度。“大数据技术”是大数据实践活动中应用的技术方案和工具等，基于信息流程视角，其相关技术涵盖数据采集、存储、传输、清洗、检索、处理和展示等多方面。虽然云...

2018-12-24 10:25:06 149

摘要：第一阶段:Linux课程讲解Linux基础操作,讲的是在命令行下进行文件系统的操作,这是Hadoop学习的基础,后面的所有视频都是基于linux操作的。鉴于很多学员没有linux基础,特增加该内容,保证零linux基础入门。如果你从没有使用过linux,别担心,本节内容可以让你入门。Linux认识linux如何使用vmware安装linux镜像认识linux的桌面环境、shell环境在she...

2018-12-22 14:20:08 205

原创大数据挖掘分析工具集

大数据时代需要大数据挖掘，我习惯把大数据分成四个领域：数据科学、网络科学、空间地理科学和可视化技术。最近的主要兴趣在空间地理领域，学习如何获取POI，Polygon，经纬度，空间匹配算法和可视化，一个全新领域有带来诸多大数据分析工具的思考和整合。恰巧看到一篇国外博客列举了大数据领域的分析工具，今天就接着把数据分析主要是大数据挖掘的工具集写下来，顺势俺再总结一下。我了解和喜欢的大数据挖掘...

2018-12-21 14:17:04 1704

原创来看看这些大数据术语，现在你能看懂几个？

导读：大数据与数据科学已成为大众耳熟能详的词汇，各行各业正在积极运用且开发大数据的价值，这些巨量数据也带来了巨大的商机。身处于“大数据时代”的我们，有必要认识一下这些与大数据相关的术语。大数据(Big Data)与数据科学(Data Science)已成为大众耳熟能详的词汇，各行各业正在积极运用且开发大数据的价值，这些巨量数据也带来了巨大的商机。这时，身处于“大数据时代”的...

2018-12-20 15:54:36 362

原创全面对比，深度解析 Ignite 与 Spark

经常有人拿 Ignite 和 Spark 进行比较，然后搞不清两者的区别和联系。Ignite 和 Spark，如果笼统归类，都可以归于内存计算平台，然而两者功能上虽然有交集，并且 Ignite 也会对 Spark 进行支持，但是不管是从定位上，还是从功能上来说，它们差别巨大，适用领域有显著的区别。本文从各个方面对此进行对比分析，供各位技术选型参考。一、综述Ignite 和 Spark 都为...

2018-12-19 17:15:27 167

原创单表千亿电信大数据场景，使用Spark+CarbonData替换Impala案例

【背景介绍】国内某移动局点使用Impala组件处理电信业务详单，每天处理约100TB左右详单，详单表记录每天大于百亿级别，在使用impala过程中存在以下问题:详单采用Parquet格式存储，数据表使用时间+MSISDN号码做分区，使用Impala查询，利用不上分区的查询场景，则查询性能比较差。在使用Impala过程中，遇到很多性能问题(比如catalog元数据膨胀导致元数据同步慢等)...

2018-12-18 15:53:20 216

原创企业如何实现对工业大数据的预处理？

数据分析，包括大数据分析，在企业的业务中，特别是在传统的商务行业，已有多年的应用实践，在消费者市场的营销中已成了必不可缺的技术。随着工业互联网和智能制造的兴起和发展，工业大数据技术也越来越受到各方关注。在“中国制造2025”的技术路线图中，工业大数据是作为重要突破点来规划的，而在未来的十年，以数据为核心构建的智能化体系会成为支撑智能制造和工业互联网的核心动力。对制造企业而言，不论是新实施的系统...

2018-12-17 10:19:12 387

原创深入大数据平台心脏：饿了么调度系统全解

随着饿了么在大数据应用的不断深入，需要解决任务数量增长快、任务多样化、任务关系复杂、任务执行效率低及任务失败不可控等问题。饿了么大数据平台现状：每天完成大数据任务计算 54000+;节点集群 85 台。开源解决方案OoizeOoize 基于工作流调度引擎，是雅虎的开源项目，属于 Java Web 应用程序。由 Oozie Client 和 Oozie Server 两个组件构成...

2018-12-16 21:59:20 784

原创大数据快速入门学习指南，4个月精通学习线路

很多人都知道大数据很火，就业很好，薪资很高，想往大数据方向发展。但该学哪些技术，学习路线是什么样的呢?用不用参加大数据培训呢?如果自己很迷茫。首先先问自己几个问题，你的专业是什么，你擅长什么，对于计算机/软件，你的兴趣是什么?是计算机专业，对操作系统、硬件、网络、服务器感兴趣?是软件专业，对软件开发、编程、写代码感兴趣?还是数学、统计学专业，对数据和数字特别感兴趣。其实这就是想告...

2018-12-15 23:18:09 227

原创程序员们要注意啦！99% 的创业公司都不值得加入！

前天晚上，一位朋友约晚饭，开始比较诧异，因为这位朋友半年前刚从一家大公司离职，去了另一个城市的一家初创公司。跟朋友聊过，初创公司规模不大，十几号人，老板是传统行业的生意人，进入技术服务行业创业，offer开的不错，现金部分比当时的公司高很多，还有不小比例的期权。朋友名校硕士毕业工作了三四年，有想法，能折腾，不安于现状，一直在找机会，想搏一把大的。碰面后细聊，朋友去创业公司3个月后，公司融资...

2018-12-14 23:20:18 355

原创深刻解读大数据技术在工业界的应用

大数据及其价值大数据是近几年非常热门的一个概念。到底什么叫做大数据呢？简单而言，就是具备4V属性的数据：Volume：量非常大，大到一台计算机所无法处理的数据； Variety：来源广泛，包括文本、图像、语音、机器传感器信号、日算计程序日志等；Velocity：产生速度非常快；Veracity：准确性要求高。关于大数据，有许多大家耳熟能详的经典案例，比如沃尔玛的“啤...

2018-12-12 23:01:50 767

原创除了Hadoop，还有6个你必须知道的热门大数据技术

你知道新的市场领导者和曾经的领导者之间的关键区别是什么吗? 那就是“数据管理”。任何无法处理数据并将其投入使用的企业，很可能会让位给那些能够更好处理数据的。事实上，大数据和其流动性的力量能促使企业发展。大数据是大量数据的术语。由于数据的来源渠道众多，导致其太多样，太庞大，传统技术难以处理。这使得利用技术和基础设施对其进行有效处理十分重要。这些数据必须通过计算来...

2018-12-11 23:01:06 1202

原创 Spark大数据平台应用实战

对于一个具有相当技术门槛与复杂度的平台，Spark从诞生到正式版本的成熟，经历的时间如此之短，让人惊诧。2009年，Spark诞生于伯克利大学AMPLab，于2010年正式开源，2013年成为了Apache基金项目，2014年成为Apache基金的较高级项目，整个过程不到五年时间。2015年是Spark飞速发展的一年，Spark成为了现在大数据领域最火的开源软件，截止2015年，Spark的C...

2018-12-10 21:28:53 1171

原创大数据工程师年薪50W+的必修术

自2013年起，无论是 BAT 还是传统的商业公司，都陆续在自己的软件系统中大规模使用大数据技术。不仅如此，越来越多的软件工程师开始转型成为大数据工程师，从事大数据开发与应用的工作。市场对于大数据的人才需求与日俱增，大数据方向俨然成为了业内炙手可热的职位。但是，不论是大数据的技术还是应用，都始终处于动态变化的过程中。这对很多刚开始接触大数据、考虑使用大数据的人来说，无疑带来了很多困惑。 ...

2018-12-08 19:08:47 892

原创 DKhadoop大数据平台基础框架方案概述

大数据作为当下最为热门的事件之一，其实已经不算是很新鲜的事情了。如果是三五年前在讨论大数据，那可能会给人一种很新鲜的感觉。大数据作为当下最为重要的一项战略资源，已经是越来越得到国家和企业的高度重视，我们从大数据被上升到国家战略层面就可窥见一二！现在关于大数据的知识分享可以说已经是铺天盖地了，作为新手入门想查询的信息基本都可以通过网络查询到一些。我对的大数据的了解其实也不是特别丰富，毕竟学习的时...

2018-12-07 17:41:57 177

原创大数据HBase在阿里搜索中的应用实践

HBase作为淘宝全网索引构建以及在线机器学习平台的核心存储系统，是阿里搜索基础架构的重要组成部分。本文我们将介绍HBase在阿里搜索的历史、规模，应用的场景以及在实际应用当中遇到的问题和优化。HBase在阿里搜索的历史、规模和服务能力历史：阿里搜索于2010年开始使用HBase，从最早到目前已经有十余个版本。目前使用的版本是在社区版本的基础上经过大量优化而成。社区版本建议不要使用1.1....

2018-12-06 14:24:48 202

原创 2018年决定你薪资的大数据相关的【十大技术】

大数据技术指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 1、Java编程技术 Java编程技术是大数据学习的基础，Java是一种强类型语言，拥有极高的跨平台能力，可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等，是大数据工程师最喜...

2018-12-05 21:48:14 186

原创大数据，是个没有感情的杀手？一文解析大数据时代的利和弊

01瘆人的大数据上个月小柒邀请闺蜜们来家喝茶聊天，大家讨论去海边的旅游计划。聊着聊着，小爱同学突然插话:“我也要去”，吓得我赶紧拔掉了小爱的插头。姐妹们各回各家，小柒躺下刷手机，今日头条给我推送了刚才讨论的海边民宿，顿时睡意全无……周末去上海学习了两天《信息技术与管理》，再次被大数据的发展震撼到。伴随着近几年大数据的发展，我们的衣、食、住、行、社交，几乎完全被大数据掌控。...

2018-12-04 18:17:58 641

原创 2018年大数据工程师面试题，99%会机率碰到的海量题

现在全国各省正处于招聘的高峰期，面试者也越来越紧张，都希望有高人指点一二，倘若有面试题能提示一下，那面试能拿到offer的机会便大的多，下面就是一些常见的大数据面试题，希望能帮助你们一二:打起十二分精神加油/加油在说整体之前，我们先了解下大数据，曾经哈佛大学社会学教授加里·金（崇拜/崇拜）说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域...

2018-12-03 22:14:58 1216

原创【零基础学习】大数据挖掘的33个知识点整理

下面是一些关于大数据挖掘的知识点，今天和大家一起来学习一下。1. 数据、信息和知识是广义数据表现的不同形式。2. 主要知识模式类型有：广义知识，关联知识，类知识，预测型知识，特异型知识3. web挖掘研究的主要流派有：Web结构挖掘、Web使用挖掘、Web内容挖掘4. 一般地说，KDD是一个多步骤的处理过程，一般分为问题定义、数据抽取、数据预处理、.数据挖掘以及模式评估等基本阶段。...

2018-12-02 21:36:15 223

jiawoxuexiqq30294961的博客