大数据
Myhoooyo
这个作者很懒,什么都没留下…
展开
-
大数据到底在用什么姿势塑造我们?
从庞杂的数据背后挖掘、分析用户的行为习惯和喜好,找出更符合用户「口味」的产品和服务,并结合用户需求有针对性地调整和优化自身,就是大数据的价值。 元数据(Metadata)的概念 简单说,元数据是对数据本身进行描述的数据,它不是对象本身,它只描述对象的属性。 比如,一幅画本身,是数据。而这幅画的作者、完成时间、尺寸、价格、类型等等,就是它的元数据。元数据的价值...原创 2019-05-09 14:27:30 · 587 阅读 · 0 评论 -
大数据处理为何选择Spark,而不是Hadoop
Spark是一个用来实现快速而通用的集群计算的平台。在速度方面,Spark扩展了广泛使用的MapReduce计算模型,而且高效地支持更多计算模式,包括交互式查询和流处理。 一.基础知识 1.Spark Spark是一个用来实现快速而通用的集群计算的平台。 在速度方面,Spark扩展了广泛使用的MapReduce计算模型,而且高效地支持更多计算模式,包括交互式查询和流处理。 Sp...原创 2019-05-04 13:02:32 · 472 阅读 · 0 评论 -
大数据时代的10个重大变革
大数据时代的到来正在改变人们的生活方式、思维模式和研究范式,我们可以总结出10个重大变革。 NO.1 目标驱动型 → 数据驱动 决策方式 传统科学思维中,决策制定往往是“目标”或“模型”驱动的——根据目标(或模型)进行决策。然而,大数据时代出现了另一种思维模式,即数据驱动型决策,数据成为决策制定的主要“触发条件”和“重要依据”。例如,近年来,很多高新企业中的部门和岗位设置不再是“固化...原创 2019-05-04 13:01:31 · 1012 阅读 · 0 评论 -
玩转大数据可视化的几个必会工具
俗话说的好,逆水行舟,不进则退,在快速发展的今天,紧跟时代的步伐,抓住时代的脉搏,才能助力企业激流勇进,抢占先机。作为助力企业经营决策的大数据可视化应用,对于的企业发展起着至关重要的作用,但是如何利用大数据可视化,如何做好大数据可视化,今天小编就给大家介绍几款实用的工具,帮助大家在大数据的海洋里开发出一片宝藏。 1、ChartBlocks 如果你用够了PS、AI,ChartBlocks对你...原创 2019-05-04 13:00:07 · 602 阅读 · 0 评论 -
科普帖:五分钟快速了解大数据及其必备技能
当前,整个互联网正在从IT时代向DT时代演进,大数据技术也正在助力企业和公众敲开DT世界大门。虽然大数据潮流在默默的推进各种变革,但您真的了解大数据么? 大数据定义 一般而言,大数据是指数量庞大而复杂,传统的数据处理产品无法在合理的时间内捕获、管理和处理的数据集合。 这些大数据集可以包括结构化、非结构化和半结构化数据,需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量...原创 2019-05-04 12:58:39 · 574 阅读 · 0 评论 -
大数据在云端的应用需要改变IT技能集
如今,企业不断将大数据工作负载转移到云端。虽然此举并不需要彻底改变IT技能,但它确实需要对管理和开发团队进行一些更改。 而对于采用大数据来打包云计算,企业的团队为此准备好了吗? 即使企业在自己的数据中心内采用大数据,也不一定意味着他们将在云中取得成功。而且在大多数情况下,必须对工作人员进行培训,让其获得新的工作技能。 调研机构Enterprise Strate...原创 2019-05-04 12:57:13 · 705 阅读 · 0 评论 -
Hadoop进入寒冬期,崛起的会是Spark吗?
如果Hadoop开始进入寒冬期,率先崛起的会是呼声最高的Spark吗? 笔者曾经看过一个非常有趣的比喻,Hadoop是第一家大型包工队,可以组织一大堆人合作(HDFS)搬砖盖房(用MapReduce),但是速度比较慢。 Spark是另一家包工队,虽然成立得晚一些,但是他们搬砖很快很灵活,可以实时交互地盖房子,比Hadoop快得多。 Hadoop开始升级,指定调度专家YARN调度工人。S...原创 2019-05-04 12:56:14 · 315 阅读 · 0 评论 -
大数据入门与实战-Spark上手
1 Spark简介1.1 引言行业正在广泛使用Hadoop来分析他们的数据集。原因是Hadoop框架基于简单的编程模型(MapReduce),它使计算解决方案具有可扩展性,灵活性,容错性和成本效益。在这里,主要关注的是在查询之间的等待时间和运行程序的等待时间方面保持处理大型数据集的速度。Spark由Apache Software Foundation引入,用于加速Hadoop计算计算...原创 2019-05-03 12:43:46 · 393 阅读 · 1 评论 -
大数据开发工程师岗位分析
最近一年大数据火爆异常,各种培训班开课广告满天飞,很多做开发的朋友也想转到大数据这一行,在投递简历的时候进场被几个岗位搞迷糊,他们是大数据分析师,大数据研发工程师,大数据建模工程师,大数据挖掘工程师。我会根据前同事所在公司的相应岗位,列出岗位职责和要求,供大家借鉴。大数据开发工程师腾讯 大数据研发工程师职位描述:岗位职责:负责数据接入、数据清洗、底层重构,业务主题建模等工作;...原创 2019-05-03 12:42:15 · 1658 阅读 · 0 评论 -
如何用大数据做行为预测的?
“个数”是“个推”旗下面向 APP 开发者提供数据统计分析的产品。“个数”通过可视化埋点技术及大数据分析能力从用户属性、渠道质量、行业对比等维度对 APP 进行全面的统计分析。“个数”不仅可以及时统计用户的活跃、新增等,还可以分析卸载用户的成分、流向,此外还能实现流失、付费等用户关键行为的预测,从而帮助 APP 开发者实现用户精细化运营和全生命周期管理。其中很值得一提的是,“个数”在“可视化埋...原创 2019-05-03 12:41:21 · 2745 阅读 · 0 评论 -
大数据技术如何有效阻击网络黑产?
最近,互联网行业的“网络安全”事件频发。新三板公司瑞智华胜假借与运营商合作之名,非法窃取了30亿条用户数据,涉及BAT等近百家互联网公司的用户。有数据显示全球企业遭受网络攻击总量较去年增长15%,严重性增加了23%。网络安全事件不仅侵害了用户信息安全,也损害了互联网企业经营安全,其破坏性已经不再局限于传统意义上的物质、财产损失,而是影响到运营、制造乃至人身安全。APP运营中会遇到哪些网络黑...原创 2019-05-03 12:40:22 · 604 阅读 · 0 评论 -
数据中心,云计算,大数据之间有什么区别和联系?
不少人把数据中心、云计算数据中心、大数据搞混淆,觉得这三者是一样的产品,其实有显着地区别,数据中心机房是一整套复杂的设施,如今,云计算即将成为信息社会的公共资源,而数据中心则是支撑云计算服务的基础设施,所以自从云计算横空出世,一切信息技术都开始围着它转,云计算有如神一样地存在着,下面看看数据中心、云计算、大数据之间有什么区别和联系? 数据中心:数据中心(Data Center)是全球协作的特...原创 2019-05-04 13:04:03 · 6188 阅读 · 1 评论 -
大数据可视化——5个必须知道的工具
人们常说,数据是组织的生命线。然而,解析这些数据并有效地使用仍然是一个挑战。 假设拥有一个巨大的金矿,但不能使用。那么,作为一个金矿的拥有者有什么用呢?大数据的情况与之相似。专家认为,如果企业不能分析数据来获得有用的信息,那么收集大量的数据就没有用处。 要解决这个问题,企业需要的关键武器是数据可视化工具。这些工具为企业收集数据提供了不同的见解。像微软和谷歌这样的大公司通过收集数据并应用它来...原创 2019-05-04 13:05:46 · 7069 阅读 · 0 评论 -
大数据入门的四个必备常识
一、大数据分析的五个基本方面 1、可视化分析 大数据分析的使用者有大数据分析专家,同时还有普通用户,但是他们二者对于大数据分析最基本的要求就是可视化分析,因为可视化分析能够直观的呈现大数据特点,同时能够非常容易被读者所接受,就如同看图说话一样简单明了。 2、数据挖掘算法 大数据分析的理论核心就是数据挖掘算法,各种数据挖掘的算法基于不同的数...原创 2019-05-09 14:25:02 · 737 阅读 · 0 评论 -
大数据,为什么不是传统BI的简单升级?
BI(BusinessIntelligence)即商务智能,它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助企业做出明智的业务经营决策。 大数据(Big Data),指在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信...原创 2019-05-09 14:23:14 · 584 阅读 · 0 评论 -
大数据主流工具,你知道几个?
业内有这样一种说法,SQL虽然在大数据分析领域久经考验,但是无奈长江后浪推前浪,和炙手可热的Hadoop相比,SQL已经过时了。这个说法有点言过其实,现在很多的项目都是将Hadoop作为数据存储,然后利用SQL进行前端查询。这说明Hadoop需要一种高级查询语言的支持。 Hadoop MapReduce虽然能够进行数据分析,但是太复杂了。于是,开发人员开发出了类似SQL的Pig和Hive。...原创 2019-05-09 14:22:13 · 1029 阅读 · 0 评论 -
大数据分析思路的4点心得
大数据分析能力对于一名产品经理来说是最基本的能力。 在面试的过程中,社招会有面试官会问你以往你负责的产品的相关数据,如何看待这些数据,如何通过这些数据来做接下来的产品优化;校招的面试官可能会问小伙伴们关于分析数据的思维;在产品经理的日常工作当中,要时长盯着数据的报表来分析产品的健康程度。本文不再对一些基本的数据定义再做描述,而是从分析的思路总结了一些心得,欢迎各位一起来讨论。 1.看...原创 2019-05-05 16:18:14 · 709 阅读 · 0 评论 -
如何让隐藏在大数据背后的价值发挥出来?
对于普通人来说,大数据离我们的生活很远,但它的威力已无所不在:信用卡公司追踪客户信息,能迅速发现资金异动,并向持卡人发出警示;能源公司利用气象数据分析,可以轻松选定安装风轮机的理想地点;瑞典首都斯德哥尔摩使用运算程序管理交通,令市区拥堵时间缩短一半……这些都与大数据有着千丝万缕的关系。 牛津大学教授维克托·迈尔-舍恩伯格在其新书《大数据时代》中说,这是一场“革命”,将对各行各业...原创 2019-05-05 16:17:06 · 826 阅读 · 0 评论 -
大数据如何使用
对于普通人来说,大数据离我们的生活很远,但它的威力已无所不在:信用卡公司追踪客户信息,能迅速发现资金异动,并向持卡人发出警示;能源公司利用气象数据分析,可以轻松选定安装风轮机的理想地点;瑞典首都斯德哥尔摩使用运算程序管理交通,令市区拥堵时间缩短一半……这些都与大数据有着千丝万缕的关系。 牛津大学教授维克托·迈尔-舍恩伯格在其新书《大数据时代》中说,这是一场“革命”,将对各行各业带来...原创 2019-05-05 16:16:07 · 1102 阅读 · 0 评论 -
关于大数据,你应该知道的50个专业术语
如果你刚接触大数据,你可能会觉得这个领域很难以理解,无从下手。不过,你可以从下面这份包含了 25 个大数据术语的清单入手,那么我们开始吧。 算法(Algorithm):算法可以理解成一种数学公式或用于进行数据分析的统计学过程。那么,「算法」又是何以与大数据扯上关系的呢?要知道,尽管算法这个词是一个统称,但是在这个流行大数据分析的时代,算法也经常被提及且变得越发流行。 分析...原创 2019-05-05 16:15:07 · 4869 阅读 · 2 评论 -
从大数据到人工智能 我们还有多远要走?
从广义上讲,人工智能的应用已经非常广泛,各大新闻客户端会根据你的阅读兴趣推送相关新闻、各大电商平台会根据你的购买习惯推送相关商品、几乎所有你浏览的网页所呈现的广告都与你的历史搜索相关……这些都可以称得上是人工智能。而且,与过去60年人工智能的发展主要集中在实验室里不同,新一轮的人工智能已经在诸多应用场景中发挥威力,应该说,新一轮的人工智能浪潮才刚刚开始。 从云计算到大数据,人工智能已...原创 2019-05-05 16:13:56 · 462 阅读 · 0 评论 -
大数据发展的问题与机遇
最大的问题不是大数据本身,而是我们如何使用它。 大数据时代已经到来,它将颠覆一个个行业,使世界格局发生重大变化。这些年来,政府和各行各业的广泛支持和重视,使得大数据市场一直快速发展。然而,这是不是就意味着大数据会迅速横扫各行业,渗透到社会的方方面面,把我们在梦里或者科幻电影里见到的画面变成现实呢?怕是没那么简单。 《2017中国大数据发展报告》中显示,政府投资大数据项目数量整体呈攀升态势...原创 2019-05-04 13:08:25 · 931 阅读 · 3 评论 -
后Hadoop时代的大数据技术思考:数据即服务
1. Hadoop 的神话正在破灭 IBM leads BigInsights for Hadoop out behind barn. Shots heard IBM has announced the retirement of the basic plan for its data analytics software platform, BigInsights for Hadoop...原创 2019-05-04 13:07:20 · 880 阅读 · 3 评论 -
有大数据就有人工智能的机会
人工智能时代,深度学习和大数据成了密不可分的一对儿。深度学习可以从大数据中挖掘出以往难以想象的有价值的数据、知识或规律。简单来说,有足够的数据作为深度学习的输入,计算机就可以学会以往只有人类才能理解的概念或知识,然后再将这些概念或知识应用到之前从来没有看见过的新数据上。对大数据以及人工智能概念都是模糊不清的,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习qq...原创 2019-05-03 12:37:34 · 429 阅读 · 0 评论 -
大数据:人工智能的基石
目前的深度学习主要是建立在大数据的基础上,即对大数据进行训练,并从中归纳出可以被计算机运用在类似数据上的知识或规律。那么,到底什么是大数据呢?人们经常笼统地说,大数据就是大规模的数据。这个说法并不准确。“大规模”只是指数据的量而言。数据量大,并不代表着数据一定有可以被深度学习算法利用的价值。例如,地球绕太阳运转的过程中,每一秒钟记录一次地球相对太阳的运动速度、位置,这样积累多年,得到的数据量不...原创 2019-05-03 12:36:30 · 923 阅读 · 0 评论 -
谈谈spark和hadoop的差异
谈到大数据,相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上,并没有对它们进行深入的思考,下面不妨跟我一块看下它们究竟有什么异同。解决问题的层面不一样首先,Hadoop和Apache Spark两者都是大数据框架,但是各自存在的目的不尽相同。Hadoop实质上更多是一个分布式数据基础设施: 它将巨大的数据集分派到一个由普通计算机组成...原创 2019-05-03 12:35:32 · 383 阅读 · 0 评论 -
懂java的人学大数据更容易上手?
最近两年,大数据这个词非常火,以大数据为基础和核心的人工智能也以迅雷不掩耳之势蔓延到各个领域,无人驾驶,无人超市,智慧城市等等。毫无疑问,火爆的大数据已然成为当今互联网世界中的新宠儿,创造着巨大的商业价值,是当今互联网巨头的必争之地。目前大数据给大多数人的感觉是,专业性强,操作繁琐,高薪的代名词,完全属于“高大上”技术,但是其实很多人并不清楚大数据到底是做什么?用的什么语言进行操作处理?当数据...原创 2019-05-02 12:19:32 · 5759 阅读 · 0 评论 -
数据中心、云计算、大数据之间的区别与联系
不少人会把数据云计算中心、数据中心、大数据搞混淆,觉得三者是一样的产品,其实有显著地区别,数据中心机房是一整套复杂设施,如今,云计算即将成为信息社会的公共资源,而数据中心是支撑云计算服务的基础设施,所以自从云计算横空出世后,一切信息技术开始围着它转,云计算有如神一样地存在着,下面看看数据中心、云计算以及大数据之间有什么区别和联系?数据中心是全球协作的特定设备网络,用来在网络基础设施上传递、加速...原创 2019-04-27 12:48:41 · 22421 阅读 · 1 评论 -
区块链技术与大数据异同之处和相互借鉴!
主要来跟大家简单分析过下区块链技术与大数据的异同之处,并且两者如何相互借鉴。大数据和区块链是构建万物联网的基础首先我们来谈一下大数据,大数据也可以被称为大数据技术,并不是单纯意义上“很大的数据”,而是一种解决方案,大数据需要应对海量化和快增长的存储,对底层硬件架构和文件系统提出了很大的挑战。众所周知,大数据一词于谷歌,谷歌的GFS和Hadoop的HDFS奠定了大数据存储技术的基础。而区...原创 2019-04-27 12:39:29 · 10040 阅读 · 0 评论 -
浅谈BI和大数据的关系
BI(Business Intelligence),中文翻译是商务智能,是一套完整的解决方案,用来将组织中现有的数据进行有效的整合,快速准确的提供报表并提出决策依据,帮助组织做出明智的业务经营决策。大数据(Big Data)是从收集的海量数据中,通过算法将这些来自不同渠道、格式的数据进行直接分析,从中寻找到数据之间的相关性。简单而言,大数据更偏重于发现,以及猜测并印证的循环逼近过程。...原创 2019-04-27 12:34:57 · 9387 阅读 · 0 评论 -
数据仓库和Hadoop大数据平台有什么差别?
广义上来说,Hadoop大数据平台也可以看做是新一代的数据仓库系统, 它也具有很多现代数据仓库的特征,也被企业所广泛使用。因为MPP架构的可扩展性,基于MPP的数据仓库系统有时候也被划分到大数据平台类产品。但是数据仓库和Hadoop平台还是有很多显著的不同。针对不同的使用场景其发挥的作用和给用户带来的体验也不经相同。用户可以根据下表简单判断什么场景更适合用什么样的产品。数据仓库和Hado...原创 2019-04-27 12:31:27 · 5822 阅读 · 0 评论 -
大数据、数据分析、数据挖掘的差别
区别:大数据是互联网的海量数据挖掘,而数据挖掘更多是针对内部企业行业小众化的数据挖掘,数据分析就是进行做出针对性的分析和诊断,大数据需要分析的是趋势和发展,数据挖掘主要发现的是问题和诊断。 大数据:指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产;在维克托·迈尔-舍恩伯格及...原创 2019-04-27 12:28:13 · 4759 阅读 · 0 评论 -
大数据工程师和数据分析师有何区别
随着大数据的愈演愈热,相关大数据的职业也成为热门,给人才发展带来了很多机会。数据科学家、数据工程师、数据分析师已经成为大数据行业最热门的职位。它们是如何定义的?具体是做什么工作的?需要哪些技能一、首先,看看这3个职业是如何定位的?1.数据科学家是个什么样的存在数据科学家是指能采用科学方法、运用数据挖掘工具对复杂多量的数字、符号、文字、网址、音频或视频等信息进行数字化重现与认识,并能寻找新...原创 2019-04-27 12:23:34 · 8444 阅读 · 1 评论 -
大数据和统计的区别
关于大数据和统计的区别主要有以下两个方面:其一是数据分析时不再进行抽样,而是采用population(n=all);其二是分析方法,侧重所有变量之间的相关性,而不再根据背景学科理论筛选变量,进行假设检验。这两点具体来说区别如下:大数据的应用,解决了一般统计方法上主要误差来源:抽取样本以及假设检验中使用的前提假设。在这里我还是要推荐下我自己建的大数据学习交流qq裙:522189...原创 2019-04-27 12:18:28 · 11004 阅读 · 0 评论 -
云计算和大数据之间的区别与联系
如今,云计算即将成为信息社会的公共资源,而数据则是支撑云计算服务的基础,所以自从云计算横空出世,一切信息技术都开始围着它转,云计算有如神一样地存在着,下面随芜湖云计算培训看看云计算、大数据之间有什么联系?一、云计算与大数据概述云计算(cloud computing)是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云是网络、互联网的一种比...原创 2019-04-27 12:13:45 · 8894 阅读 · 0 评论 -
原来Java大数据才是真正的高富帅!
大数据时代,中国IT环境也将面临重新洗牌,不仅仅是企业,更是程序员们转型可遇而不可求的机遇。国内大多数大型互联网公司的程序员被称作研发工程师,但实际上国内几乎没有研发项目,只能叫做开发。开发程序员的工作大多是重复性劳动,容易产生疲惫感,薪资在工作2-5年内就达到了一个峰值,再要提升就比较困难,这样就导致了很多程序员最终转行做了其他行业。JAVA的精密,强大,拥有其它语言不可替代的性能和可维...原创 2019-05-02 12:23:07 · 5525 阅读 · 0 评论 -
Java开发人员必备工具之 10 个大数据工具和框架
先来看看大数据的概念。根据维基百科,大数据是庞大或复杂的数据集的广义术语,因此传统的数据处理程序不足以支持如此庞大的体量。在许多情况下,使用SQL数据库存储/检索数据都是很好的选择。而现如今的很多情况下,它都不再能满足我们的目的,这一切都取决于用例的变化。现在来讨论一些不同的非SQL存储/处理数据工具,例如,NoSQL数据库,全文搜索引擎,实时流式处理,图形数据库等。1、MongoDB...原创 2019-05-02 12:26:37 · 5481 阅读 · 0 评论 -
大数据技术分析:HDFS分布式系统介绍!
HDFS主要用于最初由Yahoo提出的分布式文件系统,以下它的主要用途:1、保存大数据2、提供快速读取大数据的能力Heroop帧的主要特征是通过将数据和计算分布在集群中的各节点服务器来实现分布式计算的目的。在计算逻辑和所需数据接近这一点上,并行计算分区后进行汇总。对大数据以及人工智能概念都是模糊不清的,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学...原创 2019-05-03 12:34:37 · 516 阅读 · 0 评论 -
数据仓库工程师、大数据开发工程师、BI工程师、ETL工程师之间有什么区别?
商务智能。商务智能工程师是商业智能行业的工程师。从需求分析师到数据仓库架构师、ETL工程师、数据分析工程师、报表开发工程师、数据挖掘工程师等,都可以称为BI工程师。ETL工程师:从事系统编程、数据库编程和设计,掌握各种常用编程语言的专业技术人员。也称为数据库工程师。对大数据以及人工智能概念都是模糊不清的,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习qq...原创 2019-05-03 12:33:22 · 5379 阅读 · 0 评论 -
Hadoop与Spark以及那些坑
这两天在搭建Hadoop与Spark的平台,要求是能够运行Spark,并且用python编程。笔者也不打算写一个很详细的细节教程,简单做一个笔记blog。1.选择 笔者一开始是在虚拟机上搭建的,创建了三个ubuntu虚拟机,然后开始布置分布式系统,但是,后来发现,资源完全不够用。笔者台式机16G内存,2T硬盘,i7第四代处理器,然而,还是被hadoop拖死。 ...原创 2019-05-03 12:31:58 · 186 阅读 · 0 评论