大数据
文章平均质量分 75
数据工程师金牛
这个作者很懒,什么都没留下…
展开
-
33篇大数据治理文章打包送,技术+案例一应俱全!大数据
一、元数据1.90后美女程序员:元数据什么鬼?近几年,90后这个群体开始迈入职场,逐渐出现在社会大众的视野当中,他们是极具个性的一代,他们这代技术人的新奇想法,正是现代企业需要的创新源泉…2.轻松理解元数据,只需懂点心理学元数据的抽象含义难于被人们理解,在此篇文章中,普元数据治理专家王轩将从心理学的视角出发,给大家讲解元数据的内在逻辑…3.从概念到应用再到架构,一篇文章彻底读懂元数据管理...原创 2018-10-19 09:45:43 · 3323 阅读 · 1 评论 -
大数据技术知识的学习及其切入点 大数据
大数据在越来越多的领域得到了关注,将成为今后很长时间内科研、技术、产业、市场的焦点。作为大数据技术的学习者和应用开发者,应该从哪个角度入手掌握大数据技术? 在目前纷繁复杂的各类教材和参考书中如何选择适合自己的书籍? 本文介绍并分析了学习大数据技术时,需要考虑的问题。很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学...原创 2018-10-22 11:34:12 · 288 阅读 · 0 评论 -
大数据在金融领域的应用研究
摘 要 我国金融科技快速发展,在多个领域已经走在世界前列。大数据、人工智能、云计算、移动互联网等技术与金融业务深度融合,大大推动了我国金融业转型升级,助力金融业更好地服务实体经济,有效促进了普惠金融发展。在这一发展过程中,又以大数据技术发展最为成熟、应用最为广泛。文章研究了大数据在金融领域应用的价值、特点、趋势,充分证明了大数据应用的有效性和优越性,并为金融机构应用大数据提供了解决方案。关键词...原创 2018-10-20 10:51:26 · 6993 阅读 · 0 评论 -
业界 | 每个数据科学家都该读的五本无关技术的书
很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什么,学的时候,该按照什么线路去学习,学完往哪方面发展,想深入了解,想学习的同学欢迎加入大数据学习扣群:805127855,有大量干货(零基础以及进阶的经典实战)分享给大家,并且有清华大学毕业的资深大数据讲师给大家免费授课,给大家分享目前国内最完整的大数据高端实战实用学习流程体系版权声明:本文为博主原创文章,转载请附上博文链接!很多...原创 2018-10-25 09:18:45 · 199 阅读 · 0 评论 -
关于大数据最深刻解读
大数据的初步理解 似乎一夜之间,大数据(Big Data)变成一个IT行业中最时髦的词汇。 首先,大数据不是什么完完全全的新生事物,Google的搜索服务就是一个典型的大数据运用,根据客户的需求,Google实时从全球海量的数字资产(或数字垃圾)中快速找出最可能的答案,呈现给你,就是一个最典型的大数据服务。只不过过去这样规模的数据量处理和有商业价值的应用太少,在IT行业没...原创 2018-10-28 20:38:50 · 1203 阅读 · 0 评论 -
行业应用 | 大数据对新闻传播的影响 大数据
在科学技术日新月异的时代中,数据与媒体行业间的联系也日益紧凑,计算机设备在社会各个行业中得到广泛应用,并使信息处理方式发生一定变动,使各类新闻数据信息的采集、梳理与分析效率均有不同程度的提升,强化信息传播过程中的可视性,使传媒的发展受到一定冲击,推动了新闻产业的发展与完善进程。对“大数据”背景中新闻传播现状进行研讨具有实现性意义,本文进行详细解析。很多初学者,对大数据的概念都是模糊不清的,大数...原创 2018-10-23 10:53:40 · 1771 阅读 · 0 评论 -
论大数据时代与工业4.0 大数据
一、关于大数据时代大数据时代开始于2001年,我是比较认可这一观点的。因为大数据这个词语被创造出来是在20世纪90年代,在2000年的时候第一次在学术论文上有人将它提出,在2003年的时候在Francis X.Diebolt在《宏观经济测量和预测的大数据动态因子模型》一书中正式将大数据这个词语进行诠释和应用。自然,在13年前的那个时代,全世界的热点是在于互联网,在于互联网门户或者社交。在200...原创 2018-10-21 10:15:37 · 423 阅读 · 0 评论 -
大数据时代究竟带来了什么? ——写给普通人看的大数据文章
数据,让一切有迹可循,让一切有源可溯。我们每天都在产生数据,创造大数据和使用大数据,只是,你,仍然浑然不知。 百度知道和知乎问答里一直有小伙伴在问这个问题,比如“大数据时代,生活和思维发生了哪些变”、“大数据时代给我们的生活带来了哪些好处呢?”以及“大数据时代生活将会有怎样的变化”等等。看着大家热火朝天的在了解大数据、认识大数据和讨论大数据,我很开心,这说明大数据已经渐渐被大众所接受...原创 2018-10-29 05:42:37 · 897 阅读 · 0 评论 -
一文梳理大数据四大方面十五大关键技术
近年来,大数据来势汹汹,渗透到各行各业,带来了一场翻天覆地的变革。让人们越发认识到,比掌握庞大的数据信息更重要的是掌握对含有意义的数据进行专业化处理的技术。如果将大数据比作一种产业,那么这产业盈利的关键点在于,提高对数据的“加工能力”,通过“加工”实现数据的“增值”,这便是大数据关键技术发挥的能力。大数据关键技术涵盖从数据存储、处理、应用等多方面的技术,根据大数据的处理过程,可将其分为大数...原创 2018-10-29 07:08:05 · 1067 阅读 · 0 评论 -
深度 | IBM长文解读人工智能、机器学习和认知计算
人工智能的发展曾经经历过几次起起伏伏,近来在深度学习技术的推动下又迎来了一波新的前所未有的高潮。近日,IBM 官网发表了一篇概述文章,对人工智能技术的发展过程进行了简单梳理,同时还图文并茂地介绍了感知器、聚类算法、基于规则的系统、机器学习、深度学习、神经网络等技术的概念和原理。 人类对如何创造智能机器的思考从来没有中断过。期间,人工智能的发展起起伏伏,有成功,也有失败,以及其中暗藏的潜力。...原创 2018-10-26 10:33:56 · 420 阅读 · 0 评论 -
大数据在改变客户办事的5种方法 大数据
摘要:大数据将在将来几年继承改变客户办事。构造在寄托数据来领会客户需要,并供给他们所需的办理计划。客户办事凡是被以为是一种任务,有些公司将会死力暗藏用户可以与他们联系的选项。这是一个错误。糟的客户办事将会让构造最老实的客户直接转向构造的合作敌手的度量。抱负的环境下,精良的客户办事相应麻利敏捷。荣幸的是,更好的客户关系办理(CRM)集成可以削减客户碰到雷同变乱的次数,从而使企业对本身的需要做出更...原创 2018-10-24 11:07:42 · 217 阅读 · 0 评论 -
理解大数据解决方案的架构层
概述介绍了一种评估大数据解决方案可行性的基于维度的方法。如果您已经使用上一篇文章中的问题和提示分析了自己的情况,并且已经决定开始构建新的(或更新现有的)大数据解决方案,那么下一步就是识别定义项目的大数据解决方案所需的组件。大数据解决方案的逻辑层逻辑层提供了一种组织您的组件的方式。这些层提供了一种方法来组织执行特定功能的组件。这些层只是逻辑层;这并不意味着支持每层的功能在独立的机器或独立...原创 2018-10-30 10:36:38 · 396 阅读 · 0 评论 -
数据治理怎么做?这篇万字长文终于讲清楚了!
引言:股份制改革对我国银行业来说只是一个开始,企业在风险管理、创造价值等方面还有很长的路要走。风险管理要求提供精准的数据模型、创造价值要求充分银行数据资产,这是数据治理的外部推动因素。此外,随着第三次工业革命的到来,银行业也需要进入定制化时代,以更低的成本,生产多样化的金融产品,从而满足不同顾客的不同需求。对数据本身而言,业务发展加快了数据膨胀的速度,也带来了数据不一致等问题,业务部门的频繁增...原创 2018-10-27 13:53:01 · 69719 阅读 · 4 评论 -
Zookeeper分布式锁和队列
1.分布式锁分布式锁,这个主要得益于ZooKeeper为我们保证了数据的强一致性。锁服务可以分为两类,一个是保持独占,另一个是控制时序。所谓保持独占,就是所有试图来获取这个锁的客户端,最终只有一个可以成功获得这把锁。通常的做法是把zk上的一个znode看作是一把锁,通过 create znode的方式来实现。所有客户端都去创建 /distribute_lock 节点,最终成功创建的那个客户...原创 2018-11-01 10:51:02 · 504 阅读 · 0 评论 -
大数据就业前景如何?哪些公司需要大数据人才?
据教育部数据显示,目前,全国已有35所高等院校开通了大数据专业。也就是说,高考报志愿可直接报大数据专业的学校了。同时思软科技与山西国际商务学院达成校企合作,开设大数据专业,共同培养大数据方向IT人才。 2017年大数据专业就业前景本文福利:关注薇信工宗号:程序员交流互动平台,回复【大数据】可获取大数据基础视频教程一套 据数联寻英发布《大数据人才报告》显示,目前全国的大数据人...原创 2018-11-06 09:05:10 · 992 阅读 · 0 评论 -
拥有这些能力,大数据人才就是你!!!
01 起大数据行业持续升温,越来越多的人才涌进这个行业。想知道这个行业需要什么样的人才么?大数据的问题就交给大数据去完成吧~~我们按特定的职位名称,爬取了拉勾网上成都地区所有大数据相关职位的招聘信息,并对这份数据做了多维度分析,得到了很多有价值的信息,构成了一份大数据人才市场分析报告。本文节选报告第四章内容,对5类大数据相关职位的职位要求进行文本分析,给出人才市场上对这5类职...原创 2018-11-03 17:12:23 · 310 阅读 · 0 评论 -
大数据必备的那些技术!!!
大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段,处理的数据量通常是TB级,甚至是PB或EB级的数据,这是传统数据处理手段所无法完成的,其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等,汇集了当前IT领域热门流行的IT技术。想要学好大数据需掌握以下技术:1. Java编程技术Java编程技术是大数据学习的基础,Java是一种强类型语言,拥有极高的跨平台...原创 2018-11-02 10:31:43 · 332 阅读 · 0 评论 -
强烈推荐 :最用心的运营数据指标解读
数据分析涉及不同的业务领域,很多时候,业务的了解比数据技巧更重要。很多新人常问Python、SQL,但鲜有问业务,可后者才决定分析的成败。 业务的洞悉决定了数据分析师发展的上限,数据技巧只是逼近它。好的分析师都懂业务,也必须懂业务。 我希望通过本文,让数据新人对业务有一个大概的了解,也适用产品和运营新人(我是互联网背景,所以本文更多涉及这块)。文章的内容会给你「宽」的感觉,希望最后...原创 2018-11-04 10:39:48 · 841 阅读 · 0 评论 -
深入浅出之新版支付宝数据体验
新版初体验今天小编有幸体验新版的支付宝,进入新榜支付宝页面,给人最直观的体现是颜色变得明亮了,首页更加简洁了,再也不用像以前一样从密密麻麻的服务中寻找自己所需的服务了。具体而言,本次支付宝新版变化可总结为以下3点: 主色调由暗黑色向蓝色转变,看起来更加明亮、更加年轻、更加生活化; 首屏交互更加简介,且突出了搜索、生活功能,APP底端首屏栏目名称也直接从支付宝变为生活; ...原创 2018-11-07 09:49:46 · 1011 阅读 · 0 评论 -
玩转AI&DS第一步:个人计算设备搭建指南
深度学习是人工智能必不可少的一部分。而在硬件配置上,大家都在谈论GPU的重要性。不可置否,GPU是掀起深度学习热潮的主要力量,也是开展该领域工作所必不可少的硬件设备。 不幸的是,人们往往把CPU、RAM、主板、存储和机箱的选择统统推到了一边。这种唯GPU论的做法,对于深度学习来说也不算太坏,但是如果你对其他领域感兴趣,那么就还需要考虑其他PC组件! 下面文摘菌...原创 2018-11-05 11:37:37 · 782 阅读 · 0 评论 -
现在学大数据还来得及吗?
随着大数据时代的到来,有很多前端程序员想要转行大数据。 不得不说,大数据行业可以说是为前端程序员量身打造的一个朝阳行业?为什么要这么说呢?因为前端程序员转型大数据工程师有着天然进阶优势,不仅仅是前景和薪资。技术层面来说,大数据使用的Hadoop(在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法)基本都是用Java语言完成,即使你没有学过Java上手Hadoop也是可以的。关...原创 2018-11-13 14:06:02 · 331 阅读 · 1 评论 -
大数据基础知识全集,大数据爱好者收藏必备
现在市面上的大数据产品太多了,但它们还远远没达到像 IaaS 层那样的标准化程度,每个产品之间的差别也并不是特别明确清晰。很多企业在做大数据平台或大数据方案的时候,常常不知道该选用哪些产品来满足自己的需求。一般的做法是做调研、学习、搭环境、测试、做各种产品的集成,但通常这个过程会很漫长,成本也很高。我们希望这些事情都交给云平台来做,云上所有的产品都可以一键部署、一键伸缩,不论是加节点还是减节点...原创 2018-11-08 11:18:04 · 207 阅读 · 0 评论 -
零基础大数据入门必备
大数据是眼下非常时髦的技术名词,与此同时自然也催生出了一些与大数据处理相关的职业,通过对数据的挖掘分析来影响企业的商业决策。这群人在国外被叫做数据科学家(DataScientist),这个头衔最早由D.J.Pati和JeffHammerbacher于2008年提出,他们后来分别成为了领英(LinkedIn)和Facebook数据科学团队的负责人。而数据科学家这个职位目前也已经在美国传统...原创 2018-11-14 09:02:58 · 474 阅读 · 0 评论 -
零售业应用大数据分析的六大挑战
零售业是最传统的买卖双方互动平台。早在电子商务和移动商务崛起前,零售商们就以别出心裁的产品陈列,极具竞争力的价格和有效的销售技巧吸引了众多买家。随着科技的发展,现代技术正逐渐渗透进传统零售业。 2017年,零售业仅仅在美国的总销售额就超过了5万亿。为满足日益增长的需求和提供更优质的用户体验服务(86%的客户表示他们愿意为更好的购物体验支付更多费用),传统零售业逐渐向技术化转型。...原创 2018-11-14 10:39:43 · 1286 阅读 · 0 评论 -
“半路出家”的Kaggle Grandmaster:如何正确打开数据科学竞赛?
5金9银7铜——这是俄罗斯小哥Vladimir的Kaggle成绩单。 凭借这一成绩,Vladimir也荣获了Kaggle的最高荣誉——竞赛超级大师(Competitions Grandmaster)。Kaggle至今已成立8年,注册用户超过100万,现仅有100余名Grandmaster,非常珍贵。除此之外,他还曾获得过“MICCAI 2017胃镜图像分析比赛”第一名,“MIC...原创 2018-11-14 15:16:53 · 439 阅读 · 0 评论 -
追求大数据 首先要保证数据可靠
由于大数据和深度学习的推动,人工智能在当下已成为科学技术领域炙手可热的名词。眼下,许多人谈起大数据津津乐道,以为有了大数据,再加上深度学习,就可以无所不能了。然而事实并非如此简单。许多人以为通过多中心、大样本收集到越来越多的数据就是大数据,却忽略了一个十分重要的问题,即数据的真实性。 就医疗卫生界而言,在各级各类医院中都存在数据不真实的问题。据媒体报道,山东省邹城市一老人受伤住...原创 2018-11-16 16:20:46 · 494 阅读 · 0 评论 -
利用Python进行数据分析——绘图和可视化(八)(2)
1、注释以及在Subplot上绘图 除标准的图表对象之外,你可能还希望绘制一些自定义的注释(比如文本、箭头或其他图形等)。 注释可以通过text、arrow和annotate等函数进行添加。text可以将文本绘制在图表的指定坐标(x, y),还可以加上一些自定义格式:In [41]: ax.text(x, y, ‘Hello world!‘, family=‘monospace‘, font...原创 2018-11-21 10:38:17 · 506 阅读 · 0 评论 -
CNCC2018 分论坛(14) | 大数据治理是什么?怎么做?
现如今,大数据已经成为资产的一种,说到资产,它就一定存在价值。如何对大数据的价值进行评估?如何在经济、社会活动中发挥它的价值?这是一个难以回答的问题,需要深入的研究探讨。 2018中国计算机大会大数据治理分论坛从是什么、为什么、怎么做三个方面来诠释大数据治理体系,并举出三个全然不同的案例,并进一步探讨了大数据治理体系建设下国家标准化的工作。 在这里我还是要推荐下我自己建的大数据学...原创 2018-11-19 11:22:57 · 908 阅读 · 0 评论 -
Python读写Excel表格,就是这么简单粗暴又好用
最近在做一些数据处理和计算的工作,因为数据是以.csv格式保存的,因此刚开始直接用Excel来处理。但是做着做着发现重复的劳动其实并没有多大的意义,于是就想着写个小工具帮着处理。以前正好在一本书上看到过使用Python来处理Excel表格,可惜没有仔细看。于是我到处查找资料,基本解决了日常所需,终于算是完成了任务,因此撰写此文就算是总结吧,主要记录使用过程的常见问题及解决。 pytho...原创 2018-11-22 09:35:53 · 341 阅读 · 0 评论 -
业界 | 除了R、Python,还有这些重要的数据科学工具
这年头,如果你不会点儿R或者Python,你都不好意思说你是混数据圈的。 在你向一些大神请教的时候,他可能也会推荐你学习这两个高级编程语言,然后顺便在推荐你了解一下SQL以及Math。如果讲究点的,可能还会传授你一些Spark、AWS/云计算的经验。 嗯!差不多就这些了~ 当前主流数据科学领域用的工具就是这些了。 但是,如果你想成为一个数据科学“英雄”,仅仅掌握...原创 2018-11-17 11:07:32 · 213 阅读 · 0 评论 -
python数据分析超简单入门 -- 项目实践篇
| 导语 适用于数据分析小白们~ ------ up主也是小白一枚,大加一起交流哈写在前面的话:1、项目来源于up主自学udacity中的一个项目实践,up主自身能力不足,因此文章很浅显2、泰坦尼克数据集是kaggle中一个好的可选数据集,网上有很多基于此数据集的分析&存活预测实践的文章3、要有点python基础哦~ 没有也没关系,先下载软件跑跑代码也是好的话不多说,这...原创 2018-11-24 11:41:00 · 649 阅读 · 0 评论 -
带你了解什么是大数据
大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据的5V特点(IBM提出):Volume(大量)、Vel...原创 2018-11-18 10:11:02 · 327 阅读 · 1 评论 -
Python从零入门教程 | 在不同的操作系统中安装Python编程环境
Python是一种跨平台的编程语言,这意味着它能够运行在所有主要的操作系统中,那么我们所熟知的操作系统包括:Windows、MacOs、 Linux。那么今天要讲的就是如何在每个操作系统中成功的安装python.一、在Windows系统中搭建Python编程环境01.下载进入Python官网,如图所示,点击箭头所指下载,或者点击红框框出来的进入下载页面选择对应自己操作系统的的版...原创 2018-11-20 10:31:45 · 508 阅读 · 0 评论 -
8个最高效的Python爬虫框架,你用过几个?
编收集了一些较为高效的Python爬虫框架。分享给大家。1.ScrapyScrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。2.PySpiderpyspider 是一个用python实现的功能强大的网络爬虫系统,能在浏览器界面上进行脚本的编写,...原创 2018-11-23 09:42:40 · 176 阅读 · 0 评论 -
大数据丨分享16个大数据技术
1. Java编程技术Java编程技术是大数据学习的基础,Java是一种强类型语言,拥有极高的跨平台能力,可以编写桌面应用程序、Web应用程序、分布式系统和嵌入式系统应用程序等,是大数据工程师最喜欢的编程工具,因此,想学好大数据,掌握Java基础是必不可少的!2.Linux命令对于大数据开发通常是在Linux环境下进行的,相比Linux操作系统,Windows操作系统是封闭的操作系统,...原创 2018-11-29 09:35:33 · 472 阅读 · 0 评论 -
Python爬虫爬取美剧网站
一直有爱看美剧的习惯,一方面锻炼一下英语听力,一方面打发一下时间。之前是能在视频网站上面在线看的,可是自从广电总局的限制令之后,进口的美剧英剧等貌似就不在像以前一样同步更新了。 但是,作为一个宅diao的我又怎甘心没剧追呢,所以网上随便查了一下就找到一个能用迅雷下载的美剧下载网站【天天美剧】,各种资源随便下载,最近迷上的BBC的高清纪录片,大自然美得不要不要的。虽说找到了资源网...原创 2018-11-26 12:20:25 · 204 阅读 · 0 评论 -
Python基础要打牢,先学会基本语法
Python简单易学,但又博大精深。许多人号称精通Python,却不会写Pythonic的代码,对很多常用包的使用也并不熟悉。学海无涯,我们先来了解一些Python中最基本的内容。 Python的特点 解释型语言,无需编译即可运行 提供了交互式命令行 基于对象的编程思想 跨平台和良好的兼容性,在Windows、Mac、Linux上都可运...原创 2018-11-25 12:23:41 · 330 阅读 · 0 评论 -
高薪的大数据工程师必掌握这些!
在过去的几年中,大数据工程师一直都是硅谷最炙手可热的职位之一。随着人工智能的崛起,与之高度相关的大数据工程师的录取标准也水涨船高。那么,作为你一个合格的大数据工程师,以下是十点重要技能,你都点亮了吗? 知道如何利用Hadoop以及其他相关技术设计分布式系统 知道如何利用Pig和Spark创造能够在Hadoop集群上运算数据的脚本 知道如何利用HBase Cas...原创 2018-12-02 11:16:04 · 4092 阅读 · 8 评论 -
大数据如何变现?阿里两位数据大咖是这么建议的
近年来,企业纷纷投入基础数据技术建设。但是,真正被利用的大数据数量仅仅为1%。如何让数据充分释放商业价值,是很多企业始终在思考的问题。11月16-17日,浙大EMBA•商学+科技系列课程邀请中国科学院院士张泽、陈纯,阿里云副总裁李树翀、袋鼠云CEO拖雷,为企业家开放了一个产学研的交流平台,解密数字经济时代中,商业的走向与机遇。 以下是阿里云副总裁李树翀、袋鼠云CEO拖雷课程内容摘要...原创 2018-12-04 10:07:05 · 1359 阅读 · 0 评论 -
数说(之五)·大话大数据技术之Hadoop(下)
小伙伴们,过完双11,迎来双12,大家(的钱包)还好吗?似乎所有的节日都是买买买,8月份的工资给了中秋,9月份的工资给了国庆,10月份的工资给了双11,11月份的工资给了双12,12月份的给元旦,然后就是春节了……还是宅在家里,看看刷刷微信最省钱啊。上次说到了Hadoop的三个重要组件——HDFS、MapReduce和YARN,今天继续大话一下这些组件是如何工作的。 提到H...原创 2018-11-27 10:29:39 · 399 阅读 · 0 评论