![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 65
Mc顽固份子
互联网路上的学习者
展开
-
7月28日云栖精选夜读:【上报纸啦】95后大学生用机器学习PAI大战老年痴呆
摘要: 中国青年报原文链接:http://zqb.cyol.com/html/2017-07/28/nw.D110000zgqnb_20170728_2-06.htm 燕山大学信息科学与技术专业出身的95后大学生谭创创,没想到自己会与阿尔茨海默症(俗称“老年痴呆症”)为“敌”。 中国青年报原文链接:http://zqb.cyol.com/html/2017-07/28/nw.D110000zgqnb_20170728_2-06.htm 燕山大学信息科学与技术专业出身的95后大学生谭创创转载 2017-07-31 15:51:53 · 464 阅读 · 0 评论 -
MaxCompute和DataIDE权限体系介绍
点击查看全文摘要: 理解大数据开发套件和大数据计算服务的权限体系。产品关系MaxCompute是阿里云自主研发的大数据计算引擎。通过MaxCompute,可以使用SQL、MapReduce和Graph的计算模型处理海量数据。产品还提供了机器学习的功能,并包装成机器学习这个产品对外提供服务。用户使用MaxCompute,不需要关心底层的分布式计算细节,就可以轻转载 2017-07-31 15:57:16 · 475 阅读 · 0 评论 -
Kubernetes总架构图
摘要: 一、Kubernetes的总架构图 二、Kubernetes各个组件介绍 (一)kube-master[控制节点] master的工作流程图 Kubecfg将特定的请求,比如创建Pod,发送给Kubernetes Client。转载 2017-07-31 16:00:22 · 638 阅读 · 0 评论 -
雪糕数据告诉你,东北网红变身魔都名媛拢共分几步
点击查看全文风水轮流转,雪糕界的明星也是年年换。听说你们挑剔的舌头,今年又追捧起“中街1946”来。不过,这个号称源自张作霖后厨的冰淇淋背后,并不是又一个“东北大板”式的网友情怀剁手故事,而是一场针对你们、精心布置的“专杀”。这个名叫“中街1946”的冰淇淋品牌,定价可不便宜,目前提供的9种口味售价在5-28元不等,更别说动辄价格上百的组合装了……而且,人家还傲转载 2017-08-10 14:43:57 · 909 阅读 · 0 评论 -
吴恩达又双叒叕刷屏了,你准备入坑了吗?
点击查看全文美国太平洋时间8点16分,吴恩达在推特上发布了重磅消息:deeplearning.ai课程登录Cousera,并同时在 Medium 发布博文介绍这套课程。吴恩达坦言自己一直在进行3个新的AI项目,而且已经很高兴地公布了第一个:deeplearning.ai,这是一个致力于传播AI知识的项目,正在Coursera平台上推出一系列深度学习课程。这些课程将帮助你转载 2017-08-10 14:54:52 · 347 阅读 · 0 评论 -
应用MaxCompute实现变压器局部放电相位分析
原文链接摘要: 应用MaxCompute实现变压器局部放电相位分析 1 引言 随着智能电网建设的不断推进,智能化电力一次设备和常规电力设备的在线监测都得到了较大发展并成为趋势,监测数据日益庞大,电力设备在线监测系统在数据存储和处理方面面临巨大的技术挑战。应用MaxCompute实现变压器局部放电相位分析1 引言随着智能电网建设的不断推进,智能化电力一次设备和常规转载 2017-07-26 11:06:28 · 501 阅读 · 0 评论 -
阿里巴巴大数据实践之数据建模
点击查看全文 随着DT时代互联网、智能设备及其他信息技术的发展,数据爆发式增长,如何将这些数据进行有序、有结构地分类组织和存储是我们面临的一个挑战。 为什么需要数据建模 如果把数据看作图书馆里的书,我们希望看到它们在书架上分门别类地放置;如果把数据看作城市的建筑,我们希望城市规划布局合理;如果把数据看作电脑文件和文件夹,我们希望按照自己的习惯有很好的文件夹组织方式,而不是糟糕混转载 2017-08-04 14:26:31 · 1924 阅读 · 1 评论 -
现阶段我国大数据共享面临的问题
点击查看全文2013年,在北爱尔兰召开的G8会议,签署了《开放数据宪章》,提出了开放14个重点领域数据。要求发布的数据不是一般的数据,而是高价值的数据,不仅仅是加工过的数据,还要有源数据。以往我们认为,政府发布的数据是加工过的,实际上只要不影响国家安全和公民隐私,政府应该开放原始数据。开放的数据要完整的、重要的、及时的。共享是政府部门之间、政府和单位之间,开放是对社会。联合国电转载 2017-08-04 14:32:47 · 1775 阅读 · 0 评论 -
MaxCompute SQL引用第三方Base64JAR实现编解码
点击查看全文BASE64和其他相似的编码算法通常用于转换二进制数据为文本数据,其目的是为了简化存储或传输。更具体地说,BASE64算法主要用于转换二进制数据为ASCII字符串格式。下面我们通过阿里云MaxCompute 和大数据开发套件,引用第三方的Base64 JAR,来实现字符串的编码、解码;效果如下:---base64编码select id,enco转载 2017-08-04 14:37:02 · 456 阅读 · 0 评论 -
大数据应用的四个常规错误认识
点击查看全文有关数据和数据分析的高谈阔论比比皆是。不断有人告诫各大公司要规划恰当战略来收集分析大数据,并警告不这么做可能带来的不良后果。很多公司都觉得自己享有客户数据这样一个大宝藏,却大都不知道该如何利用。我们归纳了管理者在数据应用上的四个常规错误认识。阻碍大数据发挥价值的第一大挑战就是兼容性和融合性。大数据的一个主要特点是其来源多样。然而,如果数据形式不相同,转载 2017-08-11 14:39:47 · 337 阅读 · 0 评论 -
MaxCompute帮助创业公司中减轻MySQL存储压力
点击查看全文从0到1 在我们公司初创的时候,组齐了三人的团队就开始做产品研发。当时整条业务线的东西都需要我们自己写,要在短时间内把东西做出来,效率是非常关键的。 我们的产品模式本身其实是需要验证的。创业有很多不确定性,在上线之前没人能知道,我们的一个项目究竟能达到多大的规模,能做到什么样。从0到1在我们公司初创的时候,转载 2017-08-11 14:49:39 · 365 阅读 · 0 评论 -
Greenplum列存压缩表索引机制
点击查看全文列存压缩表,简称AOCS表数据生成create table testao(date text, time text, open float, high float,转载 2017-08-11 14:55:36 · 1262 阅读 · 0 评论 -
一起来读Greenplum/Deepgreen执行计划
点击查看全文 日常SQL优化过程中,最好用的手段就是通过执行计划。在Greenplum和Deepgreen中,运行 EXPLAIN 后产生的执行计划呈树状,这棵树的每一个分叉,都代表了一个单独的数据库操作,例如:表扫描、表连接、聚合、排序。日常SQL优化过程中,最好用的手段就是通过执行计划。在Greenplum和Deepgreen中,运行 EXPLAIN 后产生的执转载 2017-08-07 14:07:43 · 1670 阅读 · 0 评论 -
利用Helm简化Kubernetes应用部署
点击查看全文Helm 是由 Deis 发起的一个开源工具,有助于简化部署和管理 Kubernetes 应用。Helm 基本概念Helm 可以理解为 Kubernetes 的包管理工具,可以方便地发现、共享和使用为Kubernetes构建的应用,它包含几个基本概念Chart:一个 Helm 包,其中包含了运行一个应用所需要的镜像、依赖和资源定义等,还可转载 2017-08-07 14:13:06 · 1606 阅读 · 0 评论 -
“贫困县电商特产”大数据地图:一定有你青睐的特色产品
点击查看全文8月30日,2017年电商减贫大会在贵阳举行,阿里研究院发布了《电商减贫与普惠发展研究报告》。阿里研究院分析大数据形成的“贫困县电商特产地图”显示,众多贫困县的特色产品获得消费者的青睐,如贵州湄潭的茶叶、云南文山的三七、新疆和田的玉器、河南光山的羽绒服、吉林靖宇的人参等等。依靠互联网 我国贫困县电商发展快速近年,电商扶贫受到政府、企业、高校、转载 2017-09-04 14:58:17 · 856 阅读 · 0 评论 -
IDEA集成MaxCompute
点击查看全文IDEA集成MaxCompute集成方式参阅:https://help.aliyun.com/document_detail/50891.html?spm=5176.product27797.6.730.Lbsygn开发UDF新建一个MaxCompute Java Moudel项目结构如图:创建测试类在转载 2017-09-04 15:03:58 · 1550 阅读 · 0 评论 -
数据智能需求旺盛 阿里云MaxCompute 2.0华南区开服
点击查看全文8月31日,阿里云宣布将在深圳区域正式部署大数据计算服务MaxCompute,以进一步提升对华南区域客户服务的响应速度,并推动该地域人工智能产业的发展。此前,凭借大规模计算存储、多种计算模型、强数据安全和低成本的优势,MaxCompute一直供不应求。官方预计,深圳区域将于9月7日正式开放售卖,此后阿里云MaxCompute还将在年底前陆转载 2017-09-04 15:08:02 · 370 阅读 · 0 评论 -
用AI和MCTS实现智能行程设计的思路
点击查看全文背景介绍人工智能这个词,自从AlphaGo打败了围棋高手李世石之后火的不行。而早在1956年,美国计算机科学家约翰·麦卡就在“锡达特矛斯会议”上提出了人工智能的概念。但是到目前还没有人能用数学理论来证明人工智能算法,但它确实是行之有效的。AI出现之前,我们要实现复杂算法是困难的,但对于人工智能,只需要准备足够的样本集就能解决所有问题。所以,大数据是人工智转载 2017-09-05 15:11:22 · 695 阅读 · 0 评论 -
历程剖析:阿里云自研HTAP数据库的技术发展之路
点击查看全文8月24日,阿里云数据库技术峰会到来,本次技术峰会邀请到了阿里集团和阿里云数据库老司机们,为大家分享了一线数据库实践经验和技术干货。阿里云高级数据库技术专家队皓庭分享了高度兼容MySQL,并且能免去传统数仓ETL过程实现数据分析,同时支持高并发、大吞吐量的在线事务处理的PB级数据存储数据库是如何实现的,帮助大家了解了同时支持海量数据在线事务(OLTP)和在线分析(OLAP)转载 2017-09-05 15:19:11 · 3948 阅读 · 0 评论 -
美柚与MaxCompute数据同步架构说明
点击查看全文大美柚与MaxCompute数据同步架构说明 2017/8/10 九戒本文涉及到的重要概念:MaxCompute:简单可以理解为开源的hadoop集群,可提供我们常用的MapReduce和SQL计算模型和数据存储.数加:基于MaxCompute之上封装的便于我们使用和管理MaxCompute的一个壳ECS:阿里的云转载 2017-09-05 15:23:47 · 1286 阅读 · 0 评论 -
大数据时代结构化存储云HBase技术架构及最佳实践
点击查看全文为什么应用HBase一般而言,传统关系型数据库面临着成本、容量、QPS、分析等多方面的问题:存储成本较高;无法满足TB、PB级别的数量存储需求;QPS无法满足较高的并发要求,性能不能横向扩展;数据隔离,从而不能满足分析类的需求。通过关系型数据库MySQL,可以解决中小数据库存储需求;通过分库分表,能够解决一定容量及并发的需求,转载 2017-09-05 15:28:30 · 515 阅读 · 0 评论 -
【PDF下载】阿里研发峰会之拥抱“黑天鹅”
点击查看全文主讲人介绍洪湖阿里巴巴资深专家,阿里巴巴敏捷教练视频介绍【议题简介】“黑天鹅”曾经被欧洲人用来隐喻不可能存在的事物。在发现澳大利亚的黑天鹅之前,欧洲人认为天鹅都是白色的,但这个不可动摇的信念随着第一只黑天鹅的出现而崩溃。在产品开发过程中,“黑天鹅”同样随处可见。人们总是以自己有限的经验和不堪一击的信念来解释不可预测的黑天鹅事件。黑转载 2017-09-13 13:58:20 · 307 阅读 · 0 评论 -
【PDF下载】阿里研发峰会之菜鸟技术双11项目管理
点击查看全文主讲人介绍乐学阿里巴巴菜鸟网络工程效能团队,关注研发效能的改进和提升,同时带领PMO团队支持公司内部重大项目管理如双十一、双十二、年货节、618等,具有丰富的敏捷产品开发经验和项目管理经验。工作之余,个人积极参与杭州敏捷社区建设。视频介绍【议题简介】266个项目,3大军团,覆盖近600多人的 2016年菜鸟技术双11项转载 2017-09-13 14:03:41 · 482 阅读 · 0 评论 -
【PDF下载】大数据峰会之云上大数据,零售新思维
点击查看全文讲师介绍刘立兼上海云贝网络科技有限公司首席架构师,数年来一直奋战在电商大数据领域。经历了一个又一个618/1111/1212。对面向大数据的高可用、高性能、易扩展的分布式架构技术有着深刻的理解,特别擅长基于云计算的系统架构。直播简介大数据的发展给各行各业都带来了变化。网聚宝基于5年的零售业的数据服务沉淀,结合云上大数据转载 2017-09-13 14:07:40 · 425 阅读 · 0 评论 -
浅谈公安大数据的建设
点击查看全文ZDNet至顶网服务器频道 11月25日 新闻消息:1公安大数据的建设需求近年来随着信息化技术的不断发展,现有的公安警务数据中心无论是规模还是架构都很难适应在海量数据场景下的数据管理和分析,直接影响了公安形势预判和重大决策。因此,在现阶段建设新的能够匹配公安业务场景的大数据系统是公安部门的迫切需求。新建设的公安大数据系统,将成为面向各警种的大转载 2017-09-13 14:15:53 · 10184 阅读 · 0 评论 -
初创公司:大数据时代,如何靠数据挣钱
点击查看全文大数据时代下,数据就如同矿石,如果能够充分挖掘并善加利用,大数据将会成为大财富。在很多情况下虽然大数据的价值还没得到充分证明,但分析人士指出这一市场正在扩大,越来越多的有经验的投资者希望能得到不为人知的独家数据。大数据时代下,数据就如同矿石,如果能够充分挖掘并善加利用,大数据将会成为大财富。在很多情况下虽然大数据的价值还没得到充分证明,但分析人士转载 2017-09-13 14:23:44 · 896 阅读 · 0 评论 -
一万块的iPhone X来了,你看好苹果的黑科技吗?
点击查看全文美国当地时间9月12日上午10点、北京时间9月13日凌晨1点苹果新产品发布会将在位于公司新总部的史蒂夫·乔布斯剧院举行,总部真的太好了,羡慕在这种地方工作的人,这次新产品发布会对于苹果来说会是一个重要里程碑,而iPhone X显然是这次发布会的绝对主角,在2016年开始各种关于iPhone X 的传闻就没停过,今天的发布会也证实了之前的一部分传闻,不得不说苹转载 2017-09-13 14:29:19 · 603 阅读 · 0 评论 -
如何低成本搭建企业数据仓库?
点击查看全文随着大数据、云计算等技术的应用和普及,互联网环境下数据处理呈现出新的特征:业务变化快;数据来源多;系统耦合多;应用深度深。业务变化加快导致数据来源增多,以前的数据大多来自于应用系统数据库,基本为结构化数据,比如Oracle、MySQL等数据。现在的互联网环境下有了更多的数据,比如网站的点击日志、视频数据、语音数据,这些数据都需要通过统一的计算来反映企业的经营状况。在转载 2017-09-13 14:34:31 · 738 阅读 · 0 评论 -
量子计算会带来什么样的革命?
点击查看全文在北京时间9月11日,阿里云宣布世界知名量子计算科学家、密西根大学终身教授施尧耘已经入职阿里巴巴,担任阿里云量子技术首席科学家,他的主要工作是组建并负责阿里云量子计算实验室。但在此之前已有端倪。9月6日,由浙江省政府、浙江大学、阿里巴巴集团按照5:2.5:2.5的比例出资(初期注册资金1亿元)成立的之江实验室举行了揭牌仪式。官方表示,之江实验室重点聚焦网络信息、人工转载 2017-09-13 14:40:18 · 378 阅读 · 0 评论 -
除了清空购物车,阿里年会的技术也超霸气!
点击查看全文在刚刚结束的2017阿里巴巴年会上,各种科技元素的运用让年会增加了不少吸睛之处:IoT手环、天猫精灵抽奖、人脸识别验票、VR直播、大屏弹幕互动等“十八般武艺”轮番上阵。同学们纷纷表示“科技感爆棚”、“太震撼了”。下面我们就跟随信息平台小助手一起来看看这场充满科技感的年会是如何打造而成的吧。最民主:难以割舍,自研抽签系统决定去留转载 2017-09-13 14:46:16 · 436 阅读 · 0 评论 -
9月12日云栖精选夜读:人工智能在细分及新兴领域的应用
点击查看全文深度学习算法在学习和预测方面的能力为实现人工智能应用打开了大门。如今,AI也在其他领域产生了深远的影响。在这篇文章中,我们将讨论AI在一些细分领域方面的应用。热点热议人工智能在细分及新兴领域的应用作者:【方向】 发表在:翻译小组阿里的攻城狮和程序媛用算法给骗子“画个像”作者:华蒙 发表在:阿里安全修改转载 2017-09-13 14:52:55 · 343 阅读 · 0 评论 -
机器学习在崛起:但其算法的结果是否公平?
点击查看全文算法正在通过很多很不可思议的方法控制着我们的生活。当我在一家当地的熟食柜台取了一个号码牌后,我知道自己到最后肯定会得到相应的服务。因为有一个排队的算法在起作用——这种算法保持着先来先得的点餐模式。即使等待的时间会有差异,但是对于所有顾客来说它总是能达到一个可期待的平均服务时间。举另一个例子进行对比,当我购买了一张彩票时,我将我的机会赋予了一个随机转载 2017-09-06 14:47:42 · 565 阅读 · 0 评论 -
史无前例开放!阿里内部集群管理系统Sigma混布数据
点击查看全文互联网普及的20年来,尤其是近10年移动互联网、互联网+的浪潮,使互联网技术渗透到各行各业,渗透到人们生活的方方面面,这带来了互联网服务规模和数据规模的大幅增长。日益增长的服务规模和数据规模带来数据中心的急剧膨胀。在大规模的数据中心中,传统的运维方式已经不能满足规模化的需求,于是基于自动化调度的集群管理系统纷纷涌现。这些系统往往有一个共同的目转载 2017-09-06 14:53:38 · 2317 阅读 · 0 评论 -
基础语言百问-Python
点击查看全文 基础语言百问-Python软件界最近非常流行一句话“人生苦短,快用Python”,这就展示出了Python的特点,那就是快,当然这个快并不是指的Python运行快,毕竟是脚本语言,再怎样也快不过C语言和C++这样的底层语言,这里的快指的是使用Python进行开发会非常迅速,Python依托于开源社区,所以具有丰富和强大的库,可以借助这些库快速完成很多的转载 2017-09-14 14:09:24 · 471 阅读 · 0 评论 -
如何利用机器学习预测房价?
点击查看全文对于我在梅蒂斯的最后一个项目,我希望能包含过去三个月里所学到的东西,而预测波特兰房价这个题目正符合我的要求,因为我能够将网络爬取技术、文本自然语言处理,图像上的深度学习模型以及梯度增强技术进行整合来实现这个项目。下面你可以看到我抓取到的2016年7月至2017年7月这段时间内波特兰市8300个独户住宅的销售数据。显然,街区在这其中起了非常重要转载 2017-09-14 14:14:07 · 1913 阅读 · 0 评论 -
阿里巴巴下一代数据集成技术
点击查看全文数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,从而为企业提供全面的数据共享。在企业数据集成领域,已经有了很多成熟的框架可以利用。目前通常采用联邦式、基于中间件模型和数据仓库等方法来构造集成的系统,这些技术在不同的着重点和应用上解决数据共享和为企业提供决策支持。视频分享地址:https://v.qq.com/iframe/pla转载 2017-09-14 14:18:14 · 383 阅读 · 0 评论 -
Teradata大数据新动作:通过统一数据架构拥抱开源
点击查看全文ZDNET至顶网CIO与应用频道 08月25日 综合报道(文/丁慧茹): 之前我们在提到Teradata的大数据产品和方案时,必然要提到2011年被Teradata收购的Aster Data(现名Teradata Aster)。Teradata Aster在Teradata统一数据架构中承担着数据分析和探索的重任。我们知道Teradata的大数据架构中最引以为傲的就转载 2017-09-14 14:21:30 · 664 阅读 · 0 评论 -
阿里数据仓库实践分享
点击查看全文数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。 现场分享视频地址:https://v.qq.com/iframe/player.html?vid=v0547ee0whs&width=670&h转载 2017-09-14 14:25:10 · 878 阅读 · 0 评论 -
1次演讲13次提到技术,马云在阿里巴巴年会上都说了什么?
点击查看全文阿里巴巴是一个奇迹,18年前的今天,阿里巴巴只有18人和50万人民币,18年后的今天,拥有54421名员工,市值4426亿美金,亚洲第1,全球第6。慕名上门拜访的各国高级政要更是络绎不绝,企业做到这份上,阿里巴巴算是独一家。 最近这几天的朋友圈叫阿里巴巴,虽然阿里巴巴2017年会已经结束了好几天,但相关的讨论依然持续。 这是阿里巴巴成立以转载 2017-09-14 14:29:18 · 560 阅读 · 0 评论 -
9月13日云栖精选夜读:除了清空购物车,阿里年会的技术也超霸气!
点击查看全文在刚刚结束的2017阿里巴巴年会上,各种科技元素的运用让年会增加了不少吸睛之处:IoT手环、天猫精灵抽奖、人脸识别验票、VR直播、大屏弹幕互动等“十八般武艺”轮番上阵。同学们纷纷表示“科技感爆棚”、“太震撼了”。热点热议除了清空购物车,阿里年会的技术也超霸气!作者:技术小能手 发表在:阿里技术阿里云异构计算产品转载 2017-09-14 14:33:59 · 400 阅读 · 0 评论