大数据
文章平均质量分 92
网易数帆大数据
网易数智旗下全链路大数据生产力平台,聚焦全链路数据开发、治理及分析,为企业量身打造稳定、可控、创新的数据生产力平台,服务“看数”、“管数”、“用数”等业务场景,盘活数据资产,释放数据价值。
展开
-
有数BI在移动端的应用与实践
在企业数字化转型的大潮中,BI 移动端正在成为企业决策者和员工手中不可或缺的工具,它极大地改变了传统的企业数据分析和决策方式,使得企业能够以更灵活、更高效的方式进行决策和业务优化。此APP的搭建不需要开发、不需要产品,只需要一份设计、上传些图片、点点鼠标拖拉拽即可完成,极大的节约了研发成本,以下为用报告制作的门户样例,仅作抛砖引玉。如果花点心思,一份移动端报表也可以是一个门户,一个兼顾了数据展示、数据采集、数据分析的APP,同时它亦可以是串连OA 、行政通告的入口。2、利用token按标准生成集成链接;原创 2024-08-08 10:34:09 · 338 阅读 · 0 评论 -
数据治理实践 | 网易某业务线的计算资源治理
从计算资源治理实践出发,带大家清楚认识计算资源治理到底该如何进行,并如何运用到其他项目中原创 2023-04-19 11:33:37 · 169 阅读 · 0 评论 -
拒绝数据系统熵增,未来企业如何开展数据治理
孤立的数据体系也会随着时间的推移而逐步腐坏,指标口径不一致、数据不准确等就是系统熵增架构腐坏的表现,数据治理则是我们人为施加于体系之上用于对抗熵增的“外力”。原创 2023-01-16 11:21:10 · 181 阅读 · 0 评论 -
网易云音乐用户画像资产治理及业务赋能
数量大体现在用户画像涉及上千指标,需要对这些指标做统一的管理,确保指标及其对应表的高内聚底耦合,任务链路存在很多7-8层的任务层级,层级越多,任务的稳定性越差,需要对任务链路进行压缩;用户画像的逻辑层建模就是为了实现整个画像层,可以实现数据的一致性标准,确保数是高内聚低耦合的,同时也确保了整体的可扩展性,比如新增游戏业务的话,那就在行为画像中添加游戏实体,可以实现整个逻辑层的可扩展而不需要重构整个内容。综上,可以概括为云音乐用户画像资产,存在链路强耦合,计存高成本,口径不统一,产品性能又不足的现状问题。原创 2023-01-09 17:21:32 · 383 阅读 · 0 评论 -
多点DMALL × Apache Kyuubi:构建统一SQL Proxy探索实践
伴随着国家产业升级的推进和云原生技术成熟,多点 DMALL 大数据技术也经历了从存算一体到存算分离的架构调整变迁。本文将从引入 Kyuubi 实现统一 SQL Proxy 的角度讲述这一探索实践的历程。原创 2022-11-30 17:00:48 · 524 阅读 · 0 评论 -
网易传媒基于 Arctic 的低成本准实时计算实践
Hive表里可见的数据是经过 Optimize 过后的数据,Optimize 由 AMS 来调度,Flink 任务异常执行文件的读写合并,并且把 Metric 上报给 AMS, 由 AMS 来把这一次 Optimize 执行的结果 Commit,AMS 天然知道这一次 Optimize 推进到了哪次 Transaction, 并且 AMS 本身也存储了 Transaction 对应的 Watermark,也就知道 Hive 表水位推进到了哪里。但在实时入湖的场景下,下游任务缺乏一个感知数据是否就绪的途径。原创 2022-11-09 16:44:59 · 449 阅读 · 0 评论 -
Arctic 基于 Hive 的流批一体实践
本文介绍了网易数帆开源的新一代流式湖仓 Arctic 以及其基于 Hive 的流批一体实践。希望读者可以经此文章了解 Arctic 并对业务构建流批一体的数据湖有帮助。原创 2022-11-04 18:44:39 · 172 阅读 · 0 评论 -
汪源:数据分析热词迭出,“三个统一”值得关注
从流批一体、湖仓一体、NoETL、数据中台到DataOps,现代数据分析领域热词迭出,企业如何抓住本质,经营数据生产力以提质增效?原创 2022-09-30 11:42:10 · 764 阅读 · 0 评论 -
Apache Kyuubi 在小米大数据平台的应用实践
WorkspaceA 下面的用户使用平台发放的 Token,选择各类客户端工具,向引擎提交 SQL 查询,Kyuubi Server 会自动将用户 SQL 提交到该空间所属的计算引擎上去,来保证用户使用资源的隔离性。由于之前已经实现了对 Spark Engine 的管理服务,我们将 Kyuubi Engine 的管理直接从 Kyuubi Server 剥离,形成了单独的 Engine Manager 服务,负责 Engine 的生命周期管理,配置上下文管理,同时提供服务发现和负载均衡能力。原创 2022-09-02 17:00:39 · 1318 阅读 · 0 评论 -
ArchSummit回顾:从云原生到实时数据湖,架构如何支撑业务发展
网易数帆架构实践始终紧扣业务发展需求。原创 2022-08-25 11:13:47 · 663 阅读 · 0 评论 -
开源流式湖仓服务 Arctic 详解:并非另一套 Table Format
本文根据Arctic 开源发布会演讲内容整理(略有删减),为大家系统解读 Arctic 项目研发初衷、生态定位、核心特性、性能表现及未来规划。原创 2022-08-18 18:29:28 · 1196 阅读 · 0 评论 -
技术专家说 | 如何基于 Spark 和 Z-Order 实现企业级离线数仓降本提效?
Apache Spark数仓任务最优解决方案。原创 2022-08-17 19:23:10 · 300 阅读 · 0 评论 -
从 Delta 2.0 开始聊聊我们需要怎样的数据湖
Delta2.0 的发布,标志着数据湖 table format 标准开始走向明确,delta、iceberg 和 hudi 的竞争变得白热化的同时,企业以及相关的供应商应当开始认真考虑怎样引入数据湖 table format 技术,给平台用户带来 Lakehouse 的最佳实践。...原创 2022-08-11 18:31:09 · 233 阅读 · 0 评论 -
QCon 回顾 | Data Fabric:逻辑统一、物理分散
2022年被列为数据分析领域十大技术趋势之首,它究竟有哪些价值?原创 2022-08-09 14:24:32 · 2605 阅读 · 0 评论 -
数据治理体系演进简介
体系化的数据治理是如何实现的。原创 2022-08-05 17:18:26 · 166 阅读 · 0 评论 -
直播预约丨流式湖仓服务,大数据的终结?这场开源发布会为你揭晓!
Arctic开源线上发布会将于8月11日14:00开播!原创 2022-08-02 17:26:39 · 159 阅读 · 0 评论 -
巨变来了,金融大数据平台走向何方
作者:李静瑕 来源:轻金融在“数据为王”的时代,金融大数据被誉为“待挖掘的金矿”,其价值已经成为共识。自从2014年大数据首次作为国家战略被写入政府工作报告,金融机构不断引入大数据平台、构建大数据体系。如今大数据早已成为金融机构核心竞争力的关键一环,其中,数据中台、大数据平台已经成为了金融机构全面数字化转型的关键,金融机构服务客户、创新产品、内部管理等都越来越依赖“数字”。值得关注的是,近几年数据中台兴起,成为金融行业的话题之王,大数据平台被谈论得相对较少。随着云计算、AI等技术的兴起与.转载 2022-03-22 19:15:11 · 216 阅读 · 0 评论 -
网易数帆基础软件平台获2020南京软博会年度创新产品奖
2020第十六届中国(南京)国际软件产品和信息服务交易博览会(以下简称南京软博会)顺利拉开帷幕,以“数字经济 智创未来”为主题,重点展示工业互联网、云计算、5G、人工智能等数字经济新产业新业态。与往届不同,今年首次设立了信息技术应用创新展区,国产基础软件创新成为会场热词;网易数帆基础软件平台等10款产品也广获关注,获评年度创新产品奖。网易数帆基础软件平台等10款产品获年度创新产品奖在本届软博会颁奖环节,网易数帆基础软件平台等10款产品获评年度创新产品奖。网易数帆是网易公司旗下数字化转型基础.原创 2020-09-10 17:01:40 · 485 阅读 · 0 评论 -
十万大奖在此,第二届网易可视化大赛正式开赛!
有些人,表面上只是敲着键盘,点着鼠标,实际上,脑内是分析和创意在碰撞,理性与感性在battle...各位数据挖掘分析爱好者们,这一次,实力不允许「你」再这么低调了!第二届网易可视化大赛 今日开启报名第二届网易可视化大赛今天正式开赛!大赛由网易旗下可视化分析平台网易有数主办,以“创造数据力量”为主题,面向全国选手征集运用网易有数制作的可视化作品,一起发掘数据的价值,创造数据的力量。网易可视化大赛已经成为全国各行业数据挖掘分析爱好者的盛会。虽然天南地北,我们一起...转载 2020-05-25 11:42:38 · 547 阅读 · 0 评论 -
网易数据中台建设实践
数据中台无疑是今年大数据圈最火的名词,不仅是互联网企业,就连很多传统企业都参与到数据中台的建设中,基于数据提高企业运营效率。作为网易集团公共技术研发部门,网易杭州研究院在过去一年一直致力于数据中台支撑产品的研发,推动数据中台在网易电商、音乐、传媒等业务的落地。本文将结合网易数据中台的建设实践,对数据中台的定义、建设方法论以及落地价值进行深入探讨。数据中台是什么?从 Hadoop ...原创 2019-12-10 15:02:38 · 1977 阅读 · 1 评论 -
【杭研大咖说】温正湖:6年,从不会写SQL到数据库专家
他是业界主流数据库技术会议的明星讲师,开源社区各种分享活动的活跃分子;他累计申请了10多个技术发明专利,已授权8个;他近一年发布60多篇高质量技术博客文章,阅读量数十万;他和团队对MyRocks的优化实践,被网易技术委员会评选为年度大奖;他与同事合著的《MySQL内核:InnoDB存储引擎 卷1》在京东上销量超6.3万,好评率达98%……他是温正湖,网易杭州研究院(网易杭研)数据库技术专家。很少...原创 2019-12-10 14:59:08 · 1105 阅读 · 0 评论 -
网易全链路大数据产品发布,可为企业节省20%成本
企业数字化转型的战斗正酣,释放数据价值成为企业当前的核心任务,大数据赛道上的选手们各出绝活,力求收获自己的金角银边。7月26日,2019网易云创峰会在杭州召开,网易大数据在会上发布了全链路大数据产品网易猛犸6.0,网易大数据总经理余利华表示,猛犸6.0通过整合全链路数据质量监控、全链路资产分析和全链路数据发现等一系列能力,解决了当前大数据实践中的各种痛点,使得企业的工作重心能够回归到数据分析本身,...原创 2019-07-26 14:28:56 · 1220 阅读 · 0 评论 -
练好大数据内功,企业需要这样的全链路方案
数字化转型升级当道,许多企业将数据和资源视为核心资产,希望通过数据分析挖掘降本增效,以数据产品支撑业务获取更大的发展空间。事实上,大数据还是构建未来智能化企业的基础,如果说人工智能应用是高妙的剑招,那么大数据的能力就是发动绝招必须的内功。如何练成高深的大数据内功,保持企业的竞争优势,是企业管理者必答的一道大题。这也是7月26日在杭州举行的网易云创峰会(yc.163yun.com)要解答的一个核心问...原创 2019-07-16 14:13:19 · 779 阅读 · 0 评论 -
工业强国之路任重道远,制造业乘“疾风”突出重围
距离“工业4.0”概念的首次提出已经过去6年。据统计,2018年我国工业增加值规模首次超过30万亿,已经从产值上超越美国成为世界第一制造大国,但制造业整体大而不强的现状还远未改写。在“工业4.0”的背景下,制造业正在积极拥抱层出不穷的新技术,突破性技术和创新型业态催生的强大力量,或将改写全球制造业的竞争格局,实现中国制造业的“弯道超车”。去年网易云创大会上,网易副总裁、网易杭州研究院执行院长汪源...原创 2019-07-18 16:15:18 · 760 阅读 · 0 评论 -
9012年,论数字技术核聚变下打开中台的正确姿势
9012年了,不搞点数字化转型升级,似乎KPI没有亮点。但你说,服务拆分成几百个,遇到问题反而不好排查,还搞个锤子微服务;你又说,Hadoop那么难用,三大豪门(Cloudera、Hortonworks、MapR)都凉了,还搞个锤子大数据。然而,618、双11你买买买已经没有系统响应压力,个性化音乐推荐带给你惊喜不断,“大数据杀熟”也曾“精准”得让你咬牙切齿……这就是数字化如火如荼的背景下,实践...原创 2019-07-11 17:12:49 · 705 阅读 · 0 评论 -
聚焦农业信息化,网易云与华南农业大学成立“大数据联合实验室”
7月26日,2019网易云创峰会在杭州拉开序幕,本次峰会以“连接•洞察•进化”为主题,汇聚行业领袖、技术大咖及业界代表,探讨数字技术演进与行业应用趋势,研商生态合作升级、共赢未来的道路。上午的主论坛中,网易云宣布与华南农业大学共同宣布正式成立“大数据联合实验室”。图:网易云&华南农业大学大数据联合实验室成立仪式华南农业大学是一所以农业科学和生命科学为优势,以热带亚热带区域农业研究...原创 2019-07-26 15:30:18 · 776 阅读 · 0 评论 -
落实新工科建设,网易云与浙工大展开“校企共建大数据专业”战略合作
7月26日,2019网易云创峰会在杭州拉开序幕,本次峰会以“连接•洞察•进化”为主题,汇聚行业领袖、技术大咖及业界代表,探讨技术演进与行业应用趋势,研商生态合作升级、共赢未来的道路。上午的主论坛中,网易云联合浙江工业大学正式发布“校企共建大数据专业”战略合作。图:网易云&浙江工业大学“校企共建大数据专业”战略合作签约仪式大数据技术已经逐步发展成熟,但大数据人才的缺口问题也越发明显...原创 2019-07-26 15:41:46 · 780 阅读 · 0 评论 -
都在打造数据中台,网易却抢先跑通全链路!
导读:专业的团队是事业成功的保障,就像网易商业数据中台团队,助力了一个又一个企业构建以数据中台为核心竞争力的数字化能力。没有任何一个时代可以让企业对数字化的感知如此深刻。他们尝试描绘数字化蓝图,觊觎数字化的商业价值;勇于打造数字化土壤,构建数字化团队。然而数字化转型不是碰运气的游戏,商业创新也绝非简单。好在当一切都准备就绪时,中台的横空出世为企业数字化的成功增添了筹码。而数据中台作为企业中...转载 2019-08-14 09:46:21 · 968 阅读 · 0 评论 -
如何建设中台?中台建设的组织、支撑技术和方法论
编者按:本文转载自网易副总裁,网易杭州研究院执行院长汪源的个人公众号“冷技术热思考”(欢迎搜索关注)。上一篇中台系列的文章重点阐述了中台的概念,本文是系列文章的第二篇,目的是说明什么情况下可以考虑建设中台,如果要建怎么建的问题,可以作为企业思考中台建设的大框架。以下为原文(有少量改动):本文将例举典型的需要建设中台的场景,供参考判断要不要建中台。建设中台需要考虑组织、技术支撑和方法论,往往还需要...原创 2019-08-16 14:57:33 · 2859 阅读 · 1 评论 -
互联网公司的中台实践:网易杭研的中台往事
编者按:本文转载自网易副总裁、网易杭州研究院执行院长汪源的个人公众号“冷技术热思考”(欢迎搜索关注)。本文是中台系列的第三篇,《什么是中台?所有的中台都是业务中台》厘清中台概念,第二篇《如何建设中台?中台建设的组织、支撑技术和方法论》介绍了建设中台的方法,这篇将介绍网易杭研在中台道路上十多年的探索和经验教训,并补充在中台组织管理方面的方法。以下为原文(有少量改动):我们面临的是一个VUCA(Vo...原创 2019-08-16 15:29:45 · 1307 阅读 · 0 评论 -
全链路中台、技术核聚变、智能制造,2019年网易云创峰会三大亮点抢先看
近日,网易云官网放出消息,网易云创峰会(yc.163yun.com)将于7月26日在杭州钱江新城万豪酒店举行。据悉,本次大会以“连接·洞察·进化”为主题,从官网内容上看,今年的云创峰会将重点聚焦微服务、大数据、人工智能、物联网和中台等前沿技术的聚变效应和应用进展,探究制造、零售等领域的最新实践,促成整个社会经济的跳跃式进化。为了让大家对本次大会有更深入的了解,这里为大家总结了大会的3大亮点。亮点一...原创 2019-07-09 17:25:08 · 1110 阅读 · 0 评论 -
网易数据中台获评工信部2019“十佳大数据案例”
2019年5月26日,由中国国际大数据产业博览会组委会主办,国家工信部工业信息安全发展研究中心承办的《大数据优秀产品和应用解决方案案例集(2019)》发布会暨数博会“十佳大数据案例”揭晓活动(以下简称“发布会”)在2019中国国际大数据产业博览会成功举办。工信部发布会现场会上,网易数据中台解决方案凭借其在农业领域的应用,从1706个征集案例中脱颖而出,获评工信部“全国大数...原创 2019-05-28 17:24:07 · 1627 阅读 · 0 评论 -
如何准确又通俗易懂地解释大数据及其应用价值?
本文来自网易云社区。 大数据的概念,是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合,是存储在各种存储介质中的海量的各种形态数据,具有 5V 特点,即:Volume (大量)、Velocity (高速)、Variety (多样)、Value (价值密度)、Veracity(真实性)。 大数据概念的产生就是因为数据量和数据类型急剧增加,以至于原有的数据存储、传...原创 2018-07-27 13:09:53 · 4864 阅读 · 0 评论 -
常用数据挖掘软件/软件包大盘点
本文来自网易云社区。数据挖掘软件首推R,它的优点在于函数都给你写好了,你只需要知道参数的形式就行了,有时候即使参数形式不对,R也能“智能地”帮你适应。这种简单的软件适合想要专注于业务的人。R作为一款用于统计分析和图形化的计算机语言及分析工具,为了保证性能,其核心计算模块是用C、C++和Fortran编写的。同时为了便于使用,它提供了一种脚本语言,即R语言。R支持一系列分析技术,包括统计检验...原创 2018-07-25 18:23:20 · 3242 阅读 · 0 评论 -
大数据应用除了在体育项目中,还有这些切身感受得到的应用案例
本文来自网易云社区。 大数据应用已广泛深入我们生活的方方面面,涵盖医疗、交通、金融、教育、体育、零售等各行各业。天气预测应用案例:典型的案例即天气预测。各类气象指征瞬时发生,以典型的“高频复杂”的形式出现,给各类分析人员提供了大量的可参考数据,从这其中借用建模工具分析提取有效指标,是一种典型的“大数据”应用。金融行业交易应用案例:各类金融期货数据,每秒钟因一个品种产生的买入...原创 2018-07-25 17:22:56 · 1980 阅读 · 0 评论 -
构建SpringBoot基本框架(下篇)
本文来自 网易云社区 四、Spring Boot集成JTA事物 如上,配置了多个数据源后,如果一个service方法存在多个数据源,使用jdbc事物不能实现整个方法的回滚操作。这时候需要使用另外一个一种事物管理框架JTA事物。它可以跨数据库来保证数据有效性。当然Spring Boot集成它也比较方便。DataSourceTransactionManager.java@Con...原创 2018-07-18 17:28:57 · 291 阅读 · 0 评论 -
使用AWR报告分析Oracle数据库性能
本文来自 网易云社区 AWR介绍 AWR全称Automatic Workload Repository,自动负载信息库,是Oracle 10g版本后推出的一种性能收集和分析工具,提供了一个时间段内整个系统的报表数据。通过AWR报告,可以分析指定的时间段内数据库系统的性能。 AWR默认每小时对数据库内存中统计信息进行采样一次,并将信息保存到磁盘中,默认保留7天,7天后旧的记录才会...原创 2018-07-18 16:39:12 · 20857 阅读 · 0 评论 -
HBase数据迁移实战
本文来自 网易云社区 最近为产品做了一次HBase的数据迁移操作,学习了一些相关的技术和实现方案。现整理出来,作为今后HBase数据迁移的参考。如有纰漏,欢迎指正。1. 前期准备1.1 确认集群使用的版本 源HBase集群(以下称旧集群)和目的HBase集群(以下称新集群)的版本可能并不是一致的,特别是其底层所使用的HDFS版本信息。譬如这样一个数据迁移场景:业务希望从低版本的H...原创 2018-07-18 16:31:18 · 4349 阅读 · 0 评论 -
网易HBase基准性能测试之准备篇
本文来自 网易云社区 。本次测试主要评估线上HBase的整体性能,量化当前HBase的性能指标,对各种场景下HBase性能表现进行评估,为业务应用提供参考。本篇文章主要介绍此次测试的基本条件。测试环境测试环境包括测试过程中HBase集群的拓扑结构、以及需要用到的硬件和软件资源,硬件资源包括:测试机器配置、网络状态等等,软件资源包括操作系统、HBase相关软件以及测试工具等。集群拓扑...原创 2018-07-16 18:13:26 · 667 阅读 · 0 评论 -
漫画解读“跨视图粒度计算”,了解有数分析利器
作者:汪谦 如需转载,请取得作者同意授权刚接触网易有数的用户,可能会认为有数只是一款数据可视化工具,但其实有数不单单能可视化数据,还能对数据进行计算分析,实现复杂的数据分析需求。本文要介绍的就是有数提供的众多数据分析功能之一—— 跨视图粒度计算(其实就是简单的3个函数,但能实现复杂的分析需求:比如新客贡献分析、留存分析、复购分析、RFM分析等等)。既然要跨视图粒度计算,那我们先来理解两...原创 2018-07-27 13:20:30 · 658 阅读 · 0 评论