大数据平台
文章平均质量分 81
星环科技
星环科技致力于打造企业级大数据基础软件,围绕数据的集成、存储、治理、建模、分析、挖掘和流通等数据全生命周期提供基础软件与服务,构建明日数据世界。公司以上海为总部,以北京、南京、广州、新加坡为区域总部,在郑州、成都、重庆、济南设有支持中心,同时在深圳、西安等地设有办事机构,并在加拿大设有海外分支机构。经过多年自主研发,星环科技建立了多个产品系列:一站式大数据基础平台TDH、分布式分析型数据库ArgoDB及交易型数据库KunDB、基于容器的智能数据云平台TDC、大数据开发工具TDS、智能分析工具Sophon和超融合大数据一体机TxData Appliance 等,并拥有多项专利技术。
展开
-
Sophon AutoCV推动AI应用从模型生产到高效落地
而在长尾智能化场景中,业务导向更加明显,智能分析场景碎片化且通常传递链条较长,和业务价值高度相关,此情况下用户往往是期望通过有效的手段进行快速的从数据到人工智能模型到业务价值的验证,从而达到能够直接落地,快速提升数据价值和业务价值的目的。不仅支持存量智能场景中的模型高精度迭代,还能帮助企业快速落地新的智能化场景,解决传统智能场景中存在的模型维护、迭代效率低、建模周期长、部署成本高、数据资产积累难等应用痛点。金融行业数据资源丰富,数据依赖程度高,场景安全要求高,目前人工智能技术已成为金融行业的必备基础。原创 2024-03-01 15:50:41 · 886 阅读 · 0 评论 -
白话大模型③ | 我们为何需要机器学习运营平台?
需求、数据、环境在不断扩大、变化,以机器学习和神经网络这类“数据驱动”的人工智能的运行逻辑,导致每次更新(更新大小并不是人认知的模糊的大小,而是机器能处理的数量化后的大小),都需要重新训练模型,重新采集数据,重新标注数据,重新建立模型,重新验证模型,重新上线,这个过程重来一遍是非常耗时耗力的;短期可以,长期不可以。1.减少了人工去做各类特征提取(比如测量人的瞳距),就需要大量“不同”的数据,来训练模型,得到“映射关系”,至于“什么是不同,怎么不同,要的量多少,现实中这种不同很少,能不能合成或生成?原创 2024-03-01 15:50:02 · 428 阅读 · 0 评论 -
白话大模型② | 如何提升AI分析的准确性?
• 数据清洗 :将明显不符合需求的数据剔除,比如:人脸不清晰、人脸不完整、人脸不在中心、人脸不是正脸、人脸不是人脸(比如是猫脸)等,再比如算法上有问题的:重复的(直接重复、有些位置移动/旋转的)、数据毒害的(故意数据投毒的、比如打印的人脸/面具而不是真实人脸的)等等,清洗出“高质量”数据实际工作远比看上去的复杂得多得多;•建立高效的查询方法:使用同样的映射关系,处理待查的图像,然后使用人脸卡片目录中的人脸嵌入向量,找到最相似的ID,然后再找到对应的人脸图像。答:用“数据驱动”的“机器学习”方法。原创 2024-03-01 15:49:26 · 476 阅读 · 0 评论 -
白话大模型① :AI分析能做什么?在实际落地中会碰到什么问题?
我们需要保存的“人脸卡片目录”信息包括(姑且认为):1.人脸的特征(比如眼睛、鼻子、嘴巴等):可以是相对大小、颜色等2.人脸的位置:可以是相对位置、绝对位置等3.人脸的编号:可以是身份证号、学号等实际操作中,人脸卡片目录一般都“编码”成了一串固定长度,比如说 1024,的数字(也就是“向量”),其有个特定且形象的名字“嵌入向量”:将人脸的特征(比如瞳距、鼻宽等)、位置(眼相对鼻距离等)、编号等信息,”嵌入“到这 1024 维的“向量”中。而且,更重要的是,这样提取,很难保证“准确性”和“泛化性”。原创 2024-03-01 15:48:54 · 1030 阅读 · 0 评论 -
新一代湖仓集存储,多模型统一架构,高效挖掘数据价值
星环科技TDH一直致力于给用户带来高性能、高可靠的一站式大数据基础平台,满足对海量数据的存储和复杂业务的处理需求。同时在易用性方面持续深耕,降低用户开发和运维成本,让数据处理平民化,助力用户以更便捷、高效的方式去挖掘数据价值。基于这样的宗旨,星环科技TDH正式发布了9.3版本。推出了避免数据冗余,减少数据流转,提升业务综合性能与时效性。同时,此外,TDH 9.3对多模型统一技术架构进行了迭代升级,全新发布分布式向量数据库Transwarp Hippo。原创 2024-03-01 15:48:18 · 1141 阅读 · 0 评论 -
基于图数据库构建知识图谱平台应用实践
2021年,随着应用激增,为了满足企业级的建设需要,中信证券基于星环科技分布式图数据库StellarDB和知识图谱平台SophonKG,打造了全新的企业级知识图谱平台,知识图谱平台的图存储技术为自研KV存储,存储设计按照属性图模型设计,满足TB级存储需求。中信证券基于分布式图数据库StellarDB,替代国外开源图数据库产品,打造全新的企业级知识图谱平台,应用于同一客户集团画像、科创板关联发现、风险事件报告、全球企业关联图谱、产业链图谱、投研图谱、反洗钱与稽核图谱、元数据图谱等应用场景。原创 2024-03-01 15:47:32 · 940 阅读 · 0 评论 -
星环科技数据治理与数据价值评估实践分享
选定数据域后,对每个域数据涉及的系统进行了梳理,盘点系统的数据实体,形成每个数据域的数据实体清单,并收集了数据在市场上的交易情况、收益可计算情况、成本可获取情况,确定每个数据实体的估值方法。同时,将数据实体盘点过程中形成的实体清单,以及实体的估值结果,形成企业数据资产目录,落入了数据资产管理平台,对企业管理层、以及相关的业务和技术人员开放权限,在业务开展过程中作为数据使用的参考。产生数据所需的成本、数据本身的质量情况、适用的业务场景、在市场上的稀缺性、数据规模,以及法律因素,都是影响数据价值的重要因素。原创 2023-01-28 15:32:56 · 1284 阅读 · 0 评论 -
星环科技TDH多模型统一架构VS CDH架构
TDH采用自研统一计算引擎,可以根据不同的存储引擎自动匹配高性能算法,能够在不同的数据量级上(从GB到PB级别)提供优化的分析性能,支持广泛的大数据使用场景,支持实时和离线等复杂场景,可用于建设一站式数据服务,统一数据湖、数据仓库和数据集市等数据系统到一个平台上,不需要采用混合架构或多种计算引擎,降低了开发和运维难度。不同组件使用不同SQL编译引擎,如HiveQL,SparkSQL,Impala SQL,Phoenix SQL等,SQL无统一规范,用户需要学习适配多个产品的不同接口,学习和开发成本高。原创 2023-01-28 15:32:04 · 931 阅读 · 0 评论 -
CDH/HDP迁移之路
图片哪些用户需要迁移图片原社区版用户社区版不再更新Cloudera(Cloudera 和Hortonworks 合并后)所有产品不再提供社区版,用户无法获取新的功能。社区版不再免费2021年1月31日开始,所有Cloudera软件都需要有效的订阅,且订阅费昂贵(50个节点,一年订阅费50万美元)。原企业版用户企业版不再更新Cloudera 和Hortonworks 合并后推出了新一代大数据平台 CDP,CDH 6和HDP 3将是CDH和HDP的最后企业版本,..原创 2022-04-02 17:49:13 · 3549 阅读 · 0 评论 -
星环科技TDH基于Overlay网络架构为数据安全保驾护航
近年来数据安全相关政策制度陆续推出,数据安全和隐私保护相关政策体系也在不断完善。保证数据安全下的数据开放与服务能力已然成为当前行业发展热点。在数据安全法正式通过后,保障数据安全合规使用成为当前企业用户的一大需求。本篇文章将为您讲述星环科技大数据基础平台TDH是如何基于Overlay网络架构为用户提供全链路的数据安全保护能力。业务背景传统的网络安全概念建立在边界安全的框架之上,需要找出网络的安全边界,并将网络划分为外网和内网等不同区域。但前提是网络内部是安全可信的,一旦攻击者突破防...原创 2022-04-02 14:11:41 · 7462 阅读 · 0 评论 -
教你三步实现CDH到星环TDH的平滑迁移
Transwarp Data Hub(TDH) 是星环科技自主研发的企业级一站式多模型大数据基础平台,其领先的多模型技术架构提供统一的接口层,统一的计算引擎层,统一的分布式存储管理层,统一的资源调度层,以及异构存储引擎层。8种异构存储引擎可以支持包括关系表、文本、时空地理、图数据、文档、时序等在内的10种数据模型。存算解耦特性支持弹性扩展,让资源配置更灵活。星环一站式多模型大数据基础平台TDH架构图TDH能够存储PB 级别的海量数据,同时能够提供高性能的查询搜索、实时分析、统计分析、预测性分原创 2022-03-15 17:57:06 · 4892 阅读 · 0 评论 -
【产品实操】手把手教你安装 TDH8.1.0
星环科技作为一家大数据技术领域的企业级基础软件开发商,将继续利用自身的平台优势和多年的行业经验,不断优化用户体验,让用户更全面、更便捷、更智能、更安全的运用数据。原创 2021-12-06 17:16:19 · 3799 阅读 · 0 评论 -
星环科技 TDH8.1.0:全新升级为用户带来极致体验
TDH8.1.0是星环科技自主研发的一站式多模型数据管理平台,采用了创新的多模型技术架构和统一数据管理,可以构建服务于整个企业的统一数据资源库,让不同部门的数据间的隔阂彻底打破,使跨部门数据灵活调用拥有了技术支撑,有效的降低了用户的开发成本以及总运维成本。原创 2021-12-06 13:57:38 · 418 阅读 · 0 评论 -
基于星环科技大数据平台 辽宁城市建设职业技术学院打造智慧校园
基于星环科技提供的极速大数据平台TDH打造的数据中心平台,成为辽宁城市建设职业技术学院全面的数据源,提供丰富接口向外共享数据。同时支持大规模并发执行的数据加工任务,能够处理海量的数据内容。通过数据中心的建设,在打通各业务系统数据的同时,积淀大量有价值的数据,未来会逐步开展主题分析等服务,服务学院的发展。原创 2021-12-02 13:50:39 · 537 阅读 · 0 评论 -
一图看懂星环大数据安全五重防护
星环科技的大数据安全中间件包含身份认证与权限管理组件Transwarp Guardian、数据审计与泄露防护组件Transwarp Audit、数据安全治理工具Transwarp Defensor、数据流通门户Transwarp Foresight及隐私计算平台Transwarp Sophon FL,且对星环极速大数据平台Transwarp Data Hub完美兼容。作为国产自主研发的大数据平台,拥有超过20...原创 2021-09-27 14:18:52 · 1018 阅读 · 0 评论 -
星环科技覆盖数据全生命周期的安全防护能力,共同保障大数据安全
星环科技的大数据安全中间件包含身份认证与权限管理组件Transwarp Guardian、数据审计与泄露防护组件Transwarp Audit、数据安全治理工具Transwarp Defensor、数据流通门户Transwarp Foresight及隐私计算平台Transwarp Sophon FL,且对星环极速大数据平台Transwarp Data Hub完美兼容。作为国产自主研发的大数据平台,拥有超过20...原创 2021-09-15 11:53:04 · 190 阅读 · 0 评论 -
星环科技 TDS 联邦计算能力,让企业异构数据源数据合作畅通无阻
在数据成为生产要素的今天,企业愈发需要更高效、简洁利用数据的方法来快速响应不断变化的商业和情报分析。传统方式是数据集成(ETL)后再做分析,但目前需求在变化,数据源也在变化,数据集成系统越来越庞大,导致响应变化的速度越来越慢,逐渐出现灵活度低、过程复杂、难以管理等问题。针对这样的困境,企业需要一种能更灵活、快捷地进行数据集成的方法,而这种方法就是数据联邦与联邦计算。通过ETL集成数据联邦与联邦计算融合,一平台即可对同构或异构数据进行访问和分析“数据联邦”以及“联邦计算”概念的出现,使数据集成原创 2021-08-25 17:51:47 · 305 阅读 · 0 评论 -
星环科技 TDS 联邦计算能力,让企业异构数据源数据合作畅通无阻
在数据成为生产要素的今天,企业愈发需要更高效、简洁利用数据的方法来快速响应不断变化的商业和情报分析。传统方式是数据集成(ETL)后再做分析,但目前需求在变化,数据源也在变化,数据集成系统越来越庞大,导致响应变化的速度越来越慢,逐渐出现灵活度低、过程复杂、难以管理等问题。针对这样的困境,企业需要一种能更灵活、快捷地进行数据集成的方法,而这种方法就是数据联邦与联邦计算。通过ETL集成数据联邦与联邦计算融合,一平台即可对同构或异构数据进行访问和分析“数据联邦”以及“联邦计算”概念的出现,转载 2021-08-24 16:47:44 · 209 阅读 · 0 评论 -
那些年用星环产品解决的业务难点…
原创 2021-08-19 15:17:49 · 113 阅读 · 0 评论 -
复旦大学附属中山医院钱琨:健康医疗大数据时代下的智慧医院建设
医疗健康大数据时代下,中山医院如何在数字化转型大浪潮当中,把医疗行业能力通过数字化来沉淀下来,加速智慧医院的建设,从而更好辐射全中国患者?2021年世界人工智能大会“数据力+工具力”构建新型数字底座创新论坛中,复旦大学附属中山医院规划与管理中心主任钱琨就健康医疗大数据时代下的智慧医院建设做了精彩演讲(此为速记整理,一切以现场信息为准)。钱琨:大家好我是复旦大学附属中山医院的钱琨,很高兴今天受到星环科技邀请,给大家从医疗行业角度,分享数据力和工具力怎么发挥作用。今天内容主要分三个板块,首先是刚刚原创 2021-08-16 16:39:15 · 1266 阅读 · 0 评论 -
云原生的数据云,下一个十年的数字化转型趋势
数据量越庞大,数字化转型的意义也就越大,但转型这件事与企业内部多个技术部门紧密相关,它不是某一个单独的团队能够独立完成的任务,而是需要企业的业务部门、数据资产管理、开发应用等更多部门协同合作,因此,越是大型企业数字化转型的难度就越复杂。企业需要打破传统烟囱式架构设计,用全新的数据云模式来实现数字化转型。01 数据、应用、基础设施—数字化转型亟待解决的三大难题对于企业而言数字化转型包含三个要素:应用、数据和基础设施。而目前阶段,企业的每个要素都存在着不同的问题。对于企业应用而言,不同的应用原创 2021-08-13 16:37:47 · 220 阅读 · 0 评论 -
Gartner:星环科技在增强数据分析与数据中台两个领域值得被关注
近日,全球权威IT咨询机构Gartner发布了《2021年中国ICT技术成熟度曲线报告》(Hype Cycle for ICT in China, 2021)。星环科技在报告中两次被提名:凭借Sophon在分布式智能分析领域的深厚研发积累与落地经验,星环科技被Gartner选为增强数据分析技术(AugmentedDataandAnalytics)推荐供应商;同时,凭借覆盖全面、技术前沿的大数据基础软件产品,星环科技被Gartner选为数据中台(Data Middle Office)推荐供应商。...原创 2021-08-11 14:40:38 · 341 阅读 · 0 评论 -
星环研发总监为你揭秘TDH8.0的前因后果 | TDH8.0 使用必读 3
星环科技于2021年3月发布了星环极速大数据平台TDH的8.0版本。相信很多用户都对这款产品非常感兴趣。本系列文章向您逐一介绍TDH8.0全新功能和技术创新。帮助企业级数据平台用户更全面、深入地了解前沿的大数据技术,更好地技术选型。您也可以在星环科技官方视频号、星环社区服务号、以及bilibili、腾讯视频等站点看到我们的视频。往期内容:TDH8.0 使用必读 :为什么你需要存算解耦的多模型数据管理平台TDH8.0使用必读2: 10种数据模型全支持 未来属于多模型大数据平台谈谈TDH..原创 2021-07-19 17:09:29 · 341 阅读 · 0 评论