- 博客(12)
- 收藏
- 关注
原创 大型分布式服务的主要技术攻关问题总结
大型项目常见问题总结业务发展快,代码规模爆发 接口定义不规范 业务耦合紧密 共用数据库,导致读写效率低和维护成本高 耦合第三方业务,比如支付和小视频等 数据库设计混乱技术挑战服务技术挑战::基于Dubbo分布式服务设计 实时业务分析:基于Storm实时统计分析 数据库服务 OLTP挑战:逻辑读总量与计算函数(解决方案:需要尽量避免计算过程,),磁盘单块读(解决方案:Cache技...
2019-01-16 16:51:59 815
原创 大数据和人工智能平台的技术管理规划
技术平台规划应用服务器(集群)+图像服务器+负载均衡服务器+反向代理+数据服务器(集群)人工智能GPU的服务器配置(K80)技术团队规划和任务安排...
2019-01-16 16:38:10 1659
原创 大型网站系统设计架构深入分析
我的研发实践中,组件框架设计应该采用分层设计模型,组件采用递归结构。每个框架不能依赖其他框架而存在,应该能够独立开发和部署。组件和组件之间,组件和框架之间只能通过API通讯。将组件框架应该再细分成表现层框架、业务层框架、数据层框架、公共服务框架、基础框架、系统框架和与业务系统密切相关的业务框架等构成,除了具体的业务框架外,其他框架必须优先选择比较成熟的产品和免费框架。 组件是事先...
2019-01-13 13:09:52 563
原创 OpenStack的架构详解(深度解析)
OpenStack的架构详解1. OpenStack概要介绍OpenStack既是一个社区,也是一个项目和一个开源软件,它提供了一个部署云的操作平台或工具集。其宗旨在于,帮助组织运行为虚拟计算或存储服务的云,为公有云、私有云,也为大云、小云提供可扩展的、灵活的云计算。OpenStack旗下包含了一组由社区维护的开源项目,他们分别是OpenStackCompute(Nova),OpenS...
2019-01-10 10:51:51 4605
原创 2018年物联网大数据架构演进分析
感知层:主要分为两类,自动感知设备:能够自动感知外部物理信息,包括RFID,传感器,智能家电等;人工生成信息设备:包括智能手机,个人数字助理(PDA)、计算机等。 网络层:网络层又称为传输层,包括接入层、汇聚层和核心交换层。 接入层相当于计算机网络的物理层和数据链路层,RFID标签、传感器与接入层设备构成了物联网感知网络的基本单元。接入层网络技术分为无线接入和有线接入,无线接入有无线局域网...
2019-01-05 12:38:03 2022 3
原创 2018年车联网大数据架构演进分析
物联网终端通过无线/有线网络发送到平台,经过一系列的处理后存入到各种存储引擎中,业务可以通过数据交换接口来访问处理后的数据。具体流程如下: 车载设备或者传感器设备通过网络经过LVS/F5负载均衡将数据发送至网关; 网关接收到数据后进行公共协议解析,然后把解析后的数据发给Kafka,存放在原始数据Topic; 实时计算任务从原始数据Topic中读取数据经过数据清洗后...
2019-01-05 12:30:25 3492 2
原创 2018年医疗大数据系统演进架构图解
海量的医疗大数据来自于各个业务信息子系统,数据的标准化程度低,在完成数据收集之后,随后就面向后续的数据的清洗和加工步骤。如何把这些海量数据按照统一的标准进行清洗,是很多行业和企业现在面对的最大困境。阿里数据中台为的数据ODS 层设计包含了三个特性:其一是数据同步功能,支持结构化数据增量或全量同步到ODPS;其二是实现全结构化数据转换,能够将非结构化数据(如日志)进行结构化处理后再存储;其三...
2019-01-05 12:25:20 5576 1
原创 互联网医疗大数据类型的深度分析
医疗大数据类型医疗大数据分类电子病历数据这是患者就医过程中所产生的数据,包括患者基本信息、疾病主诉、检验数据、影像数据、诊断数据、治疗数据等,这类数据一般产生及存储在医疗机构的电子病历中,这也是医疗数据最主要的产生地。电子化的医疗病历方便了病历的存储和传输,但是并未达到进行数据分析的要求。大约80%的医疗数据是自由文本构成的非结构化数据,其中不仅包括大段的文字描述,也包括包含非统...
2019-01-05 12:18:38 19094 1
原创 2018年医疗大数据产业的发展及解决方案
医疗大数据产业背景分析 近年来,健康医疗大数据相关产业已经被列入国家大数据战略布局,和医疗健康大数据相关的政策频出。在众多健康医疗大数据相关政策中,其中比较著名的是2014 年国家卫计委制定“46312”工程,即建设国家级、省级、地级市、县级4 级卫生信息平台,构建电子监控档案数据库、电子病历数据库、全员人口个案数据库3 个数据库,建立一个安全的卫生网络,加强卫生标准体系和安全体系建设。...
2019-01-05 12:04:05 25762 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人