![](https://img-blog.csdnimg.cn/2019092900005936.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据 | 云计算
文章平均质量分 94
大数据和云计算相关知识
大数据AI笔记
一只认真写博客的菜鸟
展开
-
大数据架构师之路 | 概念术语理解
架构师,不明觉厉,也是我的追求目标,因此搜集了很多大数据架构相关的知识,理解并整理出来,一起学习。知识拓展大数据人工智能行业技术人员必备技能hive入门 | 数据类型、数据存储、数据结构详解+SQl代码示例hive进阶 | 数据的导入、数据查询、Java客户端详解+代码示例Hadoop基础与实战 | 简明理解大数据流式计算 storm 基础kafka...原创 2018-02-08 11:18:33 · 4636 阅读 · 0 评论 -
雾计算-思科白皮书 原文+翻译 | 带你全面官方解读雾计算
前言预感近阶段雾计算会被再次炒起,众所周知雾计算的概念是思科提出来的,于是找来思科白皮书,却是英文版,闲来无事借google翻译将PDF翻译并排版,方便更多的人认识原汁原味的雾计算。雾计算和物联网:将云扩展到事物所在Fog Computing and the Internet of Things: Extend你会学到什么物联网(IoT)正在产生前所未有的大量数...原创 2018-03-11 23:38:30 · 13091 阅读 · 0 评论 -
初识云计算,什么是云计算,云计算的分类
文章目录什么是云计算?云计算的分类公有云私有云混合云(专属云)DevOpsDevOps完整研发周期什么是云计算?虚拟化是基础(计算、存储、网络等)产品服务化(Laas、Paas、Saas、Xaas)弹性伸缩,没有边界云计算的分类公有云(AWS,阿里云,Azure等)私有云(Vmware等)混合云(Azure,Rackspace)公有云云服务提供商对基础设施维护多租户Pay For Use私有云自己维护云基础设施单租户或狭义上的多租户Pay For Cloud原创 2020-07-11 13:07:31 · 967 阅读 · 0 评论 -
实时数仓和离线数仓
文章目录1.什么是大数据平台?2.数仓和数据库的区别3.大数据技术栈4.数仓的分层5. 离线数仓架构和实时数仓架构离线数仓架构实时数仓架构对比6.数仓架构发展1.什么是大数据平台?数据日益增多部署hadoop集群采集录入数据构建数据仓库数据统一计算任务统一调度数据统一查询用户统一使用2.数仓和数据库的区别项目HiveRDBMS查询语言HQLSQL数据存储HDFS本地磁盘索引无有执行MapReduceExecutor执行延时高低数原创 2020-05-25 21:13:14 · 7325 阅读 · 2 评论 -
Spark SQL和 presto 访问数据源的对比分析
直观感受是使用Spark SQL比通过 presto 写SQL的查询速度更快开发python程序访问Presto可以借助pyhive工具文章目录Spark SQL是什么?和Hive的不同三种数据结构Dataframe和Dataset是什么Datafram比RDD的优势Dataset比Dataframe的优势presto是什么优点数据模型架构数据库架构设计Spark SQL是什么?Sp...原创 2020-04-30 16:18:08 · 2031 阅读 · 1 评论 -
大数据流式计算 storm 基础
一、目标分清流式计算和批量计算各自的适用场景使用storm开发流式计算程序知道流式计算中时效性和正确性的取舍二、storm是什么?开源的、分布式、流式计算系统三、分布式起源数据量大+增长太快–>分布式把一个任务拆解给多个计算机去执行,对外只提供一个接口google发表了三篇论文:Google File System、Big Table...原创 2018-03-09 13:26:43 · 4446 阅读 · 1 评论