![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
菜鸟-传奇
关注大数据 用技术解决问题!
博客园:https://www.cnblogs.com/cainiao-chuanqi/
展开
-
介绍一下什么是“云计算”
介绍一下什么是“云计算” 云计算:把物理资源以服务的方式提供给用户使用。 现阶段广为接受的是美国国家标准与技术研究院(NIST)定义: 云计算,是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可以配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应进行很少的交互。 原文:Clo...原创 2019-12-13 20:24:00 · 1320 阅读 · 0 评论 -
大数据基础总结---HDFS分布式文件系统
HDFS分布式文件系统 文件系统的基本概述 文件系统定义:文件系统是一种存储和组织计算机数据的方法,它使得对其访问和查找变得容易。 文件名:在文件系统中,文件名是用于定位存储位置。 元数据(Metadata):保存文件属性的数据,如文件名,文件长度,文件所属用户组,文件存储位置等。 数据块(Block):存储文件的最小单元。对存储介质划分了固定的区域,使用时按这些区域分配使用。 HDFS...原创 2019-08-27 19:57:00 · 717 阅读 · 0 评论 -
大数据基础总结---MapReduce和YARN技术原理
Map Reduce和YARN技术原理 学习目标 熟悉MapReduce和YARN是什么 掌握MapReduce使用的场景及其原理 掌握MapReduce和YARN功能与架构 熟悉YARN的新特性 MapReduce的概述 MapReduce基于Google发布的MapReduce论文设计开发,用于大规模数据集(大于1TB)的并行计算 具有如下特点: 易于编程:程序员仅需描述做...原创 2019-08-30 15:24:00 · 890 阅读 · 0 评论 -
大数据学习路线
云计算 大数据 物联网 人工智能的时代已经到来。 或许我们昨天还在畅想着未来,可是不知不觉,那个被我们畅想的未来已经悄然降临。不断的改变我们身边的方方面面。 我们必须跟上时代,才能不被时代所抛弃。 新时代人工智能的出现,让人类担心是否会被替代,我觉得大家大可不用担心。学习是我们人类天赋,只要你肯学习,就不会被取代。 当然我们也不能盲目的学,要有目标,有计划 我给大家分享一下学习大数据的学...原创 2019-03-22 21:17:00 · 103 阅读 · 0 评论 -
FusionInsight大数据开发--HBase应用开发
HBase应用开发 HBase的定义 HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统。 适合于存储大表数据,可以达到实时级别。 利用Hadoop HDFS 作为其文件存储系统,提供实时的读写的数据库系统。 利用ZooKeeper作为协同服务。 HBase架构 HBase的适用场景 海量数据 高吞吐量 需要在海量数据中实现高效的随机读取 需要很好的性能伸缩能力 ...原创 2019-06-12 16:03:00 · 319 阅读 · 0 评论 -
FusionInsight大数据开发---HDFS应用开发(2)
HDFS应用开发 HDFS(Dadoop Distributed File System) HDFS概述 高容错性 高吞吐量 大文件存储 HDFS架构包含三部分 Name Node DataNode Client HDFS数据写入流程 HDFS应用开发方式 HDFS Client Java/shell/Web UI Kerbors控制 HDFSJava应用开发 下载客...原创 2019-06-11 21:12:00 · 167 阅读 · 0 评论 -
FusionInsight大数据开发学习总结(1)
FusionInsight大数据开发 FusionInsight HD是一个大数据全栈商用平台,支持各种通用大数据应用场景。 技能需求 扎实的编程基础 Java/Scala/python/SQL/shell常见命令 掌握FusionInsight 熟悉业务开发 大数据应用开发流程 业务分析和方案设计 应用开发 应用调试 应用部署 应用开发关键点 账号 安全认证 场景约束 ...原创 2019-06-11 21:08:00 · 363 阅读 · 0 评论 -
FusionInsight大数据开发---Redis应用开发
Redis应用开发 要求: 了解Redis应用场景 掌握Redis二次开发环境搭建 掌握Redis业务开发 Redis简介 Redis是一个基于网络的,高性能key-value内存数据库 Redis根memcached类似,不过数据可持久化,而且支持的数据类型很丰富。支持在服务端计算集合的并、交和补集等,还支持多种排序功能。 Redis使用场景有如下几个特点: 高性能 低延迟 丰...原创 2019-07-26 17:31:00 · 230 阅读 · 0 评论