![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
菜鸟-传奇
关注大数据 用技术解决问题!
博客园:https://www.cnblogs.com/cainiao-chuanqi/
展开
-
介绍一下什么是“云计算”
介绍一下什么是“云计算”云计算:把物理资源以服务的方式提供给用户使用。现阶段广为接受的是美国国家标准与技术研究院(NIST)定义: 云计算,是一种按使用量付费的模式,这种模式提供可用的、便捷的、按需的网络访问,进入可以配置的计算资源共享池(资源包括网络,服务器,存储,应用软件,服务),这些资源能够被快速提供,只需投入很少的管理工作,或与服务供应进行很少的交互。原文:Clo...原创 2019-12-13 20:24:00 · 1347 阅读 · 0 评论 -
大数据基础总结---HDFS分布式文件系统
HDFS分布式文件系统文件系统的基本概述文件系统定义:文件系统是一种存储和组织计算机数据的方法,它使得对其访问和查找变得容易。 文件名:在文件系统中,文件名是用于定位存储位置。 元数据(Metadata):保存文件属性的数据,如文件名,文件长度,文件所属用户组,文件存储位置等。 数据块(Block):存储文件的最小单元。对存储介质划分了固定的区域,使用时按这些区域分配使用。HDFS...原创 2019-08-27 19:57:00 · 727 阅读 · 0 评论 -
大数据基础总结---MapReduce和YARN技术原理
Map Reduce和YARN技术原理学习目标熟悉MapReduce和YARN是什么 掌握MapReduce使用的场景及其原理 掌握MapReduce和YARN功能与架构 熟悉YARN的新特性MapReduce的概述MapReduce基于Google发布的MapReduce论文设计开发,用于大规模数据集(大于1TB)的并行计算具有如下特点:易于编程:程序员仅需描述做...原创 2019-08-30 15:24:00 · 900 阅读 · 0 评论 -
大数据学习路线
云计算 大数据 物联网 人工智能的时代已经到来。或许我们昨天还在畅想着未来,可是不知不觉,那个被我们畅想的未来已经悄然降临。不断的改变我们身边的方方面面。我们必须跟上时代,才能不被时代所抛弃。新时代人工智能的出现,让人类担心是否会被替代,我觉得大家大可不用担心。学习是我们人类天赋,只要你肯学习,就不会被取代。当然我们也不能盲目的学,要有目标,有计划我给大家分享一下学习大数据的学...原创 2019-03-22 21:17:00 · 106 阅读 · 0 评论 -
FusionInsight大数据开发--HBase应用开发
HBase应用开发HBase的定义HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统。适合于存储大表数据,可以达到实时级别。 利用Hadoop HDFS 作为其文件存储系统,提供实时的读写的数据库系统。 利用ZooKeeper作为协同服务。HBase架构HBase的适用场景海量数据 高吞吐量 需要在海量数据中实现高效的随机读取 需要很好的性能伸缩能力 ...原创 2019-06-12 16:03:00 · 320 阅读 · 0 评论 -
FusionInsight大数据开发---HDFS应用开发(2)
HDFS应用开发HDFS(Dadoop Distributed File System)HDFS概述高容错性 高吞吐量 大文件存储HDFS架构包含三部分Name Node DataNode ClientHDFS数据写入流程HDFS应用开发方式HDFS ClientJava/shell/Web UIKerbors控制HDFSJava应用开发下载客...原创 2019-06-11 21:12:00 · 168 阅读 · 0 评论 -
FusionInsight大数据开发学习总结(1)
FusionInsight大数据开发FusionInsight HD是一个大数据全栈商用平台,支持各种通用大数据应用场景。技能需求扎实的编程基础 Java/Scala/python/SQL/shell常见命令 掌握FusionInsight 熟悉业务开发大数据应用开发流程业务分析和方案设计 应用开发 应用调试 应用部署应用开发关键点账号 安全认证 场景约束...原创 2019-06-11 21:08:00 · 366 阅读 · 0 评论 -
FusionInsight大数据开发---Redis应用开发
Redis应用开发要求:了解Redis应用场景 掌握Redis二次开发环境搭建 掌握Redis业务开发Redis简介Redis是一个基于网络的,高性能key-value内存数据库 Redis根memcached类似,不过数据可持久化,而且支持的数据类型很丰富。支持在服务端计算集合的并、交和补集等,还支持多种排序功能。Redis使用场景有如下几个特点:高性能 低延迟 丰...原创 2019-07-26 17:31:00 · 244 阅读 · 0 评论