回顾总结
Mclaren丶
这个作者很懒,什么都没留下…
展开
-
Linux个人总结
LINUX简介 a) 计算机基础:软件: I. 系统软件:语言处理系统,网络软件,操作系统(OS):是配置在计算机硬件上的第一层软件(常见的操作系统有DOS,WINDOWS,UNIX,LINUX) i. 操作系统=内核+系统软件+应用程序 ii) LINUX的优点:1,跨平台的硬件支持2.丰富的软件支持3.多用户多任务(每个用户对自己的资源有特定的权限)4.可靠的安全性(先天免疫病毒 入侵检测)5...原创 2019-03-16 15:43:09 · 620 阅读 · 0 评论 -
MYSQL各存储引擎engine的特点
个人学习过程中总结,如有不同见解望交流。 存储引擎是什么?:MYSQL的存储引擎是为了解决不同业务的需求所提供的多种数据存储方式的选择。例如一个业务的数据要求支持事务,这时候就要选择可以支持事务的存储引擎。 MYSQL中设置存储引擎:例: create table table_name(column type) engine = Innodb; 修改存储引擎:例:alter table table...原创 2019-03-29 16:48:54 · 488 阅读 · 0 评论 -
MYSQL个人总结
个人学习过程中总结,如有不同见解望交流。 数据库概述 a) 概念:数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。 b) 数据库分类:主要分为关系型和非关系型 关系型数据库:各个数据之间存在关联 1.特点:数据形式是表,由二维表以及表之间的联系形成的数据组织 2.优点: 1)可复杂查询:可以用SQL语句方便的进行非常复杂的join查询等 2)...原创 2019-04-06 15:58:06 · 948 阅读 · 0 评论 -
Yarn个人总结
个人学习过程中总结,如有不同见解望交流。 一、Yarn是什么:(yet another resource Negotiator,另一种资源协调者)yarn是一种分布式资源管理调度框架,是mrv1分支的另一种资源协调框架。 先介绍下mrv1:mrv1也是一种master-slave形式的资源协调框架,由一个JobTracker和多个TaskTracker组成。其一个JobTracker管理所有Tas...原创 2019-04-10 21:56:51 · 313 阅读 · 0 评论 -
HDFS个人总结
个人学习过程中总结,如有不同见解望交流。 首先是HDFS的特点: 1.高容错和高可用性 硬件错误是常态而不是异常 HDFS 设计为运行在普通硬件上,所以硬件故障是很正常的。HDFS 提供文件存储副本策略,可以实现错误自检并快速自动恢复。个别硬件的损坏不影响整体数据完整性和计算任务的正常执行。 2.流式数据访问 HDFS 主要采用流式数据读取,做批量处理而不是用户交互处理,因此 HDFS 更关注数据...原创 2019-04-07 15:49:06 · 1244 阅读 · 0 评论 -
MapReduce中Driver类的设置
个人学习过程中总结,有误望指出。 Driver类的设置有两种方法,一种是直接在Driver类的main方法中写driver,一种是令Driver类extends Configured implements Tool (引入包为import org.apache.hadoop.conf.Configured和import org.apache.hadoop.util.Tool) ,并在重写的 run...原创 2019-03-28 20:50:11 · 2895 阅读 · 0 评论 -
MapReduce详细运行流程
个人学习过程中总结,如有不同见解望交流。 MapReduce 是一种编程模型,是面向大数据并行处理的计算模型、框架和平台。它的编程思想是将数据处理流程分为Map离散和Reduce归约两个部分,基于已封装的框架API编程,并以多个节点分布式并行处理,具有很高的性能和编程简化度,且支持跨语言编程。 MapReduce运行流程: 1、Map阶段: (1)split阶段:任务开始运行后,对读取文件进行切片...原创 2019-04-08 14:07:42 · 1007 阅读 · 0 评论