艾维的博客

scala知识点总结????什么是scalaScala 是一门 以 Java 虚拟机（JVM）为运行环境并将面向对象和函数式编程的最佳特性结合在一起的静态类型编程语言。Scala是一门将Java的OOP设计思想和自身函数式编程的思想相结合而造就的静态类型编程语言。????为什么要学习 ScalaSpark 是新一代内存级大数据计算框架，是大数据的重要内容Spark 是使用 Scala 编写的，为了更好的学习Spark，需要掌握 ScalaSpark 的兴起，带动 Scala 语言的发展。

spark???? 翻译Apache Spark is a fast and general-purpose cluster computing system. It provides high-level APIs in Java, Scala, Python and R, and an optimized engine that supports general execution graphs. It also supports a rich set of higher-level tools

Hive、Hbase、Flume、Sqoop、Kafka、Azkaban

一、统一类型（Unified Types）1.1 Scala类型层次解构Scala类型层次解构Any 是所有类型的超类型，也称为顶级类型。Any 定义了通用的方法：equals、hashCode、toStringAny 有两个子类：AnyVal 和 AnyRefAnyVal 代表值类型。分为四类八种 + Unit四类八种：四类（整型，浮点型，字符型，布尔...

输出语句（Hello World）Java中的输出语句System.out.println("Hello World");Scala中的输出语句println("Hello World!");常量（Constant）常量的定义：（使用关键字：val）val constant = "常量";println("这是:"+constant);//Console: ...

介绍（Introduce）Scala是一门计算机语言Scala和其他计算机语言的区别：相同点：编程的思路是一样的不同点：语法规则不一样scala是在Java基础进行了一次封装Scala是一门现代的多范式语言，志在以简洁、优雅及类型安全的方式来表达常用的编程类型。它平滑地集成了面向对象和函数式语言地特性。友情链接：GETING STARTE...

Linux1、操作系统是什么2、操作系统的作用3、Linux的由来?4、Linux的内核版和发行版5、Linux和Windows的对比6、Linux的文件和目录结构7、VIM编辑器（三种模式）8、网络配置9、Linux的命令Shell1、什么是脚本，如何去编写一个脚本?2、Shell的解释器有哪些?3、Shell的变量4、Shell的数组5、运算符6、条件判断7、流程控制语句8、函数9、Shell的文本处理工具Hadoop

【高可用性】：通常来描述一个系统经过专门的设计从而减少停工时间，而保持其服务的高度可用性。规划集群高可用集群规划 Hadoop01 Hadoop02 Hadoop03 NameNode NameNode JournalNode JournalNode JournalNode DataNode DataNode ...

Zookeeper是什么?Zookeeper = 文件系统 + 通知机制是一个 分布式协调服务 的开源框架，主要用来解决分布式集群中应用系统的一致性问题。【同时操作数据导致脏读】是一个基于观察者模式设计的分布式服务管理框架①负责存储和管理大家都关心的数据②接收观察者的注册，观察节点的数据状态的变化③负责通知已经在Zookeeper上注册的那些观察者做出相应的反应...

总结时间： 2019年12月28日 周六 周考试卷总结：【点此处】MapReduce的流程【MapTask工作机制】【ReduceTask工作机制】HDFS上传下载的流程Shuffle的机制从Map阶段的后面的部分——Reduce阶段的前面的部分组成环形缓冲区的作用Key，value从map( )方法输出，被outputCo...

2019/12/30 16:03 周一 一、MapReduce概述1.1、MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发"基于Hadoop的数据分析应用"的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。1.2 、MapReduce优缺...

HDFS概述一、HDFS产出背景及定义HDFS产出背景：随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中 但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。HDFS定义：HDFS(Hadoop Distributed File System)，它...

1、Linux是单用户、多任务的操作系统。❌2、使用shutdown -k 5 表示5分钟后关闭计算机。❌3、Linux内核版本又分为稳定版和开发板，两种版本是相互关联的。⭕4、Windows server的服务器市场占有率比Linux的更大。❌5、Windows是封闭的，系统的可定制性很差，而Linux是开源的，可定制性强。⭕6、没有安装操作系统的...

第一章 大数据概论1、大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。主要解决：海量数据的存储、海量数据的分析计算、统一资源管理调度。按照顺序给出数据存储单位 bit Byte KB MB GB TB PB...

Shell概述Shell解析器【Linux提供的Shell解析器】【bash和sh的关系】【CentOS默认的解析器】Shell脚本入门1、脚本格式脚本以【#!/bin/bash】或者【#!/bin/env bash】开头2、第一个脚本：Hello World①创建一个Shell脚本文件，后缀名称为【.sh】可以直接使用【VIM编...

操作系统【科普】没有安装操作系统的计算机，通常被称为 裸机如果想在 裸机 上运行自己所编写的程序，就必须用机器语言书写程序如果计算机上安装了操作系统，就可以在操作系统上安装支持的高级语言环境，用高级语言开发程序。操作系统的作用是现代计算机系统中 最基本和最重要 的系统软件是 配置在计算机硬件上的第一层软件， 是对硬件系统的首次...

命令 功能及语法 帮助命令 man 获得帮助信息 NAME 命令的名称和单行描述 SYNOPSIS 怎样使用命令 DESCRIPTION 命令功能的深入讨论 EXAMPLES 怎样使用命令的例子 ...