大数据应用

1.大数据基础

1.1 Hadoop框架

1）主要流程：客户端到名字阶段的文件与目录-》读文件-》写文件-》


MapReduce 框架

Hbase

1.2 Spark

1.3数据挖掘

2. Hadoop框架

2.1 Shell编程规范

2.2 HDFS

大公司多采用集权式管理方式

大数据、云计算、物联网关系

apache官网：https://apache.org/




linux中/opt目录用来安装附加软件包，是用户级的程序目录，可以理解为D:/Software。安装到/opt目录下的程序，它所有的数据、库文件等等都是放在同个目录下面
linux中/usr为系统级的目录，可以理解为C:/Windows/
cd ~ 是跳转到当前用户的家目录。
cd / 是跳转到根目录

1、执行删除操作之前运用ls查看当前文件夹的内容；2、接着执行rmdir命令进行文件夹删除加上要删除的文件夹名字；3、删除B文件夹，这时可以看到B文件夹下面有子文件夹；4、如果想删除文件的话，直接用rm命令即可。注意：rm是不可以直接用来删除目录的，如果在rm中加入r参数，则可以强制删除目录
创建apps 和 software
yum是Yellow dog Updater Modified的缩写,是指一个在Fedora、RedHat和CentOS中的Shell前端软件包管理器

Java SE（Java Platform，Standard Edition）。Java SE 以前称为 J2SE。它允许开发和部署在桌面、服务器、嵌入式环境和实时环境中使用的 Java 应用程序。Java SE 包含了支持 Java Web 服务开发的类，并为 Java Platform，Enterprise Edition（Java EE）提供基础。
Java EE（Java Platform，Enterprise Edition）。这个版本以前称为 J2EE。企业版本帮助开发和部署可移植、健壮、可伸缩且安全的服务器端 Java 应用程序。Java EE 是在 Java SE 的基础上构建的，它提供 Web 服务、组件模型、管理和通信 API，可以用来实现企业级的面向服务体系结构（service-oriented architecture，SOA）和 Web 2.0 应用程序。
简单来说的话就是： Java SE 就是做电脑上的运行软件； Java EE 就是用来做网站的 （例如JSP、Html5、CSS3）

JDK是面向开发人员使用的SDK，它提供了Java的开发环境和运行环境。SDK是SoftwareDevelopmentKit
JDK是整个JAVA的核心，包括了Java运行环境JRE(Java Runtime Envirnment)、一堆Java工具(javac/java/jdb等)和Java基础的类库(即Java API 包括rt.jar)
一般来说下的java就是jdk，不过也有jre的，它们的区别是一个用于开发java（包含javac等），一个只能运行java程序（不能编译）。可以看看有没有javac这个东西。直接在cmd里面输入javac。如果没有就是jre,有就是jdk（前提是环境变量要配置正确，不过安装版的应该不存在这个问题）
JDK 1.8 for Linux 官方下载地址：https://www.oracle.com/java/technologies/downloads/#java8
centos 安装 JDK .1->将压缩包丢到文件夹解压缩（指定目录）-》


更改环境变量

Hadoop安装&