TOYOTA__LI-CSDN博客

原创 mapreduce

MapReduce定义:MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个 Hadoop 集群上。MapReduce优点:1）MapReduce 易于编程它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的 PC 机器上运行。也就是说你写一个分布式程序，跟写一个简单的串行程序是一模一样的

2022-03-03 17:33:24 97

原创 yarn总结

Yarn 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。Yarn 基础架构:YARN 主要由 ResourceManager、NodeManager、ApplicationMaster 和 Container 等组件构成1）ResourceManager（RM）主要作用如下:（1）处理客户端请求（2）监控NodeManager（3）启动或监控ApplicationMaster（4

2022-03-02 17:35:41 173

原创 HDFS总结

hdfsHDFS优点1）高容错性 ➢ 数据自动保存多个副本。它通过增加副本的形式，提高容错性。2）适合处理大数据 ➢ 数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据； ➢ 某一个副本丢失以后，它可以自动恢复。副本副本副本副本副本副本副本 ➢ 文件规模：能够处理百万规模以上的文件数量，数量相当之大。3）可构建在廉价机器上，通过多副本机制，提高可靠性HDFS缺点1）不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。2）无法高效的对大量小文件进行存储。 ➢ 存储大量

2022-03-02 11:13:07 173

原创 SQL练习题

1.创建一个表，表如图所示iddepartmentsalaryname11200张三21300李四31100王五42200牛六52300张耀需求：找出两个部门中工资最高的员工需输出departmentsalaryname1300李四2300张耀步骤1：创建表CREATE TABLE test0211( id INT, department INT,

2022-01-24 23:14:50 291

原创 HIVE优化

1.HIVE建表优化1. 1 分区表分区表实际上就是对应一个 HDFS 文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive 中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通过 WHERE 子句中的表达式选择查询所需要的指定的分区，这样的查询效率会提高很多，所以我们需要把常常用在 WHERE 语句中的字段指定为表的分区字段。分区表一般根据日期对日志进行管理举例：dept_20200401.logdept_20200402.logdept_202

2022-01-20 15:59:25 141

原创 SQL归纳总结（2）

1.子查询1.1 含义子查询指一个查询语句嵌套在另一个查询语句内部的查询1.2 子查询的基本语法结构select select_listfrom table where expr operator( select select_list from table);子查询（内查询）在主查询之前一次执行完成。子查询的结果被主查询（外查询）使用。注意事项子查询要包含在括号内将子查询放在比较条件的右侧单行操作符对应单行

2022-01-20 10:05:05 428

原创 SQL归纳总结（1）

1.SELECT语句1.1 select … from …语法：SELECT 标识选择哪些列FROM 标识从哪个表中选择1.2 select * from查询全部数据一般情况下，除非需要使用表中所有的字段数据，最好不要使用通配符‘*’。使用通配符虽然可以节省输入查询语句的时间，但是获取不需要的列数据通常会降低查询和所使用的应用程序的效率。通配符的优势是，当不知道所需要的列的名称时，可以通过它获取它们。在生产环境下，不推荐你直接使用 SELECT * 进行查询。2. 列的别名命名一

2022-01-19 15:49:09 2231

原创多态，继承和重写

package(包)为了实现类的管理包为标识符，遵循（xxx.yyy.zzz)格式见名知意每"."一次代表一次文件目录import关键字有import结构导入指定包下的类和接口声明在包的声明和类的声明之间Java.lang包下的类和接口可以之间调用不需import如果是本包下定义的也可省略示例：package day01;import java.util.ArrayList;import java.util.Arrays;import java.util.Scanner;

2022-01-19 11:05:26 1898

原创 THIS关键字与封装

this关键字在Java基础中，this关键字是一个最重要的概念。使用this关键字可以完成以下的操作：1.调用类中的属性2.调用类中的方法或构造方法，注意：在一个构造方法中，调用另一个构造方法时，调用的代码必须编写在构造方法的第一行。3.表示当前对象示例：class Person{ private String name; private int age; Person(){ //调用下面的构造方法，如果下面还有代码，必须写在第一行 this("张三",12)

2022-01-17 23:31:35 98

原创面向对象：对象的概念

1.什么是对象《Java编程思想》中提到“万物皆为对象”的概念。它将对象视为一种奇特的变量，它除了可以存储数据之外还可以对它自身进行操作。它能够直接反映现实生活中的事物，例如人、车、小鸟等，将其表示为程序中的对象。每个对象都具有各自的状态特征（也可以称为属性）及行为特征（方法），java就是通过对象之间行为的交互来解决问题的。2.封装，继承和多态的概念封装：核心思想就是“隐藏细节”、“数据安全”，将对象不需要让外界访问的成员变量和方法私有化，只提供符合开发者意愿的公有方法来访问这些数据和逻辑，保证了数

2022-01-17 21:39:43 1741

原创 JAVA基础汇总

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录一.Java语言的特点二. 重载和重写三.IF语句FOR循环FOR循环格式1.遍历数组的传统方式2. 示例一：计算 1~100 所有奇数的和3. Break和Continue一.Java语言的特点面向对象（封装，继承，多态）；平台无关性（ Java 虚拟机实现平台无关性，一次编译，到处运行）；简单易学（与C语言的面向过程相比，Java的面向对象更接近人的语言习惯）；安全性，可靠性（Java中没有指针，程序员无法直接操作

2022-01-17 18:34:51 64

TOYOTA__LI的博客