weixin_56306635的博客

join语法规则join语法的出现是用于根据两个或多个表中的列之间的关系，从这些表中共同组合查询数据inner join（内连接）、left join（左连接）

Hive SQL DML语法之加载数据:Hive SQL-DML-Load加载数据:在Hive中建表成功之后，就会在HDFS上创建一个与之对应的文件夹，且文件夹名字就是表名；文件夹父路径是由参数hive.metastore.warehouse.dir控制，默认值是/user/hive/warehouse；不管路径在哪里，只有把数据文件移动到对应的表文件夹下面，Hive才能映射解析成功; 最原始暴力的方式就是使用hadoop fs –put|-mv等方式直接将数据移动到表文件夹下； 但是，Hive..

datagrip与node1 hive的连接node1设置:1、start-all.sh (开启Hadoop服务)每次重启虚拟机均需要开启，hive基于Hadoop2、nohup /export/server/apache-hive-3.1.2-bin/bin/hive --service metastore &nohup /export/server/apache-hive-3.1.2-bin/bin/hive --service hiveserver2 &（开启hiv

数仓概念： 目的：面向分析，支持分析数据仓库（英语：Data Warehouse，简称数仓、DW）,是一个用于存储、分析、报告的数据系统。 数据仓库的目的是构建面向分析的集成化数据环境，分析结果为企业提供决策支持（Decision Support）。数仓专注分析：数据仓库本身并不“生产”任何数据，其数据来源于不同外部系统； 同时数据仓库自身也不需要“消费”任何的数据，其结果开放给各个外部应用使用为什么会出现数仓：1、解决业务数据的存储问题2、分析型决策的制定数据仓..

YARNYARN简介：Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的Hadoop资源管理器。 1、YARN是一个通用资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度。 2、它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。资源管理系统：集群的硬件资源，和程序运行相关，比如内存、CPU等。 调度平台：多个程序同时申请计算资源如何分配，调度的规则（算法）。 通用：不

MapReduce核心架构思想：先分再合，分而治之。出MapReduce处理的数据类型是<key,value>键值对。MapReduce内置了很多默认属性，比如排序、分组等，都和数据的k有关，所以说kv的类型数据确定及其重要的分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。相对于集中计算。MapReduce是一种面向海量数据处理的一种指导思想，也是一种用于对大规模数据进行分布式计算的编程模型。特点：易于编程

HDFSHDFS（Hadoop Distributed File System ），意为：Hadoop分布式文件系统。 是Apache Hadoop核心组件之一，作为大数据生态圈最底层的分布式存储服务而存在。也可以说大数据首先要解 决的问题就是海量数据的存储问题。 HDFS主要是解决大数据如何存储问题的。分布式意味着是HDFS是横跨在多台计算机上的存储系统。 HDFS是一种能够在普通硬件上运行的分布式文件系统，它是高度容错的，适应于具有大数据集的应用程序，它非 常适于存储大型数据 (比

Hadoop介绍：狭义上Hadoop指的是Apache软件基金会的一款开源软件。 用java语言实现，开源 允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理Hadoop核心组件：Hadoop HDFS（分布式文件存储系统）：解决海量数据存储 Hadoop YARN（集群资源管理和任务调度框架）：解决资源任务调度 Hadoop MapReduce（分布式计算框架）：解决海量数据计算Hadoop特性优点：扩容能力强、成本低、效率高、可靠性强Hadoop集

【大数据从0-1打卡-day2】1、Linux常用系统命令：date：用来显示或设定系统的日期和时间cal：用来显示当前或指定日期的公历free：用来显示内存使用情况df：用来显示磁盘使用情况 f 和 df 后加h显示单位ps -ef：进程查看 kill -9 +进程号：杀死进程 jps：查看本机运行的Java进程2、vim编辑器：概念：Vim 是从 vi 发展出来的一个文本编辑器。它类似于vi但又存在区别，因为它功能强大且高度可配置，在vi的基础上进行了很多的改进。代码补全、编

【大数据从0-1打卡-day1】1、简单了解一些关于大数据的概念数据：数据就是对客观事件进行记录并可以鉴别的符号。他不仅仅是指数字，还可以是有一定意义的字母、文字、符号、语音、文字、图画、视频或者这些元素的结合等。企业数据分析方向：现状分析：离线分析原因分析：实时分析预测分析：机器学习数据分析基本流程：采集、处理、分析、应用大数据：大数据(big data)，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的

算数运算符： 算术运算符 说明 + 加法运算 - 减法运算 * 乘法运算 / 或 DIV 除法运算，返回商 % 或 MOD 求余运算，返回余数 比较运算符： 比较运算符 说明 = ..

概念：Ø数据库管理系统一个重要功能就是数据查询，数据查询不应只是简单返回数据库中存储的数据，还应该根据需要对数据进行筛选以及确定数据以什么样的格式显示。ØMySQL提供了功能强大、灵活的语句来实现这些操作。ØMySQL数据库使用select语句来查询数据。...

主键约束：相当于唯一约束+非空约束的组合 primary key添加单列主键：-- 方式一create table emp1( id int primary key, name varchar(10), dept VARCHAR(10));-- 方式二create table emp2(id int,name varchar(10),dept VARCHAR(10),constraint pk1 primary key(id)...

DML：DML是指数据操作语言，英文全称是Data Manipulation Language，用来对数据库中表的数据记录进行更新。关键字：插入insert删除delete更新update数据插入：#格式一insert into stu(sid,name,gender,age,birth,address,score,department) 注:stu是表名 values(1001,'张三','男',21,'2001-01-02','北京',88....

DDL：基本操作：查看所有数据库：show databases;新建数据库：create database 库名; Create database if not exists 库名;切换(选择要操作的)数据库: use 库名删除数据库：drop database库名; Drop database if exists 库名；修改数据库编码：alter database 库名 character set utf...