【Python大数据学习笔记_day11】

大数据概述

数据:万物皆数据

大数据:big data,不能用常规的软件去存储和处理的数据集合,这时候需要一种新的处理模式,这个模式就是大数据

大数据的特点:5V

• 大（Volume）: 体积大
• 多（Variety）: 数据种类和来源多
• 值（Value）: 低价值密度
• 快（Velocity）: 增长速度快,处理速度快,获取速度快
• 信（Veracity）: 结果准确,可以信赖的

大数据的应用场景:各行各业...

大数据的学习路线:mysql,linux,hive,hadoop,zookeeper,项目一,项目二,python,spark,项目三,项目四,Java,flink,项目五

计算机的组成

计算机的组成:硬件和软件

硬件:冯·诺依曼体系结构        输入输出设备,CPU(运算器和控制器),内外存储器

软件:系统9软件和应用软件        注意:如果一个电脑没有操作系统,就是"裸机"
系统软件:桌面:window        mac        Linux        手机端:安卓        苹果        鸿蒙

操作系统:(英语:Operating System 缩写:OS)        作用:承上启下硬件和应用软件之间的桥梁

编程语言

数据库:存储数据的仓库,本质是一个文件系统

数据库分类:关系型数据库和非关系型数据库

关系型数据库(SQL):主要以二维表格的形式存储数据

常见的关系型数据库:Mysql,ORACLE,DB2,SQLServer,SQLite
非关系型数据库(Not Only SQL):主要以键值对的形式存储数据        

常见的非关系型数据库:Hbase,MangoDB,Redis

 MySQL数据库连接

简介

MySQL:MySQL是最流行的关系型数据库管理系统之一,在WEB应用方面,MySQL是最好的RDBMS(Relational Database Management System,关系型数据库管理系统)应用软件之一。

注意:基础班目前主要学习MySQL8开源免费版本

 命令登录登出

登录

命令1:mysql -u用户名 -p密码

命令2:mysql -u用户名 -p回车后在输入密码

命令3:mysql -h主机地址 -u用户名 -p回车后在输入密码

登出

命令1: exit
命令2: quit
命令3: \q

 

 开发工具连接

制动下载驱动方式

手动关联驱动 

 

 DataGrip设置 

创建项目

 

 主题 

 MySQL相关插件

 SQL规范

SQL简介

SQL: 结构化查询语言, 是所有关系型数据库都要遵循的规范

大白话解释: 可以理解成sql是普通话,mysql,oracle等是方言

 SQL分类

DDL: 数据定义语言:简称DDL(Data Definition Language)
        作用: 用来定义数据库对象：数据库，表，列/字段等。
        关键字: create，drop，alter等
        
DML: 数据操作语言:简称DML(Data Manipulation Language)
        作用:用来对数据库中表的记录进行更新。
        关键字: insert，delete，update等
        
DQL: 数据查询语言:简称DQL(Data Query Language)
        作用:用来查询数据库中表的记录。
        关键字: select，from，where等
        
DCL: 数据控制语言：简称DCL(Data Control Language)
        用来定义数据库的访问权限和安全级别，及创建用户。

SQL通用语法 

 1、SQL语句可以单行或多行书写，以分号结尾。  
        举例: select *  from 表名 where 条件;
2、可使用空格和缩进来增强语句的可读性
          select *  
        from 表名 
        where 条件;
3、MySQL数据库的SQL语句不区分大小写，关键字建议使用大写
         例如:select *  from 表名 where 条件; SELECT * FROM 表名 WHERE 条件;
         大小写切换快捷键: ctrl+shift+u
4、可以使用 /**/，--，# 的方式完成注释
        /**/：多行注释，在注释区域内可以随意换行
        -- 和# ：单行注释，写在语句开头，换行后注释截止。注意: -- 后面必须有一个空格
        单行注释快捷键: ctrl+/         
        多行注释快捷键: ctrl+shift+/

MySQL数据库使用

数据库操作

==数据库英文单词: database==

创建数据库: create database [if not exists] 数据库名;  注意: 默认字符集就是utf8

删除数据库: drop database [if exists] 数据库名;

使用/切换数据库: use 数据库名;

查看所有的数据库名: show databases;
查看当前使用的数据库: select database();
查看指定库的建库语句: show create database 数据库名;

# 一. 数据库操作
# 操作库的前提: 先启动服务并连接它
# 1.创建库
# 创建基本数据库
create database day01;
create database day02;
# if not exists: 如果不存在就创建,存在就不创建也不报错
create database IF NOT EXISTS day01;
# charset utf8: 创建数据库的时候指定编码,一般默认就是utf8
create database IF NOT EXISTS day03 CHARSET utf8;

# 2.删除数据库
drop database day03;
# if exists: 如果存在就删除,不存在不删除也不报错
drop database IF EXISTS day03;

# 3.使用/切换数据库
use day02;
use day01;

# 4.查看库
# 查看当前使用的是哪个数据库
select database();
# 查看所有的数据库
show databases;
# 查看指定数据库的建库语句
show create database day01;

库中表操作

数据类型

字符串类型: varchar(字符长度)

整数类型: int    注意: 默认长度是11,如果int不够用就用bigint

浮点类型: float(python默认) 或者 double(java默认)   decimal(默认是有效位数是10,小数后位数是0)

日期时间: date  datetime  year

创建表 

字符串类型: varchar(字符长度)

整数类型: int    注意: 默认长度是11,如果int不够用就用bigint

浮点类型: float(python默认) 或者 double(java默认)   decimal(默认是有效位数是10,小数后位数是0)

日期时间: date  datetime  year

# 二.库中表操作
# 操作表的嵌套: 先有库并使用它
use day01;
# 1.创建基本表
create table student(
    id int,
    name VARCHAR(100),
    age int
);
# if not exists: 如果表不存在就创建,存在不创建也不报错
create table if not exists student(
    id int,
    name VARCHAR(100)
);