![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
SQL基础
文章平均质量分 52
NULL
Gadaite
这个作者很懒,什么都没留下…
展开
-
Part6--Hive数据导出
准备数据SELECT * FROM audi;1.使用insert 导出1.1 导出数据到本地INSERT overwrite local directory '/root/data/auditmp' SELECT * FROM auditmp ; 在Linux上查看导出结果(base) [root@192 data]# ll *audi*-rw-r--r--. 1 root root 534089 4月 22 06:00 audi_202204220558.csvauditm原创 2022-04-23 20:29:05 · 2646 阅读 · 0 评论 -
Part5--Hive数据导入
准备工作 先将表中的数据清除,由于是external修饰的外部表不能直接使用truncate删除表中数据,否则报错INSERT overwrite table audi select * from audi WHERE `model` = NULL ;SELECT * FROM audi ;1.load加载数据1.1 从本地读取数据 使用local表示从系统导入数据load data local inpath "/root/data/audi_202204220558.csv" i原创 2022-04-23 20:26:49 · 1957 阅读 · 0 评论 -
Part4--Hive数据表
1.创建表1.1 SQL模板CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED BY (col_name, col_name, ...) [SORT原创 2022-04-22 12:36:35 · 1542 阅读 · 0 评论 -
Part3--Hive数据库
1.数据库1.1 创建数据库 在 HDFS 上的默认存储路径是/user/hive/warehouse/*.dbcreate database if not exists Test;1.2 创建指定HDFS上的位置CREATE database if not exists Testother location '/20220421.db'; 1.3 修改数据库 使用 ALTER DATABASE 命令为某个数据库的 DBPROPERTIES 设置键-值对属性值,来描述这个原创 2022-04-22 12:25:13 · 2117 阅读 · 0 评论 -
pyspark读取hdfs文件并导入到hive中
01.创建对象,设定日志级别from pyspark.sql import SparkSessionspark = SparkSession.builder.config("spark.driver.host","192.168.1.10")\ .config("spark.ui.showConsoleProgress","false")\ .appName("hdfs_hive").master("local[*]").enableHiveSupport().getOrCreate()原创 2022-03-25 16:04:50 · 5170 阅读 · 0 评论 -
解决docker中数据库时间与当前时间不吻合
01.问题排查1.使用mysql数据库查询当前日期的时候发现时间并不吻合select CURRENT_DATE(),CURRENT_TIME(); 2.数据库的配置问题 在window11系统上,使用VMware Workstation软件,配置的虚拟机 虚拟机系统为centos7,配置有docker容器。并在docker容器中配置的mysql数据库(base) [root@192 ~]# docker psCONTAINER ID IMAGE原创 2022-03-13 17:48:23 · 2608 阅读 · 0 评论 -
mysql索引的创建删除
01.索引创建、删除与使用:1.1 create方式创建索引:CREATE [UNIQUE -- 唯一索引 | FULLTEXT -- 全文索引 ] INDEX index_name ON table_name -- 不指定唯一或全文时默认普通索引 (column1[(length) [DESC|ASC]] [,column2,...]) -- 可以对多列建立组合索引 1.2 alter方式创建索引:ALTER TABLE tb_name ADD [UNIQUE | FULLT原创 2022-03-13 01:41:06 · 1461 阅读 · 0 评论 -
study SQL by using pyspark(part two)
SQL:1.分组排序:group by,order by2.分组过滤:having3.汇总数据:max,min,sum,avg,count#%%from re import templatefrom numpy.lib.function_base import selectfrom pyspark import SparkConf,SparkContextfrom pyspark import sqlfrom pyspark.sql import SparkSessionspa原创 2021-10-01 01:00:59 · 93 阅读 · 0 评论 -
study SQL by using pyspark(part three)
SQL子查询1.使用子查询进行过滤2.作为计算字段子查询#%%#导入相关库类from pyspark import SparkConf,SparkContextfrom pyspark.sql import SparkSessionspark = SparkSession.builder.config(conf=SparkConf()).getOrCreate()# %%#定义mysql数据库连接方法(参数为库名,表名),并创建dataframe临时表def connect_D原创 2021-10-01 05:19:49 · 107 阅读 · 0 评论 -
study SQL by using pyspark(part one)
#%%from pyspark import SparkConf,SparkContextfrom pyspark import sqlfrom pyspark.sql import SparkSessionspark = SparkSession.builder.config(conf=SparkConf()).getOrCreate()sc = spark.sparkContext# %%rdd1 = sc.parallelize([(22,'xiaobao'),(23,'chuyu'.原创 2021-09-30 00:26:31 · 74 阅读 · 0 评论 -
mysql建表约束_非空/默认/外键约束
01.非空约束-- 建表时添加非空约束-- 约束某个字段不能为空CREATE TABLE user ( id INT, name VARCHAR(20) NOT NULL);describe user ;-- 移除非空约束ALTER table user modify name varchar (20);describe user ;02.默认约束:-- 建表时添加默认约束-- 约束某个字段的默认值CREATE TABLE user2 ..原创 2022-03-07 10:59:52 · 1299 阅读 · 0 评论 -
mysql基本语法
-- 显示所有数据库-- 显示所有数据库show databases;-- 创建数据库CREATE database test;-- 使用数据库use test ;-- 显示数据库中所有表show tables;-- 创建数据表CREATE table pet( name varchar(20), owner VARCHAR(20), species VARCHAR(20), sex CHAR(1), birth DATE,...原创 2022-03-07 09:46:41 · 254 阅读 · 0 评论 -
mysql建表约束_主键/索引约束
01.主键约束:-- 主键约束-- 使某个字段不重复且不得为空,确保表内所有数据的唯一性CREATE table user( id int primary key, name varchar(20));show tables;describe user ;-- 联合主键-- 联合主键中的每个字段都不能为空,并且加起来不能和已设置的联合主键重复DROP table user ;CREATE table user ( id int , name varcha.原创 2022-03-07 10:29:40 · 2710 阅读 · 0 评论 -
mysql数据库的三大设计范式
1NF只要字段值还可以继续拆分,就不满足第一范式。范式设计得越详细,对某些实际操作可能会更好,但并非都有好处,需要对项目的实际情况进行设定。2NF在满足第一范式的前提下,其他列都必须完全依赖于主键列。如果出现不完全依赖,只可能发生在联合主键的情况下:-- 订单表CREATE TABLE myorder ( product_id INT, customer_id INT, product_name VARCHAR(20), customer_name V...原创 2022-03-07 18:19:29 · 117 阅读 · 0 评论 -
mysql创建修改删除表
01.创建表的样例1.1 直接创建表:CREATE TABLE[IF NOT EXISTS] tb_name -- 不存在才创建,存在就跳过(column_name1 data_type1 -- 列名和类型必选 [ PRIMARY KEY -- 可选的约束,主键 | FOREIGN KEY -- 外键,引用其他表的键值 | AUTO_INCREMENT -- 自增ID | COMMENT comment -- 列注释(评论) | DEFAULT default_value原创 2022-03-12 19:16:43 · 1329 阅读 · 0 评论