![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据
文章平均质量分 83
SQL 语言、Hadoop、Spark等与数据库以及大数据相关的内容
timedecdec
遇难则弃,世无难事
展开
-
MySQL基础总结——相关概念、基础查询、进阶查询、修改与创建、事务、视图、存储过程与函数、控制结构
MySQL 基础总结:数据库相关概念、MySQL的基础查询、进阶查询、修改与创建库和表、事务、视图、存储过程与函数、控制结构原创 2023-01-03 08:30:00 · 435 阅读 · 0 评论 -
Redis 面试题整理 —— 数据类型、单线程、持久化、高可用
Redis 的数据类型:五大基本数据类型和三种特殊数据类型Redis 单线程还是多线程、为什么选择单线程、速度快的原因Redis 持久化的方式、特点、RDB 生成快照过程、后写日志Redis 高可用方式、为什么需要集群模式、主从复制的特点原创 2021-05-24 20:11:20 · 146 阅读 · 0 评论 -
MySQL练习题
MySQL 必知必会,SQL 必知必会,了解 SQL,了解 MySQL ,教程汇总原创 2021-04-22 09:28:52 · 162 阅读 · 0 评论 -
Redis 学习教程·一 —— NoSQL 概述以及 Redis 入门与安装
NoSQL 概述NoSQL = Not Only SQL,泛指非关系型数据库关系型数据库:由表格组成,通过行和列记录数据但是很多数据,如社交网络,地理位置等的存储并不需要一个固定的格式NoSQL 的特点:方便扩展(数据之间没有关系,很好扩展)大数据高性能(Redis 一秒写8万次,读取11万次;NoSQL 的缓存记录级,是一种细粒度的缓存,性能会比较高)数据类型是多类型的(不需要事先设计数据库!随取随用!)传统的 RDBMS 和 NoSQL传统的 RDBMS:结构化组织原创 2021-03-12 14:10:06 · 164 阅读 · 0 评论 -
Redis 学习教程·三 —— Redis 的五大基本类型操作与底层实现
概述Redis 是一个开源(BSD许可)的,内存中的数据结构存储系统,它可以用作 数据库、缓存和消息中间件。它支持多种类型的数据结构,如 字符串(strings), 散列(hashes), 列表(lists), 集合(sets), 有序集合(sorted sets) 与范围查询, bitmaps, hyperloglogs 和 地理空间(geospatial) 索引半径查询。Redis 内置了 复制(replication),LUA脚本(Lua scripting), LRU驱动事件(LRU evic原创 2021-03-17 10:48:00 · 139 阅读 · 0 评论 -
Redis 学习教程·四 —— Redis 的三种特殊数据类型
geospatial 地理位置HeperloglogBitmaps原创 2021-03-17 16:52:54 · 96 阅读 · 0 评论 -
Redis 学习教程·五 —— Redis 事务
Redis 的基本事务操作事务Redis 单条命令是保存原子性的,但是Redis 的事务没有原子性!!!Redis 事务的本质: 一组命令的集合一个事务中的所有命令都会被序列化,在事务执行的过程中,会按照顺序执行 悲观锁和乐观锁Jedis原创 2021-03-18 09:25:08 · 143 阅读 · 0 评论 -
Redis 学习教程·六 —— Redis 配置文件(redis.conf)详解
配置文件首先是从 redis 中登出(Ctrl + C),然后进入配置文件中Redis 启动时,就是通过配置文件来启动的配置文件 unit 单位 对大小写不敏感INCLUDES网络bind 127.0.0.1 # 绑定的 ipprotected-mode yes # 保护模式port 6379 # 端口设置通用设置(GENERAL)daemonize yes # 以守护进程的方式运行,默认是 no,需要自己开启为 yespidfile原创 2021-03-19 13:56:55 · 374 阅读 · 0 评论 -
Redis 学习教程·七 —— Redis 持久化之 RDB 与 AOF 使用分析
Redis 持久化Redis 的数据都存放在内存中,如果没有配置持久化,Redis 重启后数据就全丢失了开启 Redis 的持久化功能,可以将数据保存到磁盘上,当 Redis 重启后,可以从磁盘中恢复数据Redis 有两种持久化的方式,分别是 RDB 和 AOF;这篇文章主要是记录一下 RDB 和 AOF 的区别和优缺点Redis 持久化机制使用 Redis 时,持久化的机制有四种,分别是:无持久化RDB 持久化AOF 持久化同时应用 AOF 和 RDBRDB持久化之 RDB:在原创 2021-03-20 12:30:22 · 154 阅读 · 0 评论 -
Redis 学习教程·八 —— Redis 发布订阅
Redis 发布订阅Redis 发布订阅(pub/sub)是一种消息通信模式:发送者(pub)发送消息订阅者(sub)接收消息redis 客户端可以订阅任意数量的频道订阅/发布消息图其中有三个要素:消息发布者频道消息接收者如下图所示,展示了频道 channel1 和订阅了 channel1 的三个客户端 client1、client2、client3 之间的关系当有新消息通过 publish 命令发送给频道 channel1 时,这个消息会被发送给订阅了它的三个客户端测试原创 2021-03-22 14:06:27 · 109 阅读 · 0 评论 -
Redis 学习教程·九 —— Redis 主从复制
概念主从复制,是指将一台 Redis 服务器的数据,复制到其他的 redis 服务器;前者称为主节点(master、leader),后者称为从节点(slave、follower)数据复制是单向的,环境配置一主二仆复制原理哨兵模式优缺点原创 2021-03-23 09:32:30 · 151 阅读 · 2 评论 -
Redis 学习教程·十 —— Redis 缓存穿透、击穿和雪崩
Redis 缓存的使用,极大地提高了应用程序的性能和效率,特别是数据查询方面的;但是同时也带了一些问题其中,最重要的就是数据的一致性问题,严格地说,此问题无解,对数据的一致性要求很高,就不能使用缓存另外一些问题就是,缓存穿透、缓存雪崩和缓存击穿缓存穿透(差不多)缓存穿透:key 对应的数据在数据源并不存在,每次针对此 key 的请求从缓存获取不到,请求都会到数据源,当查询用户很多时,就可能压垮数据源。比如用一个不存在的用户 id 获取用户信息,不论缓存还是数据库都没有,若黑客利用此漏洞进行攻击可原创 2021-03-24 11:57:35 · 87 阅读 · 1 评论 -
Redis 学习教程·二 —— Redis 的基本知识与 RedisKey 的基本命令
基本知识基本了解与操作了解Redis 的单线程学习Redis-key 的基本命令Redis 默认有 16 个数据库和之前一样,通过 vim redis.conf 可以查看配置文件原创 2021-03-16 11:45:51 · 92 阅读 · 0 评论 -
Hadoop 学习笔记·五 —— Hadoop 之 HDFS
华为云ID:hw68610019第四章笔记HDFSHDFS 概述随着数据量越来越大,在一个操作系统中存不下所有的数据,那么就需要分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,因此需要一种系统来管理多台机器上的文件,这就是 分布式文件管理系统,HDFS 只是分布式文件管理系统中的一种。HDFS 概述HDFS(Hadoop Distributed File System),是一个文件系统,用来存储文件,通过目录树来定位文件;其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器原创 2021-03-26 14:02:43 · 433 阅读 · 0 评论 -
MySQL 学习笔记 —— 0、了解 MySQL
MySQL 必知必会,SQL 必知必会,了解 MySQL和数据库,安装MySQL驱动,SQLyog 登录,教程汇总原创 2021-03-09 10:02:11 · 253 阅读 · 2 评论 -
Hadoop 学习笔记·四 —— Hadoop 编译源码
前期准备工作CentOS 联网配置 CentOS 能连接外网。Linux 虚拟机 ping www.baidu.com 是畅通的注意:采用 root 角色编译,减少文件夹权限出现问题jar 包准备( hadoop 源码、JDK8、maven、ant 、protobuf )(1)hadoop-2.7.2-src.tar.gz(2)jdk-8u144-linux-x64.tar.gz(3)apache-ant-1.9.9-bin.tar.gz( build 工具,打包用的)(4)apache原创 2021-02-07 15:33:41 · 192 阅读 · 0 评论 -
Hadoop 学习笔记·三 —— Hadoop 运行模式
Hadoop 运行模式包括:本地模式伪分布式模式完全分布式模式Hadoop 官方网站:http://hadoop.apache.org/本地运行模式官方 Grep 案例创建在 hadoop-2.7.2 文件下面创建一个 input 文件夹[atguigu@hadoop101 hadoop-2.7.2]$ mkdir input将 Hadoop 的 xml 配置文件复制到 input[atguigu@hadoop101 hadoop-2.7.2]$ cp etc/hadoop原创 2021-02-06 11:44:45 · 223 阅读 · 0 评论 -
Hadoop 学习笔记·二 —— Hadoop 运行环境搭建
虚拟机环境准备克隆虚拟机修改克隆虚拟机的静态 IP修改主机名关闭防火墙创建 atguigu 用户配置 atguigu 用户具有 root 权限在 /opt 目录下创建文件夹(1)在 /opt 目录下创建 module 、software 文件夹[atguigu@hadoop101 opt]$ sudo mkdir module[atguigu@hadoop101 opt]$ sudo mkdir software(2)修改 module、software 文件夹的所有者 cd[原创 2021-02-05 22:30:30 · 88 阅读 · 0 评论 -
Hadoop 学习笔记·一 —— 大数据与 Hadoop 概述
大数据大数据(big data) :指无法在一定时间范围内使用常规软件工具进行捕捉、管理和处理的数据集合,是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力的 海量、高增长率和多样化的信息资产大数据特点(4V):Volume 大量Velocity 高速Variety 多样Value 低价值密度HadoopHadoop 是由 Apache 基金会所开发的 分布式系统基础框架,主要解决海量数据的存储和分析计算问题 ,从更广义上讲,Hadoop 指 Hadoop 生态圈原创 2021-02-04 16:16:36 · 288 阅读 · 0 评论 -
Java 学习笔记 · JDBC 核心技术 (尚硅谷—课程笔记)
JDBC 概述获取数据库连接 (三要素以及五种方式)使用 PreparedStatement 实现CRUD 操作(操作与访问数据库、Statement的弊端、PreparedStatement与Statement、Java 与 SQL数据类型转换表、ResultSet与ResultSetMetaData、JDBC API)操作 BLOB 类型字段(插入、修改、读取)批量插入(四种实现层次)数据库事务DAO及相关实现类数据库连接池Apache-DBUtils 实现 CRUD 操作原创 2021-01-18 10:31:55 · 1149 阅读 · 0 评论 -
MySQL 学习笔记 —— 24、全文本搜索
全文本搜索,MySQL 必知必会,SQL 必知必会原创 2020-12-04 15:11:42 · 106 阅读 · 0 评论 -
MySQL 学习笔记 —— 23、使用正则表达式
使用正则表达式,MySQL 必知必会,SQL 必知必会原创 2020-12-02 20:37:46 · 174 阅读 · 0 评论 -
MySQL 学习笔记 —— 22、高级 SQL 特性
约束关系数据库存储分解为多个表的数据,每个表存储相应的数据利用键来建立从一个表到另一表的引用(由此产生了术语引用完整性(referential integrity))正确地进行关系数据库涉及,需要一种方法保证只在表中插入合法数据例如,如果 Orders 表存储订单信息,OrderItems 表存储订单详细内容,应该保证 OrderItems 中引用的任何订单 ID 都存在于 Orders 中;类似地,在 Orders 表中引用的任意顾客必须存在于 Customers 表中虽然可以在插入新行时进行检原创 2020-11-16 09:22:06 · 147 阅读 · 0 评论 -
MySQL 学习笔记 —— 21、使用游标
使用游标,创建游标,打开和关闭游标,使用游标数据,MySQL 学习笔记,SQL 学习笔记原创 2020-11-15 14:22:25 · 482 阅读 · 0 评论 -
MySQL 学习笔记 —— 20、管理事物处理
事物处理使用事务处理(transaction processing),通过确保成批的 SQL 操作要么完全执行,要么完全不执行,来维护数据库的完整性关系数据库把数据存储在多个表中,使数据更容易操作、维护和重用不用深究如何以及为什么进行关系数据库设计,在某种程度上说,设计良好的数据库模式都是关联的以 Orders 表为例,订单存储在 Orders 和 OrderItems 两个表中:Orders 存储实际的订单,OrderItems 存储订购的各项物品这两个表使用称为主键的唯一 ID 互相关联,又与原创 2020-11-14 10:17:29 · 181 阅读 · 0 评论 -
MySQL 学习笔记 —— 19、使用存储过程
使用存储过程,MySQL 必知必会,SQL 必知必会原创 2020-11-13 09:31:16 · 246 阅读 · 0 评论 -
MySQL 学习笔记 —— 18、使用视图
使用视图,MySQL 必知必会,SQL 必知必会原创 2020-11-12 14:01:39 · 429 阅读 · 0 评论 -
MySQL 学习笔记 —— 17、创建和操纵表
创建和操纵表,MySQL 必知必会,SQL 必知必会原创 2020-11-11 09:35:08 · 90 阅读 · 0 评论 -
MySQL 学习笔记 —— 16、更新和删除数据
更新和删除数据,MySQL 必知必会,SQL 必知必会原创 2020-11-10 09:40:45 · 239 阅读 · 0 评论 -
MySQL 学习笔记 —— 15、插入数据
插入数据,MySQL 必知必会,SQL 必知必会原创 2020-11-09 10:30:24 · 273 阅读 · 0 评论 -
MySQL 学习笔记 —— 14、组合查询
组合查询,MySQL 必知必会,SQL 必知必会原创 2020-11-08 10:25:14 · 123 阅读 · 0 评论 -
MySQL 学习笔记 —— 13、创建高级联结
创建高级联结,MySQL 必知必会,SQL 必知必会原创 2020-11-07 10:23:04 · 205 阅读 · 0 评论 -
MySQL 学习笔记 ——12、联结表
联结表,MySQL 必知必会,SQL 必知必会原创 2020-11-06 10:36:37 · 214 阅读 · 0 评论 -
MySQL 学习笔记 —— 11、使用子查询
使用子查询,MySQL 必知必会,SQL 必知必会原创 2020-11-05 13:53:16 · 464 阅读 · 0 评论 -
MySQL 学习笔记 —— 10、分组数据
数据分组,MySQL 必知必会,SQL 必知必会原创 2020-11-04 10:14:02 · 359 阅读 · 0 评论 -
MySQL 学习笔记 ——9、汇总数据
汇总数据,MySQL 必知必会,SQL 必知必会原创 2020-11-03 14:02:40 · 224 阅读 · 0 评论 -
MySQL 学习笔记 —— 8、使用函数处理数据
使用数据处理函数,MySQL 必知必会,SQL 必知必会原创 2020-11-03 14:02:11 · 241 阅读 · 0 评论 -
MySQL 学习笔记 —— 7、创建计算字段
创建计算字段,MySQL 必知必会, SQL 必知必会原创 2020-11-02 14:01:29 · 344 阅读 · 0 评论 -
MySQL 学习笔记 ——6、高级数据过滤
高级数据过滤,MySQL 必知必会,SQL 必知必会原创 2020-11-02 14:00:47 · 116 阅读 · 0 评论 -
MySQL 学习笔记 ——5、用通配符进行过滤
使用通配符进行过滤,MySQL 必知必会,SQL 必知必会原创 2020-10-30 14:12:57 · 279 阅读 · 0 评论