- 博客(11)
- 收藏
- 关注
RSS订阅原创 Hive和Impala的区别
Hive和Impala的区别数据存储：使用相同的存储数据池都支持把数据存储于HDFS, HBase。元数据：两者使用相同的元数据。SQL解释处理：比较相似都是通过词法分析生成执行计划。 执行计划：Hive: 依赖于MapReduce执行框架，执行计划分成 map->shuffle->reduce->map->shuffle->reduce…的模型。如果一个Query会 被编译成多轮MapReduce，则会有更多的写中间结果。由于MapReduce执行框架本身的特点，过多的
2020-05-15 11:42:35
440
原创 Hive和MYSQL(传统数据库)的区别
Hive和MYSQL(传统数据库)的区别： 1、查询语言不同：hql/sql 2、数据存储位置不同：hdfs/数据库系统 3、数据格式：可自定义/数据库系统定义格式 4、数据更新：Hive不支持数据更新/mysql支持数据更新update 5、索引：没有索引，使用MapReduce/mysql有索引 6、延迟性：高/低 7、数据规模：大/小 8、底层执行原理: MapReaduce/Excutor执行器 9、可扩展性：Hadoop/数据...
2020-05-15 11:33:54
1167
原创 数据库锁
锁机制：解决因资源共享 而造成的并发问题。分类：操作类型： a.读锁(共享锁)：对同一个数据,多个读操作可以同时进行,互不干扰。 b.写锁(互斥锁)：如果当前写操作没有完毕(买衣服的一系列操作),则无法进行其他的读操作、写操作操作范围： a.表锁 ：一次性对一张表整体加锁。如MyISAM存储引擎使用表锁,开销小、加锁快；无死锁；但锁的范围大,容易发生锁冲突、并发度低。 b.行锁 ：一次性对一条数据加锁。如InnoDB存储引擎使用行锁,开销大,加锁慢;容易出现死锁;锁的范围较...
2020-05-15 11:29:41
166
原创 MYSQL索引的创建和使用
MYSQL索引的创建和使用：CREATE TABLE 表名(字段名 数据类型 [完整性约束条件], ……，[UNIQUE | FULLTEXT | SPATIAL] INDEX | KEY[索引名](字段名1 [(长度)] [ASC | DESC]) [USING 索引方法]);说明： UNIQUE:可选。表示索引为唯一性索引。 FULLTEXT:可选。表示索引为全文索引。 SPATIAL:可选。表示索引为空间索引。 INDEX和KEY:用于指定字段...
2020-05-15 11:23:32
175
原创 索引失效的情况及优化策略
MYSQL避免全表扫描，首先考虑在where及order by涉及的列上建立索引。导致引擎放弃使用索引而进行全表扫描的情况： 1、where字句对字段进行null判断。 可以设置默认值为0，确保列中无null值。 2、where字句使用!= 或<>操作符。 3、where子句使用OR来连接条件。 可以使用union all代替。 4、where字句中in 和not in 要慎用 5、where字句中like尽量以"常量"开头，不要以'%'开头。 ...
2020-05-15 11:21:30
466
转载 DCL数据库控制语言
DCL（Data Control Language）：是数据库控制功能。是用来设置或更改数据库用户或角色权限的语句，包括（grant,deny,revoke等）语句。SQL SERVER 对权限的授予GRANT、拒绝DENY、收回REVOKE-----对用户member授权，允许其具有对数据表person的更新和删除的操作权限：GRANT UPDATE,DELETE ON person...
2018-07-21 13:34:53
522
转载 SQL关于删除的三个语句：DROP、TRUNCATE、 DELETE 的区别
DROP:DROP test; 删除表test，并释放空间，将test删除的一干二净。TRUNCATE:TRUNCATE test; 删除表test里的内容，并释放空间，但不删除表的定义，表的结构还在。DELETE:1、删除指定数据DELETE FROM test WHERE age=30 AND country='US'; 删除表test中年龄等于30的且国家为US...
2018-07-21 13:03:26
542
转载 linux之fuck命令学习
源链接： http://www.cnblogs.com/sunfie/p/5978901.html在windows下，磁盘的文件系统出错，需要运行chkdsk命令进行修复。而在linux下，则需要运行fsck命令。由于linux对于文件系统的错误非常敏感，由于意外断电或者其它原因导致linux系统意外关机或者重启，都可能对linux的文件系统造成严重的损坏，从而导致不能正常地进入系统。这也...
2018-07-17 13:03:50
3152
转载 linux操作系统报错：read-only file system
源链接：https://www.cnblogs.com/sunfie/p/5978901.html在对集群测试过程中发现系统中某一节点中的磁盘变成read-only file system，从而导致测试任务出错，从网上查找资料，找到以下解决方案：这个报错的意思是硬盘属性变成只读,不可写入；VOS本身是不可能更改你的硬盘属性的,只有操作系统有这样的能力；一般可能原因有三点: 1...
2018-07-17 13:00:01
2344
转载 linux命令 find命令集锦
find命令举例 find -name "*.txt" -print 查找txt结尾的文件并输出到屏幕上 find /cmd ".sh" -print 查找/cmd目录下所有sh文件，并输出 find . -perm 755 -print 查找当前目录下权限为755的文件，并输出 find `pwd` -user root -prin...
2018-07-17 12:46:38
261
转载 Hadoop学习之Hadoop集群安装
基本步骤·安装JDK，配置JDK环境变量 安装Hadoop，配置Hadoop环境变量，配置Hadoop 组织并在集群中分发文件其它要求集群中的计算机在时间上要同步，系统时间不能差太多（秒级），如果设置时间后重启时间又不准确了（主板电池老化），可以启用NTP（Network Time Protocol网络时间协议）服务解决。 集群中的计算机在网络上能够相互访问 全部实现免密码SSH...
2018-07-17 09:54:20
143
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人