自定义博客皮肤

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

从0学大数据 5比MapReduce更快的计算框架Spark

在Spark出现之前,人们并没有对MapReduce的执行速度和编程复杂度不满 在Spark出现之后,人们才开始对MapReduce不满。原来大数据计算速度可以快这么多,编程也可以更简单。而且Spark支持Yarn和HDFS,公司迁移到Spark上的成本很小,于是很快,越来越多的公司用Spark...

2019-09-13 12:24:12

阅读数 32

评论数 0

从0学大数据 4Hadoop大数据仓库Hive

Hive的架构 Hive能够直接处理我们输入的SQL语句(Hive的SQL语法和数据库标准SQL略有不同),调用MapReduce计算框架完成数据分析操作。下面是它的架构图,我们结合架构图来看看Hive是如何实现将SQL生成MapReduce可执行代码的。 我们通过Hive的Client(...

2019-09-11 21:43:48

阅读数 29

评论数 0

Oracle SQL语句优化总结

一、合理使用索引 创建索引的根本目的:提高查询效率 使用规则: 1.在条件中经常用到的不同值较多的列上建立索引 2.在不同值少的列上,不要建立索引及位图索引(不但不会提高查询效率,反而会降低更新速度) 3.在经常进行连接的列上建立索引 4.在频繁进行排序或分组的列上建立索引 如:or...

2019-09-10 23:04:16

阅读数 747

评论数 0

从0学大数据 3初识Yarn

Hadoop主要是由三部分组成,除了分布式文件系统HDFS、分布式计算框架MapReduce,还有一个是分布式集群资源调度框架Yarn。 Yarn是“Yet Another Resource Negotiator”的缩写,字面意思就是“另一种资源调度器”。 先回忆一下MapReduce的架构,...

2019-09-10 22:59:28

阅读数 15

评论数 0

从0学大数据 2初识MapReduce

使用MapReduce,我们只需要关心业务逻辑,不用关心系统调用与运行环境,这和目前的主流开发方式是一致的。 大数据计算的核心思路是移动计算比移动数据更划算。 Hadoop解决大规模数据分布式计算的方案——MapReduce MapReduce既是一个编程模型,又是一个计算框架 编程模型 ...

2019-09-10 19:23:27

阅读数 10

评论数 0

SQL必知必会3

2019-09-10 19:12:16

阅读数 11

评论数 0

从0学大数据 1初识HDFS

HDFS HDFS是在一个大规模分布式服务器集群上,对数据分片后进行并行读写及冗余存储。 HDFS的关键组件有两个:DataNode,NameNode。 DataNode负责文件数据的存储和读写操作,HDFS将文件数据分割成若干数据块(Block),每个DataNode存储一部分数据块,...

2019-09-09 21:25:47

阅读数 16

评论数 0

SQL必知必会2

数据库调优 索引 数据库服务器有两种存储介质,分别为硬盘和内存。 内存属于临时存储,容量有限,且当发生意外时(如断电或者发生故障重启)会造成数据丢失; 硬盘相当于永久存储介质,这也是为什么我们需要把数据保存到硬盘上。 Hash索引 数据库中的存储结构 数据库中管理存...

2019-09-03 22:22:51

阅读数 6

评论数 0

SQL必知必会1

【个人学习记录】 不同的人编写出来的SQL的效率是不同的,比如说一份好的SQL执行计划就会尽量减少I/O操作,因为I/O是DBMS最容易出现瓶颈的地方,可以说数据库操作中有大量的时间都花在了I/O上。此外,还需要考虑如何降低CPU的计算量,在SQL语句中使用GROUP BY、ORDER BY等这...

2019-08-26 22:45:42

阅读数 15

评论数 0

1.VMware安装centos7

1.安装VMware Workstation 14 Pro,下载地址http://www.onlinedown.net/soft/1172736.htm CG54H-D8D0H-H8DHY-C6X7X-N2KG6 2.下载centos7 , 下载地址http://isoredirect.cen...

2019-07-20 14:10:48

阅读数 12

评论数 0

提示
确定要删除当前文章?
取消 删除