- 博客(4)
- 收藏
- 关注
原创 2020-11-28
**快速排序**在这里插入代public class QuickSort {public static void quickSort(int[]arr, int left, int right){//进行判断,left不能比right大if(left>right){return;}//定义变量i,指向最左边int i=left;//定义变量j,指向最右边int j=right;//以数组最左边的为基准位baseint base = arr[left];while (i&l
2020-11-28 21:22:39 53
原创 2020-09-01
HDFSNamenode :管理 HDFS 的 名称空间;配置副本策略;管理用户的块映射信息;处理客户端读写请求;Datanode :Namenode 下达命令,Datanode 执行命令存储实际的数据块执行数据块的读写操作client文件切片,当文件被上传到HDFS,client 将文件切割成一个一个Block, 然后进行上传与NameNode交互,获得文件的位置信息;与DataNode交互,读或写数据;客户端提供了一些命令来管理HDFS,如NameNode格式;
2020-09-01 21:16:58 56
原创 Fetch抓取
Fetch抓取Fetch抓取是指,Hive中对某些情况的查询可以不必使用MapReduce计算。例如:SELECT * FROMemp;在这种情况下,Hive可以简单地读取emp对应的存储目录下的文件,然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more,老版本hive默认是minimal,该属性修改为more以后,在全局查找、字段查找、limit查找等都不走mapreduce。...
2020-08-21 20:01:22 608
原创 文件存储格式
文件存储格式Hive支持的存储数据的格式主要有:TEXTFILE 、SEQUENCEFILE、ORC、PARQUET。1 列式存储和行式存储如图所示左边为逻辑表,右边第一个为行式存储,第二个为列式存储。1)行存储的特点查询满足条件的一整行数据的时候,列存储则需要去每个聚集的字段找到对应的每个列的值,行存储只需要找到其中一个值,其余的值都在相邻地方,所以此时行存储查询的速度更快。2)列存储的特点因为每个字段的数据聚集存储,在查询只需要少数几个字段的时候,能大大减少读取的数据量;每个字段
2020-08-21 19:53:11 785
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人