- 博客(22)
- 收藏
- 关注
RSS订阅原创 paper1《MapReduce模型下基于SR树的Reverse Skyline查询算法研究》(2017)阅读笔记
全局点集为候选集根据skyline查询选出候选过滤集用候选过滤集过滤候选集，过滤掉一些分区再次细分，用候选过滤集进行局部过滤，过滤掉一些小分区combine阶段，用候选过滤集过滤掉具体点reduce阶段，判断候选集中的点是否合格第二阶段用判断过滤集过滤全局的点，分为全局过滤和局部过滤用判断集对候选集进行过滤 此步为combine操作reduce操作，筛选出所有任务都...
2019-03-26 14:38:58
213
原创 徐培成JAVA基础04
类成员成员变量成员函数构造函数构造代码块静态代码块解释先执行静态代码块，静态成员（谁在前就先执行谁）。无论new几次 静态代码块和静态成员只执行一次再执行成员变量，最后构造函数。new几次 成员变量和构造函数 执行几次。成员变量有默认值构造代码块：如果不同的构造函数都要执行相同的部分，就放到构造代码块之中静态代码块：在类加载期间执行，只执行一次，在构造代码块之前就已经调...
2019-02-22 11:08:10
229
原创 Paper12 2003 An Optimal and Progressive Algorithm for Skyline Queries
这篇文章讲了BBS算法，还有以前的几种方法（块嵌套循环、位图、指数、最近邻算法）算法评价的方法：As a conclusion of this section we informally evaluate BBS withrespect to the criteria of [HAC+99, KRR02]:(i) Progressiveness: the first results sho...
2019-02-22 11:07:44
259
原创 paper10 2018Efficient Parallel Skyline Query Processing for High-Dimensional Data
三个阶段并行：1）将输入数据集划分为相同大小的块；2）在每个工作者中执行skyline计算并输出skyline候选者；3）合并skyline候选人以获得最终的skyline集分区方案：基于网格；基于角度。遇到的问题：1）无法克服数据偏差；2）无法处理高维情形分布式环境中由skyline查询处理引入的data stragglersData stragglers refer to t...
2019-02-18 17:08:07
257
原创 paper11 2011数据流上连续动态skyline查询研究
主要内容：网格索引的应用、具体实现新查询点到达时的维护和对数据的维护和更新有关时间空间复杂度的定量计算影响区域如图 4 (a) 所示 ,随着数据流元组不断的流入和删除 ,对于约束查询 Q( l1 , l2 ) 来说 ,仅有落入阴影区域的元组会影响 skyline 结果 ,而位于空白区域的元组不会对 skyline 结果产生影响. 以图 3 所示动态skyline 为例 ,由于存在...
2019-02-12 19:32:03
130
原创 paper9 2016基于mapreduce的skyline查询算法
核心划分策略：基于弧度的划分策略MapReduce 框架下影响集群处理速度的两个重要因素:l) Map 与 Reduce 之间的传输量 ;2) 分配到各个计算节点的计算量如果不考虑 Map 与 Reduce 之间的传输量，算法将受到传输带宽的限制，并且如果中间结果较大， Map 需要将中间计算结果写入磁盘，从而带来了大量的磁盘1/0 。负载均衡问题是 MapReduce 计算中经常遇到...
2019-02-11 18:55:45
442
原创 paper8 《on efficient reverse skyline query processing》2013
本文重点：提出几种算法，解决多维数据集上精确的RSQ问题指出RSSA缺点：对于相同节点多次访问，导致冗余的i/o和cpu成本利用索引重用机制，实现R树的单次遍历，显著减少I/O成本全局修剪启发式算法优于RSSA几个数量级...
2019-02-10 14:24:32
227
原创 paper7 2014 《度量空间中的top-k反向skyline查询算法》
2014 《度量空间中的top-k反向skyline查询算法》摘 要不同于传统的度量空间skyline查询，提出了一种新颖的度量空间中的skyline查询MkRS（metric top-k reverse skyline）.MkRS从反向角度执行度量空间中的skyline．给定查询对象ｑ和单调参考函数ｆ,MkRS返回ｋ个包含ｍ个数据对象的子集，以至于每个子集Ｇ的度量skyline包含ｑ．评估这...
2019-02-02 15:47:55
388
原创 paper6《数据流上连续动态skyline查询研究》阅读笔记
前提这篇文章不是很喜欢，没仔细写笔记文章中有关于基于网格索引的skyline算法的一些时间复杂度和空间复杂的的数学分析创新点有两种情况需要更新skyline结果:新元组的到达和旧元组的失效.无论对于约束skyline还是一般动态skyline处理的方法是一致的.当新元组p到达时,将p插入到相应网格的元组队列中.如果p落入某查询的影响区域,则需要检查p与现有SK的关系,如果p被SK中的...
2018-11-03 21:48:21
243
原创 linux
启动namenode的方法：切换到hadoop2.7.2 目录下，删除原始数据文件：rm -rf data/ logs/格式化namenode：bin/hdfs namenode -formatsbin/start-dfs.sh
2018-11-03 20:22:57
101
原创 第二次启动datanode，集群不能正常启动
第一次启动时没有问题第二次启动时会有文件残留bin/hdfs namenode -format产生一个新的namenode文件（id），就不认识以前的namenode了导致集群不能正常启动解决办法：在格式化之前，删除datanode里面的信息（默认在/tmp，如果配置该目录，就要去配置的目录下删除（hadoop-2.7.2/data/tmp/））...
2018-11-01 08:01:06
445
原创 Paper5《An Efficient Pruning Method to Process Reverse Skyline Queries 》(2014)阅读笔记
主要工作提出了两种新的剪枝算法：搜索区域修剪方法（SARS）和候选对象修剪方法（COPM）。在数据频繁变化的情况下。该算法能够有效地处理反向天际线查询。有效的减少了在用于存储预先计算的结果的现有方法下的低效存储使用。-使用更有效的修剪算法。避免不必要的磁盘访问。在细化步骤中。使用内存，不需要额外的磁盘访问。提前保留一组数据。创新点步骤搜索区域修剪方法。图a为BBRS的搜索区...
2018-10-30 15:38:33
241
原创 paper4《Efficient Computation of Reverse Skyline Queries》(2007)阅读笔记
注意：本文中关于1.如何选取sample样本点的 2.对于多维的贪心算法还没清楚主要工作根据BBS算法提出BBRS算法提出增强方法：RSSA算法，节省存储开支，作为一种预先计算的近似值主要概念global skyline集由所有点中未被任何一个其他点全局支配点的点集组成若p1全局支配p2关于q，需要满足：（1）p1和p2在q的同一块（n维情况下q有2d块）（2）p1支配...
2018-10-23 23:01:54
236
原创 paper3《Parallel Dynamic Skyline Query using MapReduce》(2014)阅读笔记
主要工作关于q的全局skyline粗粒度的概念用粗粒度支配关系计算全局skyline点集基于反向网格索引的MapReduce并行算法，利用MapReduce计算全局网格，加速动态skyline查询的计算MapReduce过程：索引的表示：检查全局skyline点中的动态skyline点首先访问查询点周围的数据点得到全局，然后逐个扫描得到动态skyline点核心...
2018-10-20 23:43:27
275
原创 hadoop学习笔记（1）
hadoop 开源，企业进行定制，商业化支持解决两个问题：海量数据存储（HDFS），分布式存储，有副本海量数据分析（MapReduce），分布式计算模型。资源调度系统（Yarn）1.0只能MapReduce，离线数据处理，不能实时处理。Hadoop 日志分析 离线数据 ；storm 可以运行在yarn上，实时处理...
2018-10-15 16:53:19
101
原创 paper2《MapReduce模型下基于R树索引的Skyline查询算法》(2016)阅读笔记
意义及创新点提出一种MapReduce并行计算模型基于R树的Skyline查询算法，解决了海量空间数据集下执行skyline查询效率低的问题算法要点确定范围时，不满足并行条件，用统计学方法随机取点确定范围判断分区之间的关系可通过层次遍历R树最小外接矩形MBR算法步骤分割数据集（根据全局分区间支配关系，得到未被滤除分区）计算局部skyline结果集（每个分区建立Map任务）...
2018-10-15 00:21:11
345
原创 《core JAVA for the impatient》阅读笔记（5） 泛型编程
泛型方法类型参数要放在修饰符之后，返回类型之前public static <T> void swap(T[] array,int i,int j)调用时：String[] friends = ...;Arrays.swap(friends,0,1)编译器可以推断T应是String类型类型限定public static <T extends AutoClosea...
2018-10-13 23:09:36
114
原创 《core JAVA for the impatient》阅读笔记（4） 枚举
枚举静态方法values，返回一个按照枚举声明次序排列的包含所有枚举实例的数组。Size[] allValues = Size.values();增强for循环中使用这种方法来遍历一个枚举类型的所有实例for(Size s:Size.values()){System.out.println(s);}枚举类型的构造函数总是私有的从技术上来说，每个枚举常量都属于Operation的...
2018-10-12 20:56:30
102
原创 core JAVA for the impatient 阅读笔记（3） 继承
实例变量和动态变量称为域，类中的域，方法和嵌套类/接口统称为类成员反射机制：一种在程序运行期间查找类及其成员的能力 return **super.**getSalary()+bonus;因为Manager类的构造函数，不能访问Employee类的私有变量，所以他必须通过父类的构造函数来初始化他们。父类构造函数的调用必须是子类构造函数的第一条语句。 public Manager(S...
2018-10-12 15:14:47
142
原创 《core JAVA for the impatient》阅读笔记（2） lambda表达式
lambda表达式只有一个抽象方法的接口对象，就可以提供一个lambda表达式（函数式接口）将lambda表达式放入类型为函数式接口的变量中，这样它就被转换为该接口的实例list.removeIf(e ->e==null)Arrays.sort(words,(first,second)->first.length()-second.length())不区分大小写的方法引用：...
2018-10-08 12:30:01
162
原创 Java中嵌套类的使用
静态嵌套类声明为static内部类没有static声明，即内部类不能声明静态成员内部类可以访问它的外部类的实例变量，这时他们是外部类的实例变量。通过调用外部类的实例也能调用外部类的方法每个内部类对象都有自己对外部类对象的引用，静态嵌套类没有这样的引用（就像静态方法没有this的引用）可以在外部类实例上调用内部类的构造函数...
2018-10-03 00:50:39
1285
原创 《core Java for the impatient》阅读笔记（1） 基本编程结构
第一章 基本的编程结构System类中声明了一个常量 public static final PrintStream out可以在任何地方使用System.out 这是少有的几个常量没有大写的情况字符串拆开，substring方法/split；联结 join/StringBuilder比较两个字符串是否内容相等：equals √；== ×; null!=""...
2018-10-01 21:04:37
179
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人