- 博客(6)
- 资源 (1)
- 收藏
- 关注
原创 图分割算法 ——概述
先说下写这篇文章的初衷,首先是为了记录我科研的一些笔记,其次呢是我在网上查阅图分割问题的时候,发现很难找到合适的讲解,基本都被图像处理的知识所占据。但并不是每个人都会有时间去查阅论文,所以就写下这篇博客来填补这方面的空白,谢谢诸位看官一,图分割定义:指将网络顶点分割为指定规模,指定数量的非重叠群组,并使得群组之间的边数最小算法背景:实际上在图挖掘领域最早出现的问题就是图分割,当社团发现...
2018-10-29 15:36:25 19297 12
转载 Hive 入门教程
问题导读1.hive除了包含用户接口、元数据,还包含哪些内容? 2.hive包含哪些操作? 3.hive数据能否被修改? 4.hive优化有哪些常用方法?摘要: Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询
2017-07-11 15:23:20 555
原创 详解Hive-Driver——细读Hive源码(四)
接着上一篇来说执行入口的分析,CliDriver最终将用户指令cmd提交给了Driver的run方法(针对常用查询语句而言),在这里用户的cmd将会被编译,优化并生成MapReduce任务进行执行。 所以Driver也是Hive的核心,他扮演了一个将用户查询和MapReduce Task转换并执行的角色,下来我们就来看看Driver是如何实现的?run函数: public Command
2017-07-07 18:03:30 4244
原创 详解Hive-CliDriver续——细读Hive源码(三)
上次我们阅读了main(),run(),和CLiDriver的构造函数;接上,我们该阅读executeDriver函数了。在进入executeDriver之前,我们可以认为Hive处理的是用户进入Hive程序的指令,到此用户已经进入了Hive,Cli的Driver 将不断读取用户的HiveQL语句并解析,提交给Driver。executeDriver 函数内部核心的代码是通过while循环不断按行读
2017-07-07 14:22:18 1519
原创 详解Hive-CliDriver——细读Hive源码(二)
读程序就要从main函数读起,从而了解程序的流程。所以我首先从CliDriver这个类开始。一 ,主函数 public static void main(String[] args) throws Exception { int ret = new CliDriver().run(args); System.exit(ret); }String[] args 是运行的时候由外
2017-07-06 14:41:48 1794
原创 Hive源码导入eclipse——细读Hive源码(一)
一,首先有一些准备工作需要我们完成:配置正确的伪分布式hadoop,具体详见:http://www.linuxidc.com/Linux/2015-02/113487.htm配置正确的Hive,具体详见:http://blog.csdn.net/gamer_gyt/article/details/47150621安装maven工具,具体详见:http://blog.csdn.net/zackz
2017-07-06 11:56:10 4859
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人