- 博客(11)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 表格式改为orc之后，对于array类型的数据查询结果不正确 问题排查和解决方案
Description:We create a partitioned text format table with one partition, after we change the format of table to orc, then the array type field may output error.The step to reproduce the result.First
2017-03-30 14:35:24
1329
转载 Hadoop Snappy安装终极教程
原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://shitouer.cn/2013/01/hadoop-hbase-snappy-setup-final-tutorial/ 因为产品需要，这两天研究了一下Hadoop Snappy。先不说什么各个压缩算法之间的性能对比，单是这个安装过程，就很痛苦。网上有很多博友写H
2017-03-29 10:38:10
1428
原创 Spark Job Asynchronous Submit Process
private def doOnReceive(event: DAGSchedulerEvent): Unit = event match { case JobSubmitted(jobId, rdd, func, partitions, callSite, listener, properties) => dagScheduler.handleJobSubmitted(jobI
2017-03-29 09:39:29
322
转载 WhereHows 安装
1. 准备1.1. 依赖工具建议使用以下工具对应的版本号，由于版本导致的问题，解决起来怪麻烦的Gradle >= 2.4, 下载链接在 这里 2.14(当前最新发布版)也没问题Play = 2.2.4, 下载链接在 这里 Play的版本兼容做得不好，每次版本升级都会搭配一个升级指南，所以保证版本的问题Java=1.8Mysql >= 5.6，事实上，5.
2017-03-27 15:28:57
7729
原创 The Process of Submitting a Job
When calls the collect of a rdd, it triggers a job./** * Return an array that contains all of the elements in this RDD. * * @note this method should only be used if the resulting array is expe
2017-03-20 17:37:54
306
原创 HadoopRDD getPartitions
HadoopRDDoverride def getPartitions: Array[Partition] = { val jobConf = getJobConf() // add the credentials here as this can be called before SparkContext initialized SparkHadoopUtil.get.ad
2017-03-20 17:01:52
706
原创 Spark Default Partitioner
/** * Choose a partitioner to use for a cogroup-like operation between a number of RDDs. * * If any of the RDDs already has a partitioner, choose that one. * * Otherwise, we use a defaul
2017-03-20 16:28:51
708
原创 UserGroupInformation Source Code Analysis
UserGroupInformation is used in the following way.final UserGroupInformation loginUgi = UserGroupInformation.getLoginUser();The getLoginUser method is simple. public synchronized static UserGroupIn
2017-03-17 15:02:24
658
转载 程序员面试、算法研究、编程艺术、红黑树、数据挖掘5大系列集锦
程序员面试、算法研究、编程艺术、红黑树、数据挖掘5大经典原创系列集锦与总结（七月在线：https://www.julyedu.com/，面试 & 算法 & 机器学习在线课程）作者：July--结构之法算法之道blog之博主。时间：2010年10月-2014年12月。出处：http://blog.csdn.net/v_JULY_v 。说明：本博客中部分
2017-03-08 17:02:00
443
转载 CSDN博客积分规则和获取积分方法
博客积分是衡量博客水平的重要标准，博客的排名也将按照积分排列。积分规则具体如下： 1、每发布一篇原创或者翻译文章：可获得10分 2、每发布一篇转载文章：可获得2分 3、博主的文章每被评论一次：可获得1分 4、每发表一次评论：可获得1分（自己给自己评论、博主回复别人对自己博文的评论不获得积分） 5、每篇博文阅读次数每超过100次：可获得1分，阅读加分最高加到100分，即每篇文章点
2017-03-08 16:50:26
225
转载 JAVA8 十大新特性详解
Java is still not dead—and people are starting to figure that out.” 本教程将用带注释的简单代码来描述新特性，你将看不到大片吓人的文字。一、接口的默认方法Java 8允许我们给接口添加一个非抽象的方法实现，只需要使用 default关键字即可，这个特征又叫做扩展方法，示例如下： 代码如下:interface Formula {
2017-03-02 10:05:00
293
Hive 性能测试程序，https://github.com/hortonworks/hive-testbench 编译
2023-02-24
The Log-Structured Merge-Tree (LSM-Tree).pdf
2021-06-22
Distributed cycle detection in large-scale sparse graphs.pdf
2020-08-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人