spark中RDD、DataFrame创建及互相转换

1. RDD创建方式 parallelize 从一个Seq集合创建RDD。 例如: var rdd = sc.parallelize(1 to 10) makeRDD 这种用法和parallelize完全相同 例如: var collect = Seq((1 to 10,Seq(&q...

2017-10-27 11:56:43

阅读数 3123

评论数 0

presto启动报错:Selector Cannot connect to discovery server for refresh

presto主节点日志启动信息出现以下error: 2017-07-12T14:31:30.651+0800 ERROR Discovery-0 io.airlift.discovery.client.CachingServiceSelector Cannot connect to discov...

2017-07-18 16:40:03

阅读数 1644

评论数 1

JDBC元数据操作(一)-- DatabaseMetaData接口详解

1. 前言     在JDBC技术规范中,提供了Connection,Statement,ResultSet这三个开发过程中经常用到的接口。针对与每个接口,JDBC规范提供了相应的接口描述对象,也就是xxxMetaData系列描述对象。DatabaseMetaData和ResultSetMe...

2017-02-15 14:08:59

阅读数 486

评论数 0

$(function(){})和$(document).ready(function(){})

document.ready和onload的区别——JavaScript文档加载完成事件 页面加载完成有两种事件 一是ready,表示文档结构已经加载完成(不包含图片等非文字媒体文件) 二是onload,指示页面包含图片等文件在内的所有元素都加载完成。 用jQ的人很多人都是这么开始...

2016-04-13 09:24:25

阅读数 446

评论数 0

R语言常用算法包

1、聚类 常用的包: fpc,cluster,pvclust,mclust 基于划分的方法: kmeans, pam, pamk, clara 基于层次的方法: hclust, pvclust, agnes, diana 基于模型的方法: mclust 基于密度的方法...

2016-03-31 10:28:30

阅读数 3387

评论数 0

使用Spark+Cassandra打造高性能数据分析平台(二)

【导读】笔者( 许鹏)看Spark源码的时间不长,记笔记的初衷只是为了不至于日后遗忘。在源码阅读的过程中秉持着一种非常简单的思维模式,就是努力去寻找一条贯穿全局的主线索。在笔者看来,Spark中的线索就是如何让数据的处理在分布式计算环境下是高效,并且可靠的。 在对Spark内部实现有了一定了...

2016-02-01 10:02:33

阅读数 2586

评论数 0

SparkR:数据科学家的新利器

摘要:R是数据科学家中最流行的编程语言和环境之一,在Spark中加入对R的支持是社区中较受关注的话题。作为增强Spark对数据科学家群体吸引力的最新举措,最近发布的Spark 1.4版本在现有的Scala/Java/Python API之外增加了R API(SparkR)。SparkR使得熟悉R的...

2016-01-18 20:21:43

阅读数 596

评论数 0

R语言包在linux上的安装、卸载

有关install.packages()函数的详见:R包 package 的安装(install.packages函数详解) R的包(package)通常有两种: 1 binary package:这种包属于即得即用型(ready-to-use),但是依赖与平台,即Win和Linux平...

2016-01-18 19:07:21

阅读数 6031

评论数 0

R语言常用包分类

1、聚类 常用的包: fpc,cluster,pvclust,mclust 基于划分的方法: kmeans, pam, pamk, clara 基于层次的方法: hclust, pvclust, agnes, diana 基于模型的方法: mclust 基于密度的方法: db...

2016-01-18 09:00:18

阅读数 534

评论数 0

25个Java机器学习工具&库

1. Weka集成了数据挖掘工作的机器学习算法。这些算法可以直接应用于一个数据集上或者你可以自己编写代码来调用。Weka包括一系列的工具,如数据预处理、分类、回归、聚类、关联规则以及可视化。 2.Massive Online Analysis(MOA)是一个面向数据流挖掘的流行开源框架,有着...

2016-01-05 20:44:41

阅读数 492

评论数 0

Apache Spark入门攻略

【编者按】时至今日,Spark已成为大数据领域最火的一个开源项目,具备高性能、易于使用等特性。然而作为一个年轻的开源项目,其使用上存在的挑战亦不可为不大,这里为大家分享SciSpike软件架构师Ashwini Kuntamukkala在Dzone上进行的Spark入门总结(虽然有些地方基于的是Sp...

2015-12-29 09:21:37

阅读数 560

评论数 0

java反射详解

本篇文章依旧采用小例子来说明,因为我始终觉的,案例驱动是最好的,要不然只看理论的话,看了也不懂,不过建议大家在看完文章之后,在回过头去看看理论,会有更好的理解。 下面开始正文。 【案例1】通过一个对象获得完整的包名和类名 1 2 3 4 5 6 7 8 ...

2015-12-06 19:58:59

阅读数 432

评论数 0

Spring + Jersey构建发布Restful WebService

Spring和maven的搭建参考相关文档,本文只介绍与jersey有关配置。 环境: Eclipse 4.1 JDK 1.6 OS win7 Maven ...

2015-11-03 14:28:37

阅读数 1375

评论数 0

spring3.2+mybatis3 的applicationContext详细配置

xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"     xmlns:context="http://www.springframework.org/schema/context"     xml...

2015-10-12 15:48:48

阅读数 698

评论数 0

Spring 实现AOP的4种方式

Spring实现AOP的4种方式     先了解AOP的相关术语: 1.通知(Advice): 通知定义了切面是什么以及何时使用。描述了切面要完成的工作和何时需要执行这个工作。 2.连接点(Joinpoint): 程序能够应用通知的一个“时机”,这些“时机”就是连接点,例如方法...

2015-09-24 15:16:14

阅读数 387

评论数 0

Hbase属性说明及与关系型数据库区别

1. HBase有哪些基本的特征? 2. HBase相对于关系数据库能解决的问题是什么? 3. HBase的数据模型是什么?如何表述?有哪些操作形式? 4. HBase的模式Schema设计的一些概念和原则 5. HBase的拓扑结构是什么样的? 6. HBase与C...

2015-09-22 21:53:55

阅读数 7010

评论数 0

iBatis2 SqlMap中常用sql语句

本来我也不喜欢iBatis,那是因为我当时还不怎么会用它,现在我想说,iBatis是个好东西,不信你试试看。下面是我在项目实践中对iBatis的一个小总结,希望帮助众多在疲于iBatis编码而无暇思考的苦工们找到一些偷懒的机会。   SqlMap的配置是iBatis中应用的核心。这部分...

2015-07-14 16:31:18

阅读数 1556

评论数 0

Java EE发展史

前言     最近的这段时间一直在学习Java EE,刚刚完成了从0到1的蜕变,所以顺便整理一下我所了解到的Java EE,给刚入门学习的新人一些头绪,而所谓“启示录”,就是这个意思。 一.Java EE是什么?    Java EE(Java Enterprise Editio...

2015-07-05 16:50:46

阅读数 889

评论数 0

Eclipse4.4 安装java反编译插件Eclipse Class Decompiler

一、在线安装方式:         Eclipse Class Decompiler整合了目前最好的2个Java反编译工具Jad和JD-Core,并且和Eclipse Class Viewer无缝集成,能够很方便的使用本插件查看类库源码,以及采用本插件进行Debug调试。Eclipse Clas...

2015-06-30 13:32:08

阅读数 5683

评论数 0

Centos6 源码部署MySQL5.6

mysql从5.5版本开始,不再使用./configure编译,而是使用cmake编译器,具体的cmake编译参数可以参考mysql官网文档(※ 非常重要) http://dev.mysql.com/doc/refman/5.6/en/source-configuration-options.h...

2015-06-28 10:09:16

阅读数 785

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭