web GUI 自动化测试调研

学习资料: https://github.com/lmz2932/learnselenium http://www.51testing.com/zhuanti/selenium.html http://www.cnblogs.com/melodylin/p/5656185.html 代码结...

2017-09-25 09:14:34

阅读数:231

评论数:0

Hbase 过滤器

2017-09-22 14:05:27

阅读数:202

评论数:0

Network Time Protocol

Network Time Protocol (NTP) 也是RHCE新增的考试要求. 学习的时候也顺便复习了一下如何设置Linux的时间,现在拿出来和大家分享 设置NTP服务器不难但是NTP本身是一个很复杂的协议. 这里只是简要地介绍一下实践方法 和上次一样,下面的实验都在RHEL5上运行 ...

2017-09-22 09:45:38

阅读数:208

评论数:0

Avro,Thrift,Gb 三种协议

thrift :是由 Facebook 主导开发的一个跨平台、支持多语言的,通过定义 IDL 文件,自动生成 RPC 客户端与服务端通信代码的工具,以构建在 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaSc...

2017-09-21 16:34:20

阅读数:243

评论数:0

Spark Streaming 学习笔记

Spark Streaming 用来干什么: 许多应用需要即时处理收到的数据,例如用来实时追踪页面访问统计的应用、训练机器学习模型的应用,还有自动检测异常的应用。Spark Streaming 是Spark 为这些应用而设计的模型。它允许用户使用一套和批处理非常接近的API 来编写流式计算应用,...

2017-09-21 10:18:43

阅读数:155

评论数:0

Spark内存管理

spark内存用途: • RDD存储 当调用RDD 的persist() 或cache() 方法时,这个RDD 的分区会被存储到缓存区中。Spark 会根据spark.storage.memoryFraction 限制用来缓存的内存占整个JVM 堆空间的 比例大小。如果超出限制,旧的分区数据...

2017-09-20 16:41:26

阅读数:156

评论数:0

查找论文的有用链接

中国科学院国家图书馆: http://www.las.ac.cn/search.do?action=search 知网: http://kns.cnki.net/kns/brief/default_result.aspx

2017-09-19 10:42:09

阅读数:327

评论数:0

Spark 数据读取与保存

文件格式与文件系统 对于存储在本地文件系统或分布式文件系统(比如NFS、HDFS、Amazon S3 等)中的数据,Spark 可以访问很多种不同的文件格式,包括文本文件、JSON、SequenceFile, 以及protocol buffer。我们会展示几种常见格式的用法,以及Spark 针...

2017-09-15 16:02:27

阅读数:386

评论数:0

Spark RDD 读书笔记

RDD 简介 Spark 中的RDD 就是一个不可变的分布式对象集合。每个RDD 都被分为多个分区,这些分区运行在集群中的不同节点上。RDD 可以包含Python、Java、Scala 中任意类型的对象,甚至可以包含用户自定义的对象。 用户可以使用两种方法创建RDD:读取一个外部数据集,或在...

2017-09-15 10:30:40

阅读数:143

评论数:0

Hadoop 学习链接

https://amplab.cs.berkeley.edu/software/

2017-09-15 09:01:31

阅读数:104

评论数:0

Spark 内存管理详解

Spark 作为一个基于内存的分布式计算引擎,其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理,有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络,抛砖引玉,引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spa...

2017-09-14 15:37:20

阅读数:196

评论数:0

RDD 存储方式

RDD 存储类型      RDD可以设置不同类型存储方式,只存硬盘、只存内存等。      Spark的持久化级别 持久化级别 含义解释 MEMORY_ONLY 使用未序列化的Java对象格式,将数据保存在内存中。如果内存不够存放所有的数据,则数据可能就不会进行持久化。那么下...

2017-09-14 11:07:47

阅读数:910

评论数:0

Spark运行模式

Spark运行模式简介   Spark运行模式列表(一定要熟悉!) 早就想写这章了,一直懒得动笔,不过还好,总算静下心来完成了。 刚接触Spark时,很希望能对它的运行方式有个直观的了解,而Spark同时支持多种运行模式,官网和书籍中对他们的区别所说不详,...

2017-09-14 10:57:32

阅读数:181

评论数:0

Mesos

Mesos是Apache下的开源分布式资源管理框架,它被称为是分布式系统的内核。Mesos最初是由加州大学伯克利分校的AMPLab开发的,后在Twitter得到广泛使用。 起源 编辑 Apache Mesos是一个通用的集群管理器[1] ,起源于 Google 的数据中心资源管...

2017-09-14 10:34:12

阅读数:107

评论数:0

Spark的运行架构分析(二)之运行模式详解

在上一篇博客  spark的运行架构分析(一)中我们有谈到Spark的运行模式是多种多样的,那么在这篇博客中我们来具体谈谈Spark的运行模式 一:Spark On Local     此种模式下,我们只需要在安装Spark时不进行hadoop和Yarn的环境配置,只要将Spark包解压即可使...

2017-09-14 10:26:00

阅读数:111

评论数:0

Spark运行架构

http://www.cnblogs.com/shishanyuan/p/4721326.html 1、 Spark运行架构 1.1 术语定义 lApplication:Spark Application的概念和Hadoop MapReduce中的类似,指的是用户编写的Spark应用程序...

2017-09-13 10:59:26

阅读数:184

评论数:0

列式存储

最近看到一篇很好资料,里面三言两语配上几个图就把列式存储(Column-based Storage)讲明白了,牛啊!最喜欢的就是这种浅显易懂就把背景知识讲得明明白白,而不是长篇大论的讲概念。 1 为什么要按列存储 列式存储(Columnar or column-based)是相对于传统关系型数...

2017-09-13 10:26:55

阅读数:117

评论数:0

Spark Streaming实时计算框架介绍

随着大数据的发展,人们对大数据的处理要求也越来越高,原有的批处理框架MapReduce适合离线计算,却无法满足实时性要求较高的业务,如实时推荐、用户行为分析等。 Spark Streaming是建立在Spark上的实时计算框架,通过它提供的丰富的API、基于内存的高速执行引擎,用户可以结合流式、批...

2017-09-13 10:09:38

阅读数:122

评论数:0

编程模型及SparkShell实战

http://www.cnblogs.com/shishanyuan/p/4721102.html 1、Spark编程模型 1.1 术语定义 l应用程序(Application): 基于Spark的用户程序,包含了一个Driver Program 和集群中多个的Executo...

2017-09-13 09:49:52

阅读数:116

评论数:0

Spark的术语

Spark运行模式 运行环境 模式 描述 Local 本地模式 常用于本地开发测试,本地还分为local单线程和local-cluster多线程; Standalone 集群模式 典...

2017-09-13 09:33:56

阅读数:157

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭