- 博客(21)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 Spark 单机版安装
Spark单机版安装 Spark部署模式主要是四种：Local模式（单机模式，是本文讲的方式，仅供熟悉Spark和scala入门用）、Standalone模式（使用Spark自带的简单集群管理器,计算数据不是特别庞大）、YARN模式（使用YARN作为集群管理器，配合hadoop集群使用）和Mesos模式（使用Mesos作为集群管理器，配合docker）。 基础环境 Spark和Hadoop可以部署...
2019-12-22 21:43:20
1007
原创 Spark基本架构及原理
Hadoop 和 Spark 的关系 Spark 运算比 Hadoop 的 MapReduce 框架快的原因是因为 Hadoop 在一次 MapReduce 运算之后,会将数据的运算结果从内存写入到磁盘中,第二次 Mapredue 运算时在从磁盘中读取数据,所以其瓶颈在2次运算间的多余 IO 消耗. Spark 则是将数据一直缓存在内存中,直到计算得到最后的结果,再将结果写入到磁盘,所以多次运算的...
2019-12-21 21:52:56
1533
原创 RDD 初识
RDD(Resilent Distributed Datasets)俗称弹性分布式数据集,是 Spark 底层的分布式存储的数据结构,可以说是 Spark 的核心, Spark API 的所有操作都是基于 RDD 的. 数据不只存储在一台机器上,而是分布在多台机器上,实现数据计算的并行化.弹性表明数据丢失时,可以进行重建.在Spark 1.5版以后,新增了数据结构 Spark-DataFrame,...
2019-12-20 22:37:57
909
原创 Spark 基本概念
Spark 基本概念 基本定义如下： RDD（resillient distributed dataset）：弹性分布式数据集。Task：具体执行任务。Task分为ShuffleMapTask和ResultTask两种。ShuffleMapTask和ResultTask分别类似于Hadoop中的Map，Reduce。Job：用户提交的作业。一个Job可能由一到多个Task组成。Stage：Job...
2019-12-19 23:16:17
1009
原创 springcloud 服务网关zuul
Eureka用于服务的注册于发现，Feign支持服务的调用以及均衡负载，Hystrix处理服务的熔断防止故障扩散，Spring Cloud Config服务集群配置中心。 为什么需要API Gateway 1、简化客户端调用复杂度 在微服务架构模式下后端服务的实例数一般是动态的，对于客户端而言很难发现动态改变的服务实例的访问地址信息。因此在基于微服务的项目中为了简化前端的调用逻辑，通常会引入API...
2019-12-17 21:43:14
874
原创 Java 协同控制
协同控制是并发程序必不可少的重要手段。主要分为两大控制方法，一个是JDK提供的最基础的协同控制方法，一个是java.util.concurrent包下的拓展类控制，接下来我们将会介绍这两种方法有哪些操作可以进行同步控制。 一、基础的协同控制 线程基础知识 因为加锁涉及到多线程，所以有必要先说一下线程的基础知识（定义那些就不必多说了吧~~）。 首先线程是有生命周期的，在Java中它有6个状态来表示，...
2019-12-16 15:58:14
618
原创 MapReduce 原理分析
#MapReduce 分析 User 请求 MapReduce 处理，MapReduce 接收到 User 的文件，将文件划分用户事先定义的 M 份，每一份16MB到64MB, 然后使用fork将用户进程拷贝到集群内其它机器上。 user program的副本中有一个 Master , 其余为 Worker。 Master 负责调度， 为空闲的 Worker 分配作业。司令指挥小兵捡地上的子弹...
2019-12-15 20:37:41
161
原创 Java IO 系统
#阻塞式I/O模型 BIO 阻塞，当进程在等待数据时，若该数据一直没有产生，则该进程将一直等待，直到等待的数据产生为止，这个过程中进程的状态是阻塞的。 非阻塞式I/O模型 在非阻塞式I/O模型中，当进程等待内核的数据，而当该数据未到达的时候，进程会不断询问内核，直到内核准备好数据。 NIO IO多路复用模型，就是通过一种新的系统调用，一个进程可以监视多个文件描述符，一旦某个描述符就绪（一般是内...
2019-12-15 20:35:49
295
Eclipse E4 动态创建 Part
在Eclipse E4 中 Editor Part 和 View Part 是同一个意思，都是Part,即 View Part. 创建动态Part 1. 选择 Eclpse 4 > View Part 2. 输入 Part 的类名 3. 打开 Application.e4xmi 4. 选择 Part Descri...
2015-11-09 14:31:03
656
1
原创 SWT TextEditor 相关的概念
编辑器 首先必须实现 IEditorPart 接口 必须要实现他的 createPartControl 方法 这个方法可以使用swt或者jface创建界面来显示文件的内容 swt不依赖于开发工具 jface是对swt的封装 依赖开发工具 编辑器因为有文件的输入 类IEditorInput定义了文件输入的协议，包含定义文件的名字 以及显示在编辑器上的label的图...
2015-11-04 17:08:53
871
Eclipse 下 Tomcat 使用80端口 启动，权限不够
严重: Error initializing endpointjava.net.BindException: 权限不够<null>:80 at org.apache.tomcat.util.net.JIoEndpoint.init(JIoEndpoint.java:509) at org.apache.coyote.http11.Http11Protocol.init(H...
2015-11-04 16:51:00
750
原创 linux下使用yum安装mysql
linux下使用yum安装mysql 1. 安装mysql 1.1 执行安装 $sudo yum -y install mysql-server 1.2 注意 mysql和mysql-server有区别，只需作为client，执行yum install mysql. 2. 服务和配置 2.1 开机启动 ...
2014-06-29 17:19:15
108
原创 Linux 6.5 安装下载地址
Red Hat Enterprise Linux 6.5允许用户将应用发布到使用Docker创建容器上。 发布详情：http://www.redhat.com/about/news ... -enterprise-linux-6 官方下载：https://access.redhat.com/downloads/ rhel-server-6.5-x86_6...
2014-06-29 17:15:59
551
原创 CentOS6.4下Mysql数据库的安装与配置
一、mysql简介 说到数据库，我们大多想到的是关系型数据库，比如mysql、oracle、sqlserver等等，这些数据库软件在windows上安装都非常的方便，在Linux上如果要安装数据库，咱不得不首先推荐的是mysql数据库了，而且Mysql数据库的第一个版本就是发行在Linux系统上的。 MySQL是一个关系型数据库管理系统，由瑞典MySQL AB公司开发，目前属于Oracle公...
2014-06-29 17:13:44
87
原创 利用现有的翻译WebService 开发翻译API
利用现有的翻译WebService 开发翻译API,应用如下：package transplator; import java.io.InputStream; import java.io.StringReader; import java.net.URL; import java.net.URLConnection; import java.util.List; import org.apache.commons.io.IOUtils; import org.dom4j.Docume
2010-12-09 14:40:00
809
原创 SWT 中嵌入Word 控件应用
利用WebOffice进行Word控件的应用，源码如下：package com.edocbase.desktop.word; import java.io.File; import java.util.HashMap; import java.util.Iterator; import org.eclipse.swt.SWT; import org.eclipse.swt.SWTException; import org.eclipse.swt.events.DisposeEvent; imp
2010-11-28 21:14:00
2991
1
SWT 中嵌入Word 控件应用
利用WebOffice进行Word控件的应用，源码如下： 效果图如下： package com.edocbase.desktop.word; import java.io.File; import java.util.HashMap; import java.util.Iterator; import org.eclipse.swt.SWT; import org.ecl...
2010-11-28 21:10:15
1132
js中英文字符串长度 js中英文字符串截取(转)
js中英文字符串长度 js中英文字符串截取(转) 关键字: javascript/截取 摘要:我们在用程序处理文本的过程中，经常碰到中英文字符串的问题，比如说我们要得到文本编辑器中一段中英文混合文字的长度从而进行数据验证，有的时候我们为了实现某些特殊的效果需要对文字进行截取，这时候我们就用到了中英文混合文字的截取问题我们分两步来看一下这个问题 js中英文字符串长度因为一个中文字符=两个英文...
2010-03-30 11:26:06
123
原创 IBatis 的缓存机制之 Select Query缓存
IBatis 的缓存机制之 Select Query缓存 可以按下面的代码在你的 SqlMap.xml 里配置，如下： <cacheModel id="users-cache" imlementation="LRU" readOnly="true" serialize="true"> <flushInterval hours="24"/>
2010-01-29 11:26:18
174
原创 IBatis 的缓存机制
IBatis 的缓存机制 缓存机制，也是基于 Key-Value 的方式，确定了 Key 的来龙去脉能很好的认识缓存的生存周期。从配置文件解析说起： 01 parser.addNodelet("/sqlMap/cacheModel", new Nodelet() { 02 public void process(Node node) throws Exception ...{...
2010-01-28 09:58:52
326
tinymce 提示没有权限
tinymce 提示没有权限，不知道为什么，以后再看看吧，看似的这里的原因： if( this.ed ) tinyMCE.remove( this.ed ); Ext.ux.TinyMCE.superclass.onDestroy.call( this ); ...
2009-04-26 19:01:55
502
高可用架构·Learning as we Go
2016-05-14
Head First 设计模式（中文版）
2016-05-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人