老高是我

努力工作,享受生活

排序:
默认
按更新时间
按访问量

Spark内存管理概览

翻译自Spark官网文档,版本:2.3.0 spark内存管理概览 Spark很大一部分内存用于storage和execution,即存储和执行任务。execution memory指的是在shuffle,join,sorts,aggregation操作中使用的内存,storage memor...

2018-04-09 23:30:55

阅读数:45

评论数:0

找出数组所有子数组

题目是:给一个数组:[1, 2, 2],找出所有子数组,例如这个数组的子数组有:[], [1], [2], [1, 2], [2, 2], [1, 2, 2] 看这篇博客得到了思路:巧用递归求字符串的子集 基本思想就是:求子集,每一位都只有两种状态,在子集中或不在子集中。那把每种情况都...

2018-03-20 12:43:49

阅读数:84

评论数:0

装饰器模式之抽象装饰器的作用

今天要搞清楚的问题是为什么需要上面那个被黄色框圈住的“抽象装饰器类”。 装饰器模式实现了不破坏原有类的情况下动态扩展一个类的功能。 “为什么需要抽象装饰器类”,搞清楚这个问题最好的办法是手写一个装饰器模式,然后去掉中间的抽象装饰器类,看看会发生什么。 下面根据最上面的UML图写一下代...

2018-03-12 23:32:53

阅读数:115

评论数:0

避免创建不必要的对象(Effective Java第5条)

避免创建不必要的对象,这一条告诉我们,要尽可能的重用对象。书中举了几个例子来讲解一些无意识的创建不必要的对象的情况。 1. String类的使用 String str = new String("abc"); 上面这条代码执行过后,会生成两个对象,...

2018-03-11 22:43:40

阅读数:55

评论数:0

周志华《机器学习》 版本空间

第一章1.3节提出了一个概念“版本空间”,搞明白之后其实是蛮简单的一个东西,按书上说的西瓜问题的假设空间如下(Ø表示不存在好瓜坏瓜之分): 编号 色泽 根蒂 敲声 1 * * * 2 青绿 * * 3 乌黑 * ...

2018-01-31 23:39:55

阅读数:182

评论数:0

Spark的Job、Stage、Task是按何种规则产生的

上面这张图就可以很清晰的说明这个问题。(图中最小的方块代表一个partition,包裹partition的方块是RDD,忽略颜色) Job Spark的Job来源于用户执行action操作,就是从RDD中获取结果的操作,而不是将一个RDD转换成另一个RDD的transformation操作。 ...

2018-01-24 23:04:34

阅读数:354

评论数:1

spark RDD 宽依赖与窄依赖

我的新博客地址:geekgao.cn RDD被设计为可以记录依赖关系,关系可以分为两类:窄依赖和宽依赖。 窄依赖:表示父亲 RDD 的一个分区最多被子 RDD 一个分区所依赖。 宽依赖:表示父亲 RDD 的一个分区可以被子 RDD 的多个子分区所依赖。 如下图,左边是窄依赖,右...

2018-01-23 23:24:28

阅读数:167

评论数:0

maven打包如何包含本地jar包内容

下面使用到了两个插件,maven-shade-plugin和addjars-maven-plugin。凡是讲到打包,前一个插件基本都有说,但是第二个插件很少提到。 后面这个插件解决了这样一个问题:我有一些本地jar包,不是使用maven引入的,我该如何将这些本地jar包打入最终的jar包中呢? ...

2017-11-21 20:53:55

阅读数:653

评论数:0

flume消费文件夹消费不及处理办法

文件生产速度过快,flume会出现消费不及的现象,下面这个参数调节一下应该会有改善: maxBackoff 这个参数代表当source向channel放数据时检测到channel满了后等待多久再进行重试,默认是4秒。如果已经出现消费不及现象,channel频繁被撑满,然而满了后还要等很久,造成...

2017-11-21 20:38:26

阅读数:226

评论数:0

flume“Space for commit to queue couldn't be acquired”异常产生分析

问题触发的环境:kafka source + memory channel + hdfs sink 日志截图如下: 这里说的内容是:queue空间不足。sink好像没有紧跟source,或者是buffer大小太小。这里的queue代表什么?sink没有紧跟source的具体含义是什么?buffe...

2017-09-10 16:27:52

阅读数:1284

评论数:0

ubuntu上艰难的第一次安装wordpress

前两天搭建了一个新博客在:www.geekgao.top 这次安装wordpress真的是经历了各种坑,最终装好后一总结,发现原来是这么回事。我这篇文章就我这次安装wordpress的经历来谈一谈中途所遇到的坑,希望会对你有用我这里说的是在ubuntu上安装的情形,所以可能有的文件位置与其他li...

2017-08-29 08:36:38

阅读数:3978

评论数:0

Spring事务管理-配置及使用

一. 事务管理方式总览 JDBC事务 JTA事务 容器事务 区别: JDBC事务控制的局限性在一个数据库连接内,但是其使用简单。 JTA事务的功能强大,事务可以跨越多个数据库或多个DAO,使用也比较复杂。 容器事务,主要指的是J2EE应用服务器提供的事务管理,局限于EJ...

2017-02-16 18:57:27

阅读数:376

评论数:0

校园电信翼讯账号写入路由器上网

因为要面向所有人,所以我这里假设大家没有编码能力,说到我觉得最浅显易懂,希望对大家有帮助准备工作,首先你的电脑要安装有: python3(下载地址) 按键精灵(下载地址) 写账号套装(链接: https://pan.baidu.com/s/1o8bG2Iu 密码: 7kec) 使用...

2016-11-09 11:16:02

阅读数:4246

评论数:0

Spring和Mybatis整合

首先明确一点:整合的方法是使用mybatis-spring项目怎么使用,我会很简单明了的在下面列出所有步骤,按着做一遍就可以了。 加载依赖包 <dependencies> <dependency> <groupId>org...

2016-09-10 17:03:56

阅读数:364

评论数:0

String源码中的“avoid getfield opcode”是什么意思

avoid getfield opcode其实是一段注释,看代码时不理解,就查了查在这记录一下。下面是一段String源码示例: public String trim() { int len = value.length; int st = 0; char[] val...

2016-08-01 11:27:52

阅读数:2040

评论数:0

记一次neo4j项目打包出现的问题

Caused by: java.lang.IllegalArgumentException: An SPI class of type org.apache.lucene.codecs.PostingsFormat with name 'Lucene50' does not exist. You...

2016-07-28 09:09:23

阅读数:1250

评论数:0

记事(五)

下一周就要考试了,下一周要考3门课,所以最近一直是复习状态,但是虽说是复习状态,一直也不是很用心,因为感觉老师给了一些重点,感觉还能过,就不是那么紧张。这两天占了我很多时间的事,有两个。 一个是前几天每天看三体,看完了《黑暗森林》,这部小说真的很精彩,统治宇宙的黑暗森林法则在最后被揭开,一开始只是...

2016-06-25 15:26:06

阅读数:283

评论数:0

连接本地MySQL被拒绝连接如何处理

在代码中连接mysql时,可能出现拒绝连接的错误,我说一下我是如何解决的,拒绝连接可能有很多原因,所以我这个不一定适合你的情况,你如果遇见这种问题,应该多搜,多尝试。我是在连接本地数据库时出现这个错误的。 我解决办法是: 连接数据库的语句中的地址不要写“localhost”,而是改成“127...

2016-05-25 16:48:11

阅读数:4742

评论数:0

Servlet上传文件的实现

浏览器会如何上传一个文件? 注意最下面那一栏,那就是这次post的实体部分,这个实体中包含着文件内容,chrome这里隐藏了文件内容,我实际传了一个内容是”123“的文本文件,完整实体部分是下面这样子:注意第一幅图中的Content-Type属性,中间有一个”boundary“,boundary...

2016-05-23 16:18:13

阅读数:427

评论数:0

shell脚本学习笔记(2)

变量赋值空格左右不能有空格:var=100 变量赋值最好使用#{var},不使用$var 使变量只读:readonly var。只读变量不能改变 删除变量:unset var。不能删除只读变量 单引号:单引号内的内容会原样输出,不会转义或者引用变量 字符串长度:${#var} 提取字串:${var...

2016-05-19 10:53:40

阅读数:260

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭