排序:
默认
按更新时间
按访问量

记一次mr中限流报的异常问题

在将特征处理的项目从mr改造成spark过程中又加入了新的编码方式,本来原始mrjob代码什么都没动,结果线上跑起来就报Exception,这是在项目中使用ratelimit进行处理限速,然后配置了失败率就凉凉了INFO 2018-05-23 20:11:17 syncmapreduce 50 L...

2018-05-24 19:39:35

阅读数:119

评论数:0

Maven依赖中的scope详解

Maven的一个哲学是惯例优于配置(Convention Over Configuration), Maven默认的依赖配置项中,scope的默认值是compile,项目中经常傻傻的分不清,直接默认了。今天梳理一下maven的scope。scope的分类compile默认就是compile,什么都...

2018-05-24 10:29:23

阅读数:10

评论数:0

在Mac上配置全局的Git忽略文件

同时搞着好几个项目,在Xcode、IDEA、Eclipse之间频繁的切换,每个项目的忽略文件列表都不一样,每个项目都有一个.gitignore,甚是麻烦,今天网上拔出来一个设置全局忽略的办法jianshengs-MacBook-Pro:~ jianshengfu$ vim .gitignore_g...

2018-05-23 10:21:39

阅读数:14

评论数:0

JAVA深入研究——Method的Invoke方法

  在写代码的时候,发现从父类class通过getDeclaredMethod获取的Method可以调用子类的对象,而子类改写了这个方法,从子类class通过getDeclaredMethod也能获取到Method,这时去调用父类的对象也会报错。虽然这是很符合多态的现象,也符合java的动态绑定规...

2018-04-28 19:43:30

阅读数:9

评论数:0

spark reparation和coalesce

repartition(numPartitions:Int):RDD[T]和coalesce(numPartitions:Int,shuffle:Boolean=false):RDD[T] 他们两个都是RDD的分区进行重新划分,repartition只是coalesce接口中shuffle为tru...

2018-04-25 19:43:28

阅读数:32

评论数:0

分布式环境下限流方案的实现redis RateLimiter Guava,Token Bucket, Leaky Bucket

业务背景介绍 对于web应用的限流,光看标题,似乎过于抽象,难以理解,那我们还是以具体的某一个应用场景来引入这个话题吧。 在日常生活中,我们肯定收到过不少不少这样的短信,“双11约吗?,千款….”,“您有幸获得唱读卡,赶快戳链接…”。这种类型的短信是属于推广性质的短信。为什么我要说这个呢?听我慢慢...

2018-04-25 11:11:07

阅读数:27

评论数:0

akka系列文章(讲的不错)

akka系列文章目录akka学习教程(十四) akka分布式实战akka学习教程(十三) akka分布式akka学习教程(十二) Spring与Akka的集成akka学习教程(十一) akka持久化akka学习教程(十) agentakka学习教程(九) STM软件事务内存akka学习教程(八) ...

2018-03-21 10:50:15

阅读数:31

评论数:0

双数组trie树的基本构造及简单优化(DAT没那么复杂)

一 基本构造 Trie树是搜索树的一种,来自英文单词"Retrieval"的简写,可以建立有效的数据检索组织结构,是中文匹配分词算法中词典的一种常见实现。它本质上是一个确定的有限状态自动机(DFA),每个节点代表自动机的一个状态。在词典中这此状态包括“词前缀”,“已成词”...

2018-01-30 17:27:32

阅读数:96

评论数:0

JVM 问题排查

CPU使用率高 找出使用率高的进程的pid top 找出使用率高的线程tpidtop -p pid -H 查看使用率高的线程当前在干什么jstack -l pid > stack.log // 将线程的tpid转为16进制,到stack.log中查找 grep tpid stack.lo...

2018-01-01 18:39:33

阅读数:108

评论数:0

git统计操作

统计代码git提交的行数 $ git log --author="$(git config --get user.name)" --pretty=tformat: --numstat | gawk '{ add += $1 ; subs += $2 ; loc += $1...

2017-12-12 10:11:21

阅读数:62

评论数:0

git 出现 fatal: Pathspec 'assets/' is in submodule 'public/components/clockpicker',解决方法是

[html] view plain copy 简述下出现的情况:       1.之前从github上,clone了一个clockpicker的插件,然后,直接将整个版本库,复制到了项目中       2.发现版本库中,并未记录到该目录!查看 '.gitignor...

2017-10-31 16:42:00

阅读数:223

评论数:0

Java远程调试(Remote Debug)方法

Java远程调试的原理是两个VM之间通过debug协议进行通信,然后以达到远程调试的目的。两者之间可以通过socket进行通信。 首先被debug程序的虚拟机在启动时要开启debug模式,启动debug监听程序。jdwp是Java Debug Wire Protocol的缩写。 在...

2017-10-10 11:45:51

阅读数:179

评论数:0

sudo 自动输入密码的脚本 alias别名

【alias简介】 alias 命令用于定义一个命令的简写格式,例如,alias lsproc='ls -l /proc',其中定义了一个新的命令lsproc,以后当输入lsproc的时候,都会执行ls -l proc,显示proc的目录内容 为了使alias永久生效,可以将定义写在 ...

2017-09-15 13:55:22

阅读数:287

评论数:0

log4j-over-slf4j与slf4j-log4j12共存stack overflow异常分析

注:下文中的“桥接”、“转调”、“绑定”等词基本都是同一个概念。 log4j-over-slf4j和slf4j-log4j12是跟java日志系统相关的两个jar包,当它们同时出现在classpath下时,就可能会引起堆栈溢出异常。异常信息大致如下(摘自slf4j官网文档 Detected ...

2017-09-06 21:07:42

阅读数:137

评论数:0

Spring Boot集成MyBatis——注解方式

[-] 创建数据库工程目录结构与依赖配置代码文件内容 创建配置文件applicationproperties创建POJOentityUserjava创建一个数据层接口serviceUserServicejava创建一个用户服务serviceUserServicejava常见一个Web ...

2017-08-30 17:13:33

阅读数:1138

评论数:0

java自定义注解

Java注解是附加在代码中的一些元信息,用于一些工具在编译、运行时进行解析和使用,起到说明、配置的功能。 注解不会也不能影响代码的实际逻辑,仅仅起到辅助性的作用。包含在 java.lang.annotation 包中。 1、元注解 元注解是指注解的注解。包括  @Retention @Tar...

2017-08-15 11:19:42

阅读数:104

评论数:0

《探索推荐引擎内部的秘密》

推荐一下IBM软件工程师赵晨婷和马春娥的系列文章探索推荐引擎内部的秘密IBM Developworks探索推荐引擎内部的秘密第 1 部分 推荐引擎初探探索推荐引擎内部的秘密第 2 部分 深入推荐引擎相关算法 - 协同过滤探索推荐引擎内部的秘密第 3 部分 深入推荐引擎相关算法 - 聚类 ...

2017-08-10 19:28:50

阅读数:263

评论数:0

子雨大数据之Spark入门教程

跟林子雨老师联系过,可惜目前没有组建面向非高校的技术讨论平台,在大学能做这么好的技术分享还是很佩服的,希望能组建个平台能供喜欢这方面的朋友共同讨论,技术相互提高。留个qq群号,如果感兴趣的一块讨论:227258283 Spark最初诞生于美国加州大学伯克利分校(UC Berkel...

2017-08-03 10:53:48

阅读数:337

评论数:0

自己标注(不注意坑不少)-Spark+Kafka构建实时分析Dashboard案例——步骤三:Spark Streaming实时处理数据

《Spark+Kafka构建实时分析Dashboard案例——步骤三:Spark Streaming实时处理数据》 开发团队:厦门大学数据库实验室 联系人:林子雨老师ziyulin@xmu.edu.cn 版权声明:版权归厦门大学数据库实验室所有,请勿用于商业用途;未经授权,其他网站请勿...

2017-08-03 10:43:20

阅读数:457

评论数:0

基于Springboot-Netty-Protostuff-ZooKeeper分布式RPC框架

http://mp.weixin.qq.com/s/SgUOrwPgoP3FnzeIkzS7cw 目录 一、概述 二、RPC原理简介 三、序列化协议概述 1 XML-RPC,SOAP,WebService 2 PHPRPC 3 Hessian 4...

2017-08-02 15:01:54

阅读数:1999

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭