多一份贡献,多一份环保

https://github.com/dounine

Spark Gradle 最优打包方案

想不想把spark项目打包更快一点?如果把几百M的依赖包打成一个包是很花时间的,少则1分钟,多则几分钟,这些时间还不如留着跟前台妹子聊会天呢,经过几百遍的测试,平时要花1分20秒才能打成的jar包,现在只需要9秒,没错你没听错就是9秒,咳咳…,好了不吹牛了回归正文吧。 使用方法 build.g...

2019-01-10 10:16:51

阅读数:34

评论数:0

Spark 资源动态释放

通过spark-submit会固定占用一占的资源,有什么办法,在任务不运作的时候将资源释放,让其它任务使用呢,yarn新版本默认已经支持了,我们使用的是HDP。 版本如下 配置 HDP里面已经默认支持spark动态资源释配置 代码配置 val sparkConf = new Sp...

2019-01-10 10:16:01

阅读数:50

评论数:0

Gradle 打包上传中央仓库

打包步骤 生成gpg密钥 gpg --full-generate-key gpg (GnuPG) 2.2.12; Copyright (C) 2018 Free Software Foundation, Inc. This is free software: you are free to cha...

2019-01-10 10:14:16

阅读数:63

评论数:0

HDFS_DELEGATION_TOKEN 还原及解决方案

HDFS_DELEGATION_TOKEN 这个BUG在很多文章中都出现着,讲了很多原理,但是只给出了官方引用地扯,完全没有给出如何解决,我们线上的业务就有着这样的问题,7天一到马上出现这问题了,官方明明说这个bug修复了呀,因为我们使用的版本是比较新的,理论上不会有这样的问题才对,可是偏偏就有...

2018-12-29 17:21:43

阅读数:89

评论数:0

Hive 创建外部表失败解决方案

在hdp平台上,使用hive控制台创建一个hbase的外部表,出现ERROR : FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:o...

2018-12-07 17:26:25

阅读数:64

评论数:0

干货SSH web版

想不想拥有一个网页版本的ssh?,想就快看看这里,演示图会给你说明一切。 安装 RHEL/CentOS/Fedora yum install shellinabox -y 配置 vi /etc/sysconfig/shellinaboxd 请加上最后一句,否则连不上 # Shell in ...

2018-12-07 17:25:08

阅读数:102

评论数:0

Scala精简版Filebeat日志采集器

多功能Scala精简Filebeat日志采集版,可高度定制化。 依赖包 compile group: 'org.apache.commons', name: 'commons-lang3', version: '3.7' compile group: 'commons-io', name: ...

2018-12-07 17:23:41

阅读数:53

评论数:0

大数据平台docker一键搭建

想不想快速拥有大数据环境?如何才能一键安装?傻瓜式引导?这里就有你想要的,我们可以使用hortonworks出品的sandbox-hdp来搭建,它是建立在docker环境之上的集群,很轻易的主可以把环境搭建起来。 使用方法 这里我会使用HDP的最新版本3.0.1作为演示,包含的组件版本如下 ...

2018-12-07 17:20:31

阅读数:143

评论数:1

大数据 Flink 1.8 最新版本使用

Flink 1.8 的快照版本已经发布,我们可以来使用一下,当然了,过程肯定还是有一些曲折的,这里已经帮大家给记录下来了 使用过程 下载 git clone https://github.com/apache/flink 编译(大概有20分钟这样) cd flink mvn clean pa...

2018-11-19 01:24:31

阅读数:157

评论数:0

Flink - CEP 实时分用户析攻击行为

在这样一种场景,用户的登录行为数据都会以LoginEvent的行式记录下来,每次失败或者成功以及错误都会记录下来,一般客户端都会进行检验,正常的用户不可能在一秒钟之内登录错误多次,这时候我就得怀疑这部分数据是不是机器对用户的密码进行暴力破解,如果有需要我们得将这些攻击IP进行封锁。 Flink...

2018-11-19 01:22:47

阅读数:239

评论数:0

Mysql 实现upsert已有更新操作

在看到了mongoTemplate的操作之后,觉得这种东西是很符合我们程序员世界的操作的,但是看到mysql的jdbc之后,瞬间一百万个小泥马从头飘过,所以就想自己实现一个mysql版本的upsert功能,有set与increase,decrease。 实现操作 参考mongoTemplate...

2018-11-06 17:48:23

阅读数:122

评论数:0

React - Redux架构设计融合

在学习react的路上不断前行,遇到了各式各样的框架及架构,但整体是要做一个兼容性及性能非常好的项目并非易事,在react中,出现了redux生态圈,得以将react这匹黑马驾驭得更好,此文将演示redux生态在实际项目运用。 整备 网络:axios 一个基于promise实现的网络请求库,...

2018-11-03 21:49:04

阅读数:78

评论数:0

Google开源翻译 Nodejs版本

我们使用翻译API当然要优先使用Google翻译了,但是Google翻译有一个经典的说法就是tk这个需要我们用特殊的方法创造出来,伟大的Github社区已经有这样的项目了,所以我们就现用,近期Google翻译又更新,我们还需要修改一点点东西才能使用,与其说是开源,不如说是社区的造福。 使用方法...

2018-11-02 19:16:34

阅读数:150

评论数:0

Nodejs 日志websocket实时输出

有这样一个需求,想要通过websocket查看某些日志文件的输出(新的文件,或者是新添加的内容,可以按行输出),并且需要实时的,可采用系统的tail并结合spawn命令进行。 使用方法 package.json { "name": "l...

2018-11-02 19:15:48

阅读数:128

评论数:0

Java 定位导致CPU飙升的代码过程

线上的一个日志实时输出的程序曾经出过这样一个问题,刚开始上线java程序占用的CPU的资源很少,但是到了整点的时候,CPU直线飙高,直接到达100%根本没有要下降的趋势,唯一的方法只能杀掉它了,后面在借助jstack与top排查到线程然后定位到某行代码出的问题。 排查演示 使用jps找到程序...

2018-11-02 19:14:53

阅读数:208

评论数:0

Spark-Streaming KafkaClient 异常解决

在使用Spark-Streaming消费Kafka数据的时候,使用如下命令提交到yarn Caused by: java.lang.IllegalArgumentException: Could not find a 'KafkaClient' entry in the JAAS configur...

2018-10-23 17:06:49

阅读数:166

评论数:0

Mysql upsert 使用技巧

mongo中会有upsert,Mysql只能使用DUPLICATE KEY UPDATE来实现,发现数据条数减少,而且数据不正确。经过进一步的排查,发现使用DUPLICATE KEY UPDATE是有技巧的。 技巧 DUPLICATE KEY UPDATE是建立在唯一索引之上的,也就是组成的k...

2018-10-23 17:03:49

阅读数:172

评论数:0

React-Native 消息推送

在这里我们可以选择大厂的推送,优先使用极光推送,下一篇将介绍如何使用阿里推送。 使用说明 PS: 真没想到极光大厂出的官方文档也有问题,这里列出是最新版本修复可用版 创建新项目 react-native init rn_jpush 过程(省略) This will walk you thro...

2018-10-23 16:55:02

阅读数:171

评论数:0

gradle 打包独立jar项目

使用SpringBoot的项目会把所依赖的jar包都打进一个jar文件里面,直接运行即可,那我们如何使用Gradle将我们的信赖jar包打入一个文件当中呢。 演示 配置文件 buildscript { repositories { maven { ...

2018-09-27 18:34:44

阅读数:285

评论数:0

Linux json文件(排序|去重)

如果有这样一些日志,里面是json内容的格式,我们需要对其某些字段进行排序,最方便的就是使用jq命令处理了,当然使用awk也可以处理,最方便还是jq,此文介绍jq在排序中的使用。 使用教程 文件test.logjson文件数据 {"time":1537111...

2018-09-18 19:50:03

阅读数:94

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭