shengjk1的博客

码字,搬砖

Lambda架构和Kappa架构

数据系统架构——Lambda architecture(Lambda架构) 传统系统的问题 “我们正在从IT时代走向DT时代(数据时代)。IT和DT之间,不仅仅是技术的变革,更是思想意识的变革,IT主要...

2019-02-12 18:36:11

阅读数 22

评论数 0

fork 了别人的仓库后如何保持同步更新

惊天一问:fork 了别人的仓库后,原作者又更新了仓库,如何将自己的代码和原仓库保持一致呢? 1 . Configuring a remote for a fork 给 fork 配置一个 remote 主要使用 git remote -v 查看远...

2019-01-31 19:15:11

阅读数 13

评论数 0

2019 卒

2019 人生之路,其实就是多愁善感,卒

2019-01-06 22:44:42

阅读数 39

评论数 0

201812随想

当我们对一件事情没有认知的时候,就会有人替我们认知,这就是为什么从小到大我们接受了那么多的所谓的教育。当我们没有标准的时候,就会有人给我们标准,这也就是为什么会有大众文化,会有大众的固有观念,会有社会提倡的风气和主流观点。 可是等到有一天突然开始怀疑自己所接受的认知、标准是否正确时,一点力量都没有...

2018-12-28 20:33:29

阅读数 42

评论数 0

idea自定义maven项目结构-maven archtype

背景 经常使用同一套类似的工程结构,就想着能不能自动构建,不用每次都进行工程结构的拷贝,运行技术代替人工 可以,利用maven 的archtype 1.构建通用的maven 项目 如: 2.在maven pom.xml中添加 &amp...

2018-12-17 23:01:56

阅读数 47

评论数 0

同居时代

此文之前已删,改后重发 闲来无事,手甚是痒痒,触一触敏感话题,我知道肯定又会招来一些人的愤恨,不好意思,又让你生气了,不过放心以后你肯定还会更加生气。 今天斗胆来聊聊同居,权当小二在意淫就好! 伴随着同居越来越普遍,人们越来越正视化,大家越来越觉得正常,没什么,似乎对于大对数人而...

2018-11-29 14:16:12

阅读数 82

评论数 0

关于借钱的一些看法

其实社会还是挺现实的,更上学的几乎是完全不一样。上学的时候,一些事情努力努力就可以了,可以在社会上很多事情不是你努力就可以的

2018-11-29 14:15:54

阅读数 123

评论数 1

spark内存模型概论

背景: 自从开始接触spark之后就一直很奇怪spark on yarn到底是怎么样跑起来了,具体的内存占用是怎么分配的?如果container的内存小于–executor-memory的话,spark程序能够跑起来吗?记得在某次的面试中还问过别人这个欠揍的问题,

2018-11-03 17:33:26

阅读数 65

评论数 0

spring注解是如何实现的

用过spring的人都知道,spring简单的通过注解就可以完成很多时间,但这些东西是如何实现的呢以及如何应用到我们自己的代码中?接下来,让我们一起开启注解的旅程。 首先申明本文的重点不是讲解spring的注解,也不讲解spring的源码,仅仅说明spring 注解能够起作用的原理 以...

2018-10-09 09:42:10

阅读数 3235

评论数 1

6月随想-我想我是被传销了

不知不觉间以至6月末,这个月经历了一些事情,突然让自己的内心特别的沉稳了下来,目前还不知道能不能回编程 我也是讨好型人格 记下来,这算是人生的一次经验教训,算是一次转折点,好好计划,好好努力...

2018-10-09 09:41:17

阅读数 135

评论数 3

解决spark streaming重复提交第三方jar包问题

背景: 由于spark streaming每次提交都需要上传大量jar包到hdfs,为节约HDFS资源,现只存一份来解决这个问题 组件: CDH 5.13 spark2.2.x 针对cluster模式 对于spark streaming而言,第三方jar包是一个值得探讨的问题,相信大...

2018-09-29 20:17:13

阅读数 279

评论数 0

解决spark streaming长时间运行日志不断增长问题

解决spark streaming长时间运行日志不断增长问题一、spark streaming log 日志二、spark streaming event log 组件: 基于CDH5.13、spark2.2.X 背景: 由于spark streaming是7*24小时不间断运行的,日志必...

2018-09-29 19:53:25

阅读数 610

评论数 0

spark连接kafka工具类

package com.ishansong.bigdata.couriergroup.util import com.ishansong.bigdata.util.{Constant, DateUtils, JedisClusterPipeline} import kafka.common...

2018-08-30 19:16:03

阅读数 176

评论数 0

此专题文章参考于《深入理解Java虚拟机》

qq

2018-07-08 13:51:15

阅读数 84

评论数 0

我的专属海报

推荐

2018-05-07 11:47:17

阅读数 213

评论数 0

java包分类包括java.*,sun.*

最近在学习Class加载的过程,无意中看到ClassLoader中有sun开头的类,甚是奇怪,随知孤陋寡闻了,不由感叹到java果然博大精深,在下拜服。特此记录一番,以方便同辈人士观之 1. java.* JavaSE的标准库,是java标准的一部分,是对外承诺的java开发接口,通常要保...

2018-04-27 19:43:52

阅读数 410

评论数 0

关于编译器与解释器的区别

为了让更多的人能够从本质上理解编译器和解释器的区别,我杜撰了一个小故事 来福与旺财的养牛场 来福和旺财有一个养 牛场。本来养牛不是一件太难的事情,但是偏偏他俩养的牛都有特别的怪癖。奶牛阿圆只吃切成圆形的牧草,而奶牛阿方和阿三(印度来的?)分别只吃切成正方形 和三角形的牧草。如果来福和旺财拿不和...

2018-04-27 11:01:01

阅读数 129

评论数 0

Maven 打包实现生产环境与测试环境配置分离

在使用maven的过程中会发现一个问题,由于生产环境跟测试环境的配置不通,所以在分别打两个环境的包时,往往需要人工参与去修改配置文件,而人工参与的次数越大错误的几率就会越大,那maven能不能再不用人工修改配置文件的前提下来分别打两个环境的包呢,当然可以。 <!--也会...

2018-04-22 12:03:06

阅读数 235

评论数 0

java如何指定外部的配置文件

工作当中很多时候都希望可以把配置文件外放,这样的话就可以做到配置与业务分离,其实有很多种放式,比如xml,properties,这里就说一下如何用properties做到配置文件跟业务代码的分离 import org.apache.commons.configuration.Configu...

2018-04-22 11:09:36

阅读数 1553

评论数 0

Streaming 101 批处理之外的流处理世界

开宗明义!本文根据Google Beam大神Tyler Akidau的系列文章《The world beyond batch: Streaming 101》(批处理之外的流式世界)整理而成, 主要讨论流式数据处理。在大数据领域,流式数据处理越发地重要了。原因有以下几点: ...

2018-03-02 22:38:44

阅读数 192

评论数 1

提示
确定要删除当前文章?
取消 删除
关闭
关闭