shengjk1的博客

码字,搬砖

排序:
默认
按更新时间
按访问量

同居时代

此文之前已删,改后重发 闲来无事,手甚是痒痒,触一触敏感话题,我知道肯定又会招来一些人的愤恨,不好意思,又让你生气了,不过放心以后你肯定还会更加生气。 今天斗胆来聊聊同居,权当小二在意淫就好! 伴随着同居越来越普遍,人们越来越正视化,大家越来越觉得正常,没什么,似乎对于大对数人而...

2018-10-09 09:43:57

阅读数:19

评论数:0

spring注解是如何实现的

用过spring的人都知道,spring简单的通过注解就可以完成很多时间,但这些东西是如何实现的呢以及如何应用到我们自己的代码中?接下来,让我们一起开启注解的旅程。 首先申明本文的重点不是讲解spring的注解,也不讲解spring的源码,仅仅说明spring 注解能够起作用的原理 以...

2018-10-09 09:42:10

阅读数:587

评论数:0

6月随想-我想我是被传销了

不知不觉间以至6月末,这个月经历了一些事情,突然让自己的内心特别的沉稳了下来,目前还不知道能不能回编程 我也是讨好型人格 记下来,这算是人生的一次经验教训,算是一次转折点,好好计划,好好努力...

2018-10-09 09:41:17

阅读数:74

评论数:2

解决spark streaming重复提交第三方jar包问题

背景: 由于spark streaming每次提交都需要上传大量jar包到hdfs,为节约HDFS资源,现只存一份来解决这个问题 组件: CDH 5.13 spark2.2.x 针对cluster模式 对于spark streaming而言,第三方jar包是一个值得探讨的问题,相信大...

2018-09-29 20:17:13

阅读数:73

评论数:0

解决spark streaming长时间运行日志不断增长问题

解决spark streaming长时间运行日志不断增长问题一、spark streaming log 日志二、spark streaming event log 组件: 基于CDH5.13、spark2.2.X 背景: 由于spark streaming是7*24小时不间断运行的,日志必...

2018-09-29 19:53:25

阅读数:45

评论数:0

spark连接kafka工具类

package com.ishansong.bigdata.couriergroup.util import com.ishansong.bigdata.util.{Constant, DateUtils, JedisClusterPipeline} import kafka.common.To...

2018-08-30 19:16:03

阅读数:60

评论数:0

此专题文章参考于《深入理解Java虚拟机》

qq

2018-07-08 13:51:15

阅读数:62

评论数:0

我的专属海报

推荐

2018-05-07 11:47:17

阅读数:120

评论数:0

java包分类包括java.*,sun.*

最近在学习Class加载的过程,无意中看到ClassLoader中有sun开头的类,甚是奇怪,随知孤陋寡闻了,不由感叹到java果然博大精深,在下拜服。特此记录一番,以方便同辈人士观之 1. java.* JavaSE的标准库,是java标准的一部分,是对外承诺的java开发接口,通常要保...

2018-04-27 19:43:52

阅读数:167

评论数:0

关于编译器与解释器的区别

为了让更多的人能够从本质上理解编译器和解释器的区别,我杜撰了一个小故事 来福与旺财的养牛场 来福和旺财有一个养 牛场。本来养牛不是一件太难的事情,但是偏偏他俩养的牛都有特别的怪癖。奶牛阿圆只吃切成圆形的牧草,而奶牛阿方和阿三(印度来的?)分别只吃切成正方形 和三角形的牧草。如果来福和旺财拿不和...

2018-04-27 11:01:01

阅读数:105

评论数:0

Maven 打包实现生产环境与测试环境配置分离

在使用maven的过程中会发现一个问题,由于生产环境跟测试环境的配置不通,所以在分别打两个环境的包时,往往需要人工参与去修改配置文件,而人工参与的次数越大错误的几率就会越大,那maven能不能再不用人工修改配置文件的前提下来分别打两个环境的包呢,当然可以。 <!--也会...

2018-04-22 12:03:06

阅读数:65

评论数:0

java如何指定外部的配置文件

工作当中很多时候都希望可以把配置文件外放,这样的话就可以做到配置与业务分离,其实有很多种放式,比如xml,properties,这里就说一下如何用properties做到配置文件跟业务代码的分离 import org.apache.commons.configuration.Configu...

2018-04-22 11:09:36

阅读数:622

评论数:0

Streaming 101 批处理之外的流处理世界

开宗明义!本文根据Google Beam大神Tyler Akidau的系列文章《The world beyond batch: Streaming 101》(批处理之外的流式世界)整理而成, 主要讨论流式数据处理。在大数据领域,流式数据处理越发地重要了。原因有以下几点: ...

2018-03-02 22:38:44

阅读数:147

评论数:1

The Dataflow Model:Google Dataflow 编程模型

摘要 在日常商业运营中,无边界、乱序、大规模数据集越来越普遍了。(例如,网站日志,手机应用统计,传感器网络)。同时,对这些数据的消费需求也越来越复杂。比如说按事件发生时间序列处理数据,按数据本身的特征进行窗口计算等等。同时人们也越来越苛求立刻得到数据分析结果。然而,实践表明,我们永远无法同时优化...

2018-02-24 21:39:03

阅读数:334

评论数:0

spark streaming消费指定的topic和partition并手动更新offset

直接上代码 scala版的 import kafka.common.TopicAndPartition import kafka.message.MessageAndMetadata import kafka.serializer.Decoder import org.apache.sp...

2018-02-04 15:48:39

阅读数:606

评论数:3

基于slf4j实现多线程日志

对于多线程的程序来说,排错是一件特别麻烦的事情,特别是针对日志,多线程有可能发生日志写阻塞,那我们有没有可能每一个线程一个日志文件呢?答案是可以的,基于slf4j的MDC,具体MDC原理各位看官自行百度 直接上代码 /** * Created by shengjk1 on 2017/11...

2018-02-04 15:36:13

阅读数:560

评论数:0

java插件化编程(动态加载)

对于java程序员来说,插件化是一件很酷的功能,小二有幸在工作中实现了此功能。 背景: 需要将mysql的数据通过canal同步至kafka/mysql/hdfs等 实现 直接上代码 /** * Created by shengjk1 on 2017/12/11 */ pub...

2018-02-04 15:28:25

阅读数:279

评论数:0

Spark redis的坑

对于用scala来写spark程序员来说,spark streaming连接redis spark-redis.jar肯定是首选,但有一个坑就是ssc.sparkContext.fromRedisKV 底层是通过scan来获取数据的,当redis中数据过多时,效率十分低下 设置并行度的时候,...

2018-01-31 13:54:00

阅读数:457

评论数:0

JAVA反射会降低你的程序性能吗?

JAVA反射机制是在运行状态中,对于任意一个类,都能够知道这个类的所有属性和方法;对于任意一个对象,都能够调用它的任意一个方法和属性;这种动态获取的信息以及动态调用对象的方法的功能称为java语言的反射机制。from:http://www.111cn.net/jsp/Java/72057.htm早...

2017-12-05 13:52:34

阅读数:331

评论数:0

scrapy之其他

1.日志 $为注释 $LOG_ENABLED default: TrueLOG_ENABLED = True LOG_LEVEL = ‘INFO’ $LOG_FILE = ‘./logs/booksisbn.log’2.失败重试$为注释 RETRY_ENABLED=True Retry...

2017-11-22 14:15:10

阅读数:138

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭