java
文章平均质量分 79
dounine
这个作者很懒,什么都没留下…
展开
-
linux tomcat创建文件夹乱码(显示:???)
catalina.sh 启动脚本里加入export LANG=zh_CN.UTF-8重启tomcat就可以了。原创 2015-09-06 10:41:23 · 2561 阅读 · 0 评论 -
Spark SerializedLambda错误解决方案
在IDEA下开发Spark程序会遇到Lambda异常,下面演示异常及解决方案。例子import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spa...原创 2018-08-13 21:47:04 · 3864 阅读 · 2 评论 -
Hbase kerberos认证问题
KrbException: Server not found in Kerberos database (7) - LOOKING_UP_SERVER>>> KdcAccessibility: remove storm1.starsriver.cn at sun.security.krb5.KrbTgsRep.<init>(KrbTgsRep.java:73...原创 2018-08-13 21:48:23 · 4893 阅读 · 0 评论 -
gradle 打包独立jar项目
使用SpringBoot的项目会把所依赖的jar包都打进一个jar文件里面,直接运行即可,那我们如何使用Gradle将我们的信赖jar包打入一个文件当中呢。演示配置文件buildscript { repositories { maven { url "https://plugins.gradle.org/m2/" } ...原创 2018-09-27 18:34:44 · 3990 阅读 · 0 评论 -
Spark-Streaming KafkaClient 异常解决
在使用Spark-Streaming消费Kafka数据的时候,使用如下命令提交到yarnCaused by: java.lang.IllegalArgumentException: Could not find a 'KafkaClient' entry in the JAAS configuration. System property 'java.security.auth.login.co...原创 2018-10-23 17:06:49 · 4126 阅读 · 3 评论 -
Java 定位导致CPU飙升的代码过程
线上的一个日志实时输出的程序曾经出过这样一个问题,刚开始上线java程序占用的CPU的资源很少,但是到了整点的时候,CPU直线飙高,直接到达100%根本没有要下降的趋势,唯一的方法只能杀掉它了,后面在借助jstack与top排查到线程然后定位到某行代码出的问题。排查演示使用jps找到程序的pid[root@logs bin]# ./jps -l -m | grep logdir22...原创 2018-11-02 19:14:53 · 5846 阅读 · 0 评论 -
Flink - CEP 实时分用户析攻击行为
在这样一种场景,用户的登录行为数据都会以LoginEvent的行式记录下来,每次失败或者成功以及错误都会记录下来,一般客户端都会进行检验,正常的用户不可能在一秒钟之内登录错误多次,这时候我就得怀疑这部分数据是不是机器对用户的密码进行暴力破解,如果有需要我们得将这些攻击IP进行封锁。Flink - CEP 优点复杂性:多个流join,窗口聚合,事件序列或patterns检测低延迟:秒或毫秒...原创 2018-11-19 01:22:47 · 5041 阅读 · 7 评论 -
Gradle 打包上传中央仓库
打包步骤生成gpg密钥gpg --full-generate-keygpg (GnuPG) 2.2.12; Copyright (C) 2018 Free Software Foundation, Inc.This is free software: you are free to change and redistribute it.There is NO WARRANTY, to t...原创 2019-01-10 10:14:16 · 1393 阅读 · 0 评论 -
Spark 资源动态释放
通过spark-submit会固定占用一占的资源,有什么办法,在任务不运作的时候将资源释放,让其它任务使用呢,yarn新版本默认已经支持了,我们使用的是HDP。版本如下配置HDP里面已经默认支持spark动态资源释配置代码配置val sparkConf = new SparkConf() .set("spark.shuffle.service.enabled",...原创 2019-01-10 10:16:01 · 2886 阅读 · 0 评论 -
Scala 反射动态创建方法的骚操作
有时候我们想定义一个字符串的方法,然后通过scala的动态创建class,然后反射调用方法,在很多情景下是在学有用的,比较动态自定义spark的mapParations,当然了,每个人的需求都不一样,但是底层原理是一样的。先画饼运行object CreateTest{ def main(args: Array[String]): Unit = { val cim = Cla...原创 2019-02-27 20:50:50 · 2501 阅读 · 0 评论 -
自定义Rowkey规则读取Hbase数据
在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢,这时候我们就可以定制TableInputFormat来实现我们的需求了,我们还可以采用Flink的DataSet的方式读取,另外下面还有Spark读取的例子。使用教程Md5Util.javaimport org.apache.commons.codec.binary.Hex;impo...原创 2018-08-13 21:46:12 · 765 阅读 · 0 评论 -
Docker 1分钟搭建Maven仓库Nexus3
这里使用最新版本的nexus3.11作为演示,nexus作为maven构建的仓库。使用演示依赖docker非挂载方式运行docker run -p 8081:8081 -dti dounine/nexus /nexus/bin/nexus run将仓库文件保存到本地方式运行docker run -p 8081:8081 -v /xxxx/nexus/st...原创 2018-05-07 17:18:00 · 322 阅读 · 0 评论 -
springcloud fegin获取request header解决方案
假设现在有A服务,B服务,外部使用RESTApi请求调用A服务,在请求头上有token字段,A服务使用完后,B服务也要使用,如何才能把token也转发到B服务呢?这里可以使用Feign的RequestInterceptor,但是直接使用一般情况下HttpServletRequest上下文对象是为空的,这里要怎么处理,请看下文。演示A服务FeginInterceptor...原创 2018-04-17 16:28:24 · 10432 阅读 · 1 评论 -
jdk1.8 日期新API LocalDateTime,LocalDate,LocalTime 在Hibernate中无法反序列化解决方法
java JDK1.8 引入全新的时间日期API,但是无法结合Hibernate使用,hibernate源码并未对其进行支持,所以要使用hibernate的扩展进行支持。原创 2015-07-31 11:46:10 · 4197 阅读 · 0 评论 -
java socks EOFException异常解决
异常如下java.io.EOFException at java.io.DataInputStream.readUnsignedShort(DataInputStream.java:340) at java.io.ObjectInputStream$BlockDataInputStream.readUnsignedShort(ObjectInputStream.java:2836)原创 2016-11-30 16:53:36 · 7001 阅读 · 0 评论 -
adb无法显示Android夜神模拟器解决方案
在使用adb devices命令的时候,要么出现:$: adb devicesList of devices attached要么就出现$: adb devicesadb server version (32) doesn't match this client (39); killing...* daemon started successfully *,模拟器已经打开了,就是不显示,试了很原创 2017-11-12 00:03:12 · 1423 阅读 · 0 评论 -
Java VisualVM 安装 plugins Visual GC
在Java VisualVM这款java性能分析及调优工具如何加载插件?比如漂亮的Visual GC,我比较喜欢这款漂亮的姑娘,当然了,如果觉得这是阻止了你们的进步,喜欢使用控制或者jconsole来分析的,那就可以退出此文了哈。使用指南Java VisualVM历史版本 jdk1.6以上自带 以下演示使用jdk1.81. 进行java的bin目录中cd $JAVA_HOME/bin2. 运行J原创 2017-11-21 22:15:56 · 917 阅读 · 0 评论 -
HttpClient4.5 阻止Url重定向方法
RequestConfigconfig = RequestConfig.custom().setRedirectsEnabled(false).build();//不允许重定向CloseableHttpClient httpClient =HttpClients.custom().setDefaultRequestConfig(config).build();//使用htt原创 2016-07-11 16:43:40 · 8970 阅读 · 0 评论 -
Java jmx远程调优
## Demo1Not enable authenticate ```java \ -Dcom.sun.management.jmxremote.authenticate=false \ -Dcom.sun.management.jmxremote.port=5555 \ -Dcom.sun.management.jmxremote.ssl=false \ -Djava.rmi.server.hostn原创 2017-11-25 15:23:53 · 819 阅读 · 0 评论 -
3分钟教你成为JVM的尖子生
在很久很久以前,也就是1992年3月份,有一所NB轰轰的咖啡学校诞生了,它的名字叫JAVA,学校的校规极其的厉害,普通学生闻风丧胆,唯一尖子生般的人才能留下来,别猜了 那个人就是你。本色出演学校:Java Virtual Machine(JVM) 教室:堆空间(Heap) 老师:垃圾回收器(Minor GC / Major GC) 学生:数据(Object)学校地图1.教室Eden新生专用2原创 2017-11-22 16:20:37 · 331 阅读 · 2 评论 -
SpringBoot 自动生成API文档
SpringMVC RESTFul文档自动生成(对接前端与移动端),完全基于注释生成,java后台开发者的福音,再也不写一大堆接口说明了,等了那么久,SpringMVC终于可以自动生成RESTFul文档了。原创 2017-04-23 18:11:14 · 25422 阅读 · 0 评论 -
HttpClient4.x 文件上传
演示gradle 包引入compile group: 'org.apache.httpcomponents', name: 'httpclient', version: '4.5.3'上传HttpClient HTTP_CLIENT = HttpClients.createDefault();HttpPost httpPost = new HttpPost("http://localhost/fi原创 2017-08-05 17:25:45 · 1064 阅读 · 0 评论 -
Hbase - 表导出CSV数据
新鲜文章,昨天刚经过线上验证过的,使用它导出了3亿的用户数据出来,花了半个小时,性能还是稳稳的,好了不吹牛皮了,直接上代码吧。MR考查了Hbase的各种MR,没有发现哪一个是能实现的,如果有请通知我,我给他发红包。所以我们只能自己来写一个MR了,编写一个Hbase的MR,官方文档上也有相应的例子。我们用来加以化妆就得到我们想要的了。导出的CSV格式为admin,22,北京admi...原创 2019-07-10 10:15:48 · 1363 阅读 · 0 评论