自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

weidianlun的博客

问苍茫大地谁主沉浮!

原创 实时计算入门篇-了解storm

离线计算最近在了解离线系统,根据自己的了解,以及参考网上的相关资料,总结了相关知识,供刚入门的同学们了解。离线计算,就是批量获取数据、批量传输数据、周期性批量计算数据、数据展示,相信大家在了解实时计算的时候肯定对离线计算有一定的了解了,比如Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、任务调度等技术(zakaban),这些都是离线计算流式计算流式计算,数据实时产生、数据实时传输、数据实时计算、实时展示。Flume实时获取数据、Kafka/m

2020-07-24 08:41:47 36

原创 Idea下载Maven项目提示找不到包的相关问题

情形再现最近在做领导安排的一个任务,发现从git上拉取源码后,编译始终不通过,一直提示程序包不存在和找不到符号,但是找到problem问题的那一段代码发现没有错误,其中找不到符号的类可以进入到源码中,通过思考应该不是真正找不到程序包。于是便开始了下边的历程。1.更改jar包版本,无果。2.网上说设置对应的jdk版本,操作,无果3.删除maven库,重新下载,无果。4.重新安装maven,...

2020-04-18 15:13:05 301

原创 Mac宿主主机无法ping通docker容器ip

起源在安装azkaban时候发现无法在宿主主机上调用https://ip:8443这个uri,确认docker中的服务启动,继续尝试ping容器发现无法ping通。慢慢就发现了新大陆。下边就开启追溯原因和探索解决方案:mac下的宿主无法ping通docker容器原因在于docker在OSX的实现方式,是首先创建一个linux的虚拟机,在将docker放入到虚拟机中实现,而对于linux虚拟机...

2020-04-09 21:42:52 807 6

原创 mongodb数据备份dump&restore操作

最近由于也无需求需要将mongodb数据库数量进行备份到另一台机器中,所以开启了研究之路,期间也多方进行谷歌,但是发现很多教程不太详细,所以经过实践和总结,将步骤描述如下。导出数据这里我是通过操作远程数据库的方式进行导出需要身份认证方式mongodump -h 主机名 -u mongo用户名 -p mongo密码 -d 操作的数据库 -o 文件存放到本地的路径 --authentic...

2020-01-21 11:10:29 144

原创 docker容器部署redash&安装过程中存在的问题

redash部署文档&简单实用说明前置环境dockerdocker-composenodejs拉取代码通过git目录拉取代码git clone https://github.com/getredash/redash.git进入redash目录编辑docker-compose.yml文件修改文件内容其中需要将redash服务镜像版本和worker镜像的版...

2019-12-31 18:07:42 1231 3

原创 利用docker搭建haood集群,以及常见问题的总结与分析

前言相信很多码友们也从事大数据行业,我接触大数据也有一段时间了,之前是在本机上利用Vmware搭建hadoop集群,随着时间的推移,发现电脑和人一样,到了年龄,身体一天不如一天。所以决定今天决定利用docker容器进行搭建一套伪分布式系统。如果没有了解过docker,下章我将会对docker的入门进行做一些说明,这里先普及一下什么是docker.Docker 是一个开源的应用容器引擎,让开发...

2019-12-22 22:09:52 103

原创 git pull/push代码 每次都要输入账户名和密码的解决方法

最近修改了邮箱的密码,但是不知怎么地码云每次pull and push 都要输入账户名和密码,由于我的码云账户是基于邮箱创建的。所以貌似产生了什么幺蛾子。废话少说,直接干:首先找到你的git客户端,那些习惯用图形化窗口界面操作需要改一下这个不好的毛病了(同时也在说我自己/奸笑)。如果足够厉害也可以自行操作图形化界面,反正我是没有找到方法。第一步git config --global c...

2019-11-09 17:48:38 199

原创 java代码中获取异常信息存储到字符串对象

​在Java开发中,我们经常要处理各种异常,我们一般用e.toString()或e.getMessage()得到异常信息,但是有时候异常堆栈中会存在很多信息,比如用下面的代码抛出异常:代码如下: public static String getErrmessage(Throwable t){ StringWriter stringWriter=new Str...

2019-10-12 14:14:02 1207

原创 java异步编程入门篇 (springboot)

常见的方法调用都是同步调用,这种调用方式是一种阻塞式的调用方式,即客户端(主调用方)代码一直阻塞等待直到被服务端(被调用方)返回为止。这种调用方式相对比较直观,也是大部分编程语言直接支持的一种调用方式。但是,如果我们面对是基于粗粒度的服务组件,面对的是一些需要比较长时间才能有响应的应用场景,那么我们就需要一种非阻塞式调用方式,即异步调用方式相信很多同学们刚开始都会对异步、同步、多线程很困...

2019-09-30 10:13:25 166

原创 java项目中关于登录拦截器的实现 (涉及注解的创建与使用,springboot的拦截器的创建与注册,session的校验)

本文主要写了一个关于登录校验的demo,使用范围,java 项目进行接口请求的校验,采用了springboot框架+注解+拦截器的方式来实现,也是当前行业中比较常用的一种模式,现在主要对代码流程进行解析和说明。创建一个注解@Target({ ElementType.TYPE, ElementType.METHOD })@Retention(RetentionPolicy.RUNTIME)@...

2019-09-29 14:50:04 126

原创 rabbitmq的应用总结

环境搭建项目采用springboot整合rabbitmq完成,所以项目的一些配置都是采用springboot操作pom配置文件 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-st...

2019-08-22 19:49:06 64

原创 springBoot项目与Eureka注册中心整合时候关于版本兼容问题

java.lang.NoSuchMethodError: org.springframework.boot.builder.SpringApplicationBuilder.([Ljava/lang/Object;)V如果在搭建springboot项目的时候遇到过这样的问题,那么这个问题就是版本兼容问题。还有一种情况就是关于绑定的问题。提示binder failed,问题大概类似。这个问...

2019-08-19 09:04:21 1060

原创 解决jpa 中查询一个对象然后修改内容返回给前端,发现数据库中内容变了

需求是这样的,我用的jpa 实体框架,从数据库中捞出一个对象,然后根据需求需要设置某些敏感字段为null,但是这个方法里边我用到了spring的前置和后置通知,其中后置通知中包含了save操作。在执行过程中发现报错了,提示这个敏感字段为null的异常,苦思冥想半小时,我没有保存这个对象呀,ememmemmme........。突然想到之前hibernate中有关于游离对象,瞬时对象的状态,大胆继续...

2019-07-01 18:20:37 1585

原创 一次maven项目拆分的经历(涉及私服搭建)

由于工作安排,进行了项目架构的调整,由原来的根目录为父项目,子项目也附着于该项目下,为了完全进行微服务化和后期的维护方便,现将子项目单独拆分出来。由于不在同一个目录下了,发布在服务器上之后无法直接进行依赖,所以需要安装私服。安装私服linux下安装私服这里就不做多讲了。需要注意点的是安装之后会有三种type 分别为proxy host goup 我们根据需要可以创建自己的mavne...

2019-06-21 09:09:01 244

原创 java获取完整的异常信息堆栈写入到io中

​在Java开发中,我们经常要处理各种异常,我们一般用e.toString()或e.getMessage()得到异常信息,但是有时候异常堆栈中会存在很多信息。下边代码就是个工具方法,可以直接获取堆栈中的异常信息。代码如下: public static String getErrmessage(Throwable t){ StringWriter stringWriter=...

2019-06-17 17:32:01 1457

原创 springboot自定义参数解析HandlerMethodArgumentResolver的使用

在实际开发中我们一般会将传入controller的参数进行处理,但是每个方法都进行处理很不友好,这样的话我们可以通过类似于AOP的方式去建立一切面。通过该切面来共享这个方法。比如我的入参有个对象,我自己又建立了一个注解,我可以在切面中通过判断如果存在该注解则进行解析参数。下边是核心接口的两个方法,第一个方法校验通过后执行第二个方法进行解析参数,这样我们可以对参数进行操作。1.写个注...

2019-05-14 15:51:19 1502

原创 关于jvm性能调优

关于jvm内存调优我们需要首先知道都是存在哪些情况,根据不同的情况来进行调优。所以这里给大家分享一下在网上看到的各种东西进行的汇总:部分内容来源于网上。内存泄漏一般可以理解为系统资源(各方面的资源,堆、栈、线程等)在错误使用的情况下,导致使用完毕的资源无法回收(或没有回收),从而导致新的资源分配请求无法完成,引起系统错误。整个JVM内存大小=年轻代大小 + 年老代大小 + 持久代大小,目前来说...

2019-03-10 16:19:15 131

原创 关于linux下查看开放的端口以及新增开放端口的具体操作

首先查看linux中防火墙配置中开放的端口号列表 /etc/init.d/iptables status我们可以编辑开放端口列表中的内容,命令如下:vi /etc/sysconfig/iptables 效果如下: 如果我们想添加一个一个允许规则。比如添加8080端口允许 输入下边内容即可-A INPUT -m state –state NEW -m t...

2019-01-12 12:12:03 1564

原创 微服务中关于feign整合hystrix的案例使用以及注意事项

What Is Hystrix?在一个分布式系统里,许多依赖不可避免的会调用失败,比如超时、异常等,如何能够保证在一个依赖出问题的情况下,不会导致整体服务失败,这个就是Hystrix需要做的事情。Hystrix提供了熔断、隔离、Fallback、cache、监控等功能,能够在一个、或多个依赖同时出现问题时保证系统依然可用。知道它的,作用优点和好处了。那么下边就跟着我一起来操作一下feign整合...

2018-12-19 22:23:06 761

转载 java并发编程:从线程池的理论到实践

 在java并发编程中对于线程池要求甚高。下边我们就来学习一波线程池操作。  如果并发的线程数量很多,并且每个线程都是执行一个时间很短的任务就结束了,这样频繁创建线程就会大大降低系统的效率,因为频繁创建线程和销毁线程需要时间。  那么有没有一种办法使得线程可以复用,就是执行完一个任务,并不被销毁,而是可以继续执行其他的任务?  在Java中可以通过线程池来达到这样的效果。今天我们就来详...

2018-12-12 09:33:12 197

原创 阿里云上redis外网无法访问的解决方案

折磨了一天的我,现在是夜里21:45.终于把redis给弄通了。从安装到跑通可谓是一路艰辛。下边说一下情况吧。下边这个工具是windows连接redis的最佳工具(可以说没有之一我个人认为的)。有兴趣大家可以去下载连接一下哦 这就是问题,redis已经安装好了,而且跑起来了。阿里云服务器上可以直接操作,但是本地连接的时候就会报错mmp.各种骚操作更改配置文件,然后各种不行。下边...

2018-12-04 22:05:17 4658 9

原创 java中关于随机数产生的公式分析

相信大家在随机数产生的过程中有很多不解吧, Random random=new Random(); int i = random.nextInt(10) + 8; System.err.println(i); }如果你认为上边产生的数字是8-10之间那么你就需要来看看了下边内容,如果不是的你也可以忽略改文章(点个赞再走也不晚~~~~~)。下边的一部分式子是来源于网络,不...

2018-11-29 08:54:59 419

原创 springboot整合定时任务(相对于Quartz和Task等框架非常简单)

最近真正用springboot整合定时任务发现其流程灰常简单,进一步突出了springboot的强大之处。相对于之前用过的quartz和task来说可以说是简单爆了,尤其是quartz整合spirng的时候那配置简直是日了动物园了。废话不说直接怼代码。package com.example.demo;import org.springframework.boot.SpringApplic...

2018-11-17 15:18:15 350 1

原创 java中守护线程与用户线程

最近在深入学习java的相关知识,走到了多线程方面,发现了一个奇怪的问题就是守护线程,仔细研究一番发现线程分为两种线程,用户线程和守护线程。所谓守护线程是指在程序运行的时候在后台提供一种通用服务的线程,比如垃圾回收线程就是一个很称职的守护者,并且这种线程并不属于程序中不可或缺的部分。因 此,当所有的非守护线程结束时,程序也就终止了,同时会杀死进程中的所有守护线程。反过来说,只要任何非守护线程还...

2018-11-15 21:54:12 153 1

原创 dubbo的xsd文件The matching wildcard is strict, but no declaration can be found for element

dubbo配置xml文件报错“Multiple annotations found at this line:    - cvc-complex-type.2.4.c: The matching wildcard is strict, but no     declaration can be found for element 'dubbo:application'.    - sc...

2018-11-15 16:33:58 2864

原创 io相关知识的梳理

关于java的io操作相信很多人很迷糊,其中不乏有三五年开发经验的人员。前几天就对java的io做了一些不太深入的学习。在这里分享给大家,希望有所帮助。首先java中io很多类型,比如输入操作主要有inputString   Reader 输出操作有OutputStream和Writer   下边又继续划分FileInputStream  FileReader   FileOutputStre...

2018-11-15 08:56:41 197

原创 springboot访问jsp页面时候却变成了下载文件

前几天在自己写springboot项目的时候遇到个棘手 的问题,就是我访问项目url的时候本来应该跳转到jsp页面呢,然而却变成了下载文件(如图)打开文件一看竟然是我要访问的jsp页面内容。感到很奇怪,于是就仔细检查代码,检查是否加上了responseBody是否把路径写作了,配置文件里是否有错误问题,找了半天都没有发现问题,百度了一番,说是没有加入jsp的相关依赖。然后就尝试着加入下...

2018-11-11 10:41:56 9864

转载 plsql登陆oracle提示TNS: no listener

    安装Oracle后,用PL/SQLDeveloper连接oracle时出现ORA-12541:TNS:无监听程序的错误,如下图:            发现原来是oracle的监听没有启动,重启监听后就连接成功了,下面跟大家分享一下如何启动oracle的监听。   1.打开NetConfiguration Assistant             2.选择...

2018-11-03 13:14:47 1588

原创 微服务SpringCoud之Ribbon学习案例和源码

ribbon在springcloud微服务中应用主要就是用来作为负载均衡的。相对于传统的Nginx来说它有着独特的优点。Nginx可以说是服务端的负载均衡,而ribbon可以说是服务端,客户端的负载均衡。下边是引用网上的一些内容,大家可以自己理解一下:Spring Cloud Ribbon是基于Netflix Ribbon实现的一套客户端负载均衡的工具。它是一个基于HTTP和TCP的客户...

2018-10-29 11:48:42 127

原创 SpringCloud的Config配置中心与客户端的详细与使用

Spring Cloud Config 是一种用来动态获取Git、SVN、本地的配置文件的一种工具。是springcloud的一个核心技术。pring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智能路由,微代理,控制总线)。分布式系统的协调导致了样板模式, 使用Spring Cloud开发人员可以快速地支持实现这些模式的服务和应用程序。 ...

2018-10-26 17:37:20 2301 1

原创 springcloud微服务探索之完整demo的记录与分析

Erueka服务器的建立Spring Cloud Eureka是Spring Cloud Netflix微服务套件中的一部分,它基于Netflix Eureka做了二次封装。主要负责完成微服务架构中的服务治理功能。什么事服务注册:在服务治理框架中,通常都会构建一个注册中心,每个服务单元向注册中心登记自己提供的服务,包括服务的主机与端口号、服务版本号、通讯协议等一些附加信息。注册中心按照服务名分...

2018-10-24 17:40:41 283 1

原创 yml文件的基本要领解决ound character '\t(TAB)' that cannot start any token. (Do not use \t(TAB) for indentatio

1.尽量使用idea等相对比较智能的开发工具(因为会自动加空格等智能操作)2.绝对不能使用tab键来创建空格,如果下一行是一个子级别的属性名按回车后输入一个空格然后继续填写属性值。3.文件的最后不能有空行(无内容的行),有的话通过delete键删除4.注意每个:后边都要空一格(注意一定要用空格键来操作。切忌tab键)5.每个级别的属性名要严格对齐6.配置文件中间也不能有空行(无...

2018-10-18 16:28:14 3108 2

原创 springboot整合mybatis的两种方式的精讲过程(含demo下载)

前言:spirngboot整合mybatis过程有两种整合方式,一种就是通过xml文件来写sql,另外一种就是通过注解的方式来写sql语句.但是不论哪种方式都首先需要引入一个最重要的jar包。那就是mybatis-spring-boot-starter这个包。这个包的部分功能如下:自动检测现有的DataSource将创建并注册SqlSessionFactory的实例,该实例使用SqlSe...

2018-10-18 15:31:47 324

原创 教你如何创建注解和浅析注解原理

前言:注解在目前而言最主流的应用:代替配置文件关于配置文件与注解开发的优缺点:注解优点:开发效率高 成本低 注解缺点:耦合性大 并且不利于后期维护常见的注解举例:@Override:告知编译器此方法是覆盖父类的@Deprecated:标注过时@SuppressWarnings:压制警告注意:不同的注解只能在不同的位置使用(方法上、字段上、类上)1.自定义注解...

2018-10-18 11:51:41 114

转载 一篇文章带你看懂微服务

一、微服务介绍1. 什么是微服务      在介绍微服务时,首先得先理解什么是微服务,顾名思义,微服务得从两个方面去理解,什么是"微"、什么是"服务", 微 狭义来讲就是体积小、著名的"2 pizza 团队"很好的诠释了这一解释(2 pizza 团队最早是亚马逊 CEO Bezos提出来的,意思是说单个服务的设计,所有参与人从设计、开发、测试、运维所有人加起来 只需要2个披萨就够了 )。 ...

2018-10-18 10:38:04 159

原创 专业破解各种版本的IDEA

一、官网下载https://www.jetbrains.com/idea/二、下载jar包以2018.2.x版本为例百度云直接下载:https://pan.baidu.com/s/1hNVdSeEqf14kbpkkIkjC4g 提取码: 5c6w将这个jar包放在你的idea的安装目录的bin目录下脑残的我竟然全部安装在c盘,瞬间少了几个G三、更改两个配置文件...

2018-10-16 20:23:07 653

原创 js中对于alert之后return false之后js还会继续执行以及弹出框闪现问题

这个问题可能会困惑好多人,在这里说一下存在的问题,你只需要根据自己的实际情况来看自己的代码即可:1.return ;或者 对于alert是一定卡死在当前线程,如果你后边加上return ;或者return false;那么肯定程序不会走的,其实好多人说程序继续往下走,这是因为没有找到问题的根本原因所在。比如我遇到的问题,我才用的是ivew框架,提交什么的操作都是通过ajax操作,然而呢,不知道...

2018-09-28 18:06:35 4733

转载 解决java.lang.NoClassDefFoundError: Could not initialize class方案

引用:https://blog.csdn.net/erlian1992/article/details/806835992018-06-12 10:03:34 [http-nio-8107-exec-3] ERROR com.huajin.assetserver.advice.ExpectionAdviceController - Handle request fail!org.sprin...

2018-09-14 11:34:27 9288

原创 写给那些没有用过oracle存储过程但又准备学习的同志们

公司属于外包公司,公司所用的是oracle数据库,所以,避免不了操作oracle数据库,而且动不动就是调用存储过程,但是发现一个问题,对于存储过程的学习还是有相对有限的系统性的学习资料。都是一些零碎的学习资料,东一榔头西一棒槌。所以本人在这里就给大家操作一波存储过程,从基础语法到java程序调用存储过程。这几篇文章只是学习的起步,但又是学习存储过程至关重要的一个环节,相信你看完这篇文章可以说是对存...

2018-09-12 22:45:53 25698 20

原创 springboot学习笔记(第一天)

关于springboot学习的简要笔记:为了便于自己对学习过程中遇到的知识点进行总结,特意整理在看书过程中所记录的知识点:由浅入深,总计三篇左右会将springboot知识点给穿插一编,时间仓促,具体格式就没有再整理了。配置文件:可以在src目录下添加配置文件,名称为application.properties也可以添加许多配置文件eg:application-dev.properties...

2018-09-02 21:42:35 146

提示
确定要删除当前文章?
取消 删除