自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

W_DongQiang的博客

记录生活,记录你!

  • 博客(68)
  • 资源 (5)
  • 收藏
  • 关注

原创 一、1、Hadoop的安装与环境配置

dfs.namenode.name.dir和dfs.datanode.data.dir分别指名称节点和数据节点存储路径。切换到路径/usr/local/hadoop/etc/hadoop下,需要修改2个配置文件core-site.xml和hdfs-site.xml。并选择相应系统以及位数下载(本文选择jdk-8u381-linux-x64.tar.gz,如具体版本不同则灵活修改)注:本文使用的是hdfs://localhost:9000即hdfs文件系统。

2023-07-25 10:55:58 1246

原创 学习背景和学习规划

不同的模块需要学习一些不同的技术和处理方式,1.数据的采集与存储 需要学习Hadoop基础,了解大数据基础组件HDFS、MR、Yarn原理,学习Hive大数据存储和分析重点技术组件,学习HbaseNosql列式存储数据库,学习ETL数据同步和集成,这一部分是大数据的核心基础功能,后续的计算和展示都要在此基础上进行。浏览了一些博客和一些技术的官方文档,了解到入门的话大致需要三个模块的基础,JAVA、SQL和LINUX,好在工作了几年,这三方面基础的话还是比较扎实的。为什么要学习大数据相关的技术?

2023-07-18 18:00:45 1013

原创 activiti的简单使用

很多同学想入手学一下工作流,但是按着资料集成到项目里了却又不知道该怎么使用,其实不难理解,工作流的目的就是为了能让实施人员便捷的在系统中配置使用审批流程,从这个目的入手,就会有目标了,比如,如何配置一个流程?如何使用这个配置好的流程?如何确定流程节点的审批人?这里会做个简单的代码实现以供参考(前提项目中已整合好activiti)首先先了解几个名词,模型(可以理解成流程的模板),流程实例(根据模型启动起来的流程实例,一个模型可以关联多个流程实例),流程节点(每个流程实例会有多个节点,跟流程图中的节点对.

2020-12-15 11:51:35 965

原创 ORACLE下的多列转多行函数

记录一个在oracle中多行转多列的函数,有一个项目近期到了收尾阶段,忽然客户说有一个成本分摊的统计表逻辑要调整,我一看需求瞬间头大了,其中比较麻烦的一段逻辑就是需要把单行的多列数据分割成多行,百度了一下方法,大概是这样的。原数据结构如下:每个人会有多个成本分摊,最后需要汇总出每个成本中心的分摊金额首先需要先把这每行数据分割一下,分割成一个成本分摊对应一行数据select id,username,cca,shares,total*shares/100 as totalfrom...

2020-11-10 11:58:16 3231 4

原创 HibernateTemplate执行list()或find()方法时触发update操作

维护老产品的时候遇到一个诡异的问题,代码中调用HibernateTemplate.find()方法来查询一个list对象,但是在某些情况下就会触发数据的update操作,第一时间先去看了下实体的set方法中有没有进行相应的值转换(hibernate默认事务状态下监听到查询的值被修改会触发update操作),但是发现并没有,找了很久没有找到原因,可能是最外层方法事务的原因,也有可能是hibernate缓存方面的原因(愿天堂没有hibernate)。解决方法:在执行hibernate查询前加上clear

2020-09-17 08:42:24 580

原创 SpringCloud下接口文档的集中管理(Swagger2)

为什么要统一管理接口文档?在一般的web项目开发中,如果是前后端分离项目的话,那么肯定会需要一份具体的接口文档,方便前端开发人员在不知道接口的具体地址、参数、返回值的情况下查看,那么这个时候就有问题了,后台的人员一般都是抗拒写文档的,写文档这辈子是不可能的了,所以就衍生出了Swagger这种生成文档的框架。而且Swagger的集成方式也能让大多数开发人员接受,所以很多开发团队都习惯使用Swagger生成所需的接口文档,一般的单项目中集成Swagger使用和查看文档都特别简单,因为一个项目顶多也就一个接口文

2020-05-13 15:41:52 1010 2

原创 jquery+autocomplete.js实现html上的input联想功能

大早上的,也没什么想说的,简单记录一下联想插件的使用,昨天在百度上搜教程,看到各种各样的input联想教程,但是看了好几篇也没看懂,于是就下了个插件自己研究了下,发现,过于简单。首先导入autocomplete.js和css文件,这里提供了0积分下载地址,找不到资源的gg可以去这下载一下,https://download.csdn.net/download/W_DongQiang/1228...

2020-03-31 08:29:44 496

原创 Mycat实现postgresql的分库分表

mycat的介绍和安装这里就不扯了,百度介绍的都挺详细的。mycat支持常用的几种数据源,原理就是通过代码把不同的数据源代理成一个虚拟的mysql数据库,然后项目中直接访问虚拟的这个mysql数据源就可以了。对mycat的配置超级简单,只是单独修改conf中的几个xml文件即可实现不同的配置,其中最重要的几个xml包括:server.xml(数据库用户等基本设置配置)、schema.xml...

2019-09-23 17:11:23 6055 9

原创 使用Jna调用dll函数库(java使用jna对接硬件接口)

记录一次项目经历,新公司开发过程中遇到了硬件对接的需求,没有接触过这方面的我一想到这些就很头大,花了几天时间来专门研究一下这个。一般硬件购买后厂家都会附赠一些开发文档,有各种语言的demo,里面其实重要的只是dll里面的dll文件和接口文档,每一个dll文件都是一个单独的函数库,里面记录着对接硬件所需要的函数。每种开发语言基本上都有对dll调用的支持,最典型的就是js的activex控件,acti...

2019-08-15 09:15:43 3428 1

原创 layer弹出层的简单使用

一、layer的icon样式以上样式测试代码:layer.confirm('icon测试',{icon:1,title:'提示'},function(index){//dosomethingalert("确认");layer.close(index);});二、询问框官方案例://询问框layer.co...

2019-07-22 09:38:39 18362 3

原创 vue项目执行npm install 报错 MSBUILD : error MSB4132: 无法识别工具版本“2.0”。可用的工具版本为 "14.0", "4.0"

出现这个问题的原因就是你电脑的node环境和项目的原版本环境不一致,解决方法:1.下载Visual C++ 2015 Build Tools,安装时,选择自定义安装,勾选系统版本对应的WindowsSDKs ,直至安装完毕;2.下载 Python2.7,安装时,勾选将 Add Python.exe to PATH,即添加至环境变量,直至安装完毕(有则忽略);3.在报错的项目内,...

2019-06-26 15:10:50 7049

转载 windows下安装ElasticSearch的Head插件

es5以上版本安装head需要安装node和grunt(之前的直接用plugin命令即可安装)(一)从地址:https://nodejs.org/en/download/下载相应系统的msi,双击安装。(二)安装完成用cmd进入安装目录执行 node -v可查看版本号(三)执行 npm install -g grunt-cli 安装grunt ,安装完成后执行grunt -versi...

2019-06-06 10:49:51 335

原创 springmvc注解@ReuestBody接收参数问题小结

1.@ReuestBody接受单个参数的时候只能先使用Map<String,Object> params接收,然后再使用params.get("name")获取参数的值,比较坑,在这种情况下他不能和@RequestParam一样直接用String name接收参数。2.@RequestBody接受实体对象时Date参数不能解析问题,如果参数不完全符合yyyy-MM-dd HH:mm...

2019-06-05 16:52:17 1176

原创 SpringBoot使用WebSocket实现简易聊天室

直接上代码:pom配置&lt;?xml version="1.0" encoding="UTF-8"?&gt;&lt;project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://ma

2019-02-18 11:21:56 757

原创 上传附件小于0kb报错

记录一个项目中上传附件遇到的异常,报错代码如下所示,造成这个异常的原因一般都是由于上传的附件过小(或者上传的附件就是空的),因为java的框架(例如struts、springmvc)在上传附件的时候都会生成一个临时文件用于数据的读写,但当附件过小时程序就会默认不生成临时文件,所以肯定就找不到临时文件了。解决办法也很简单,只需要在上传附件的地方加上附件最小限制就可以了;如果你使用的是springmv...

2019-02-14 16:56:11 1204

原创 spring 中配置bean的scope作用域

最近在一个struts2项目中出现了一个诡异的问题,在服务器上部署完项目以后,其中一个action中的所有方法过一段时间就会出现404情况,百思不得其解,最后找到问题出在了spring的bean配置上。原因是action的bean配置默认是单例模式,而这个action中又有很多附件上传方法,这样的话就会又大量数据滞留在内存中,结果导致过一段时间action的bean就会崩溃。所以特地百度了点spr...

2019-02-12 09:27:46 799

原创 spring+cxf+maven集成webservice

记录一下webservice的cxf框架的简单实用。Apache CXF 是一个开源的 Services 框架,CXF 帮助您利用 Frontend 编程 API 来构建和开发 Services ,像 JAX-WS 。这些 Services 可以支持多种协议,比如:SOAP、XML/HTTP、RESTful HTTP 或者 CORBA ,并且可以在多种传输协议上运行,比如:HTTP、JMS 或...

2019-01-21 18:16:43 858 2

原创 ElasticSearch搜索引擎(二:使用ik分词器)

ik分词器下载地址:https://github.com/medcl/elasticsearch-analysis-ik/releases上一篇博客讲到es的一些简单增删改查操作,当然,我们使用es肯定是为了实现一个强大的搜索功能,一般真实项目中搜索肯定是根据一个字符串去全局中搜索相关的数据,然后根据匹配到的数据分页展示到前台,es当然具备这个功能。这里重点介绍ik的使用,es的高级查询可...

2019-01-08 14:37:53 1292

原创 ElasticSearch搜索引擎(一:es安装及增删改)

ElasticSearch下载地址:https://www.elastic.co/cn/downloads/elasticsearches是一个使用java编写的开源项目,所以需要jdk环境支持(且jdk版本须在1.8以上),安装方式简单粗暴,通过上方地址下载完压缩包后直接解压,进入bin目录执行elasticsearch.bat或elasticsearch.sh脚本即可运行搜索引擎。下面只是...

2019-01-08 10:37:24 896 1

原创 Tomcat+Redis+Nginx实现负载均衡(session共享)

Session共享肯定是Tomcat集群必不可少的步骤,而在内存服务器中Redis又是很强势的一个服务器,所以今天特地使用Tomcat+Nginx+Redis做了一个负载均衡的Tomcat集群demo,以供参考。其中,Tomcat的作用就不必多说了,Nginx作为一个万能的中间件,也是经常可以在真实项目中看到他的身影,nginx可以做静态资源服务器、负载均衡、反向代理等等,在这里我们用到的主要...

2018-12-25 15:18:12 1512 6

原创 ElasticSearch搜索引擎(简介)

 ElasticSearch是什么?ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。我们建立一个网站或应用程序,...

2018-12-24 17:19:18 766 1

原创 FreeMarker简单使用

什么是 FreeMarker?FreeMarker 是一款模板引擎: 即一种基于模板和要改变的数据, 并用来生成输出文本(HTML网页,电子邮件,配置文件,源代码等)的通用工具。 它不是面向最终用户的,而是一个Java类库,是一款程序员可以嵌入他们所开发产品的组件。FreeMarker项目中主要用途就是来渲染一些静态文件,例如html静态页面、word等等(项目运用模块:栏目发布,报告生...

2018-12-24 16:51:12 666

原创 阿里DRUID数据库连接池配置

DRUID介绍     Druid是阿里实现的一个开源数据库连接池,在功能、性能、扩展性方面,都超过其他数据库连接池,包括DBCP、C3P0、BoneCP、Proxool、JBoss DataSource。同时Druid还提供了封装的sql监控,url监控,session监控等等监控功能,方便开发者实时查看服务器的当前负载及运行状态。  配置参数 和其它连接池一样DRUID的...

2018-12-17 14:34:05 1142

转载 手动加入oracle驱动到maven仓库

由于Oracle授权问题,Maven3不提供Oracle JDBC driver,为了在Maven项目中应用Oracle JDBC driver,必须手动添加到本地仓库。手动添加到本地仓库需要本地有oracle驱动包,有两种方式获取oracle的驱动包:一种是去oracle官网下载,另一种是如果本地安装了对应版本的oracle,可以在安装文件中找到。一、下载oracle驱动包  1.o...

2018-11-06 13:57:32 1201

转载 java框架学习

一、SpringMVChttp://blog.csdn.net/evankaka/article/details/45501811Spring Web MVC是一种基于Java的实现了Web MVC设计模式的请求驱动类型的轻量级Web框架,即使用了MVC架构模式的思想,将web层进行职责解耦,基于请求驱动指的就是使用请求-响应模型,框架的目的就是帮助我们简化开发,Spring Web MV...

2018-11-02 15:05:24 752

原创 Oracle 建立索引及SQL优化

数据库索引:索引有单列索引复合索引之说如何某表的某个字段有主键约束和唯一性约束,则Oracle 则会自动在相应的约束列上建议唯一索引。数据库索引主要进行提高访问速度。建设原则: 1、索引应该经常建在Where 子句经常用到的列上。如果某个大表经常使用某个字段进行查询,并且检索行数小于总表行数的5%。则应该考虑。 2、对于两表连接的字段,应该建立索引。如果经常在某表的一个字段...

2018-10-18 11:23:13 335

原创 如何将.class文件夹打成jar?

打开cmd,切换到需要打成jar的文件夹根目录,输入命令  jar -cvf  jarname.jar cn   回车即可。jarname为jar名称,cn为需要压缩的文件夹名称

2018-08-30 10:20:29 749

原创 jq实现右键点击弹出菜单

&lt;script type="text/javascript" src="js/jquery-1.11.1.min.js"&gt;&lt;/script&gt;&lt;script type="text/javascript"&gt; //屏蔽浏览器右键菜单document.oncontextmenu = function().{ return false; } //按..

2018-08-28 16:02:41 2229

转载 修改tomcat部署的web项目浏览器图标显示

设置的方法主要有两种:闲话少说,开门见山:一、是最快捷简单的办法 &lt;head&gt; &lt;meta http-equiv="Content-Type" content="text/html; charset=GB2312"&gt; &lt;link rel="shortcut icon" href="http://www.weathe.

2018-08-28 14:44:27 3830 7

转载 Elastic Search 概述

0. 带着问题上路——ES是如何产生的?(1)思考:大规模数据如何检索?如:当系统数据量上了10亿、100亿条的时候,我们在做系统架构的时候通常会从以下角度去考虑问题: 1)用什么数据库好?(mysql、sybase、oracle、达梦、神通、mongodb、hbase…) 2)如何解决单点故障;(lvs、F5、A10、Zookeep、MQ) 3)如何保证数据安全性;(热备、冷备、异...

2018-08-28 13:52:35 582

转载 java爬虫模拟jquery点击

package com.teamdev.jxbrowser.chromium.demo_sanya12.xiecheng.evment; import java.awt.BorderLayout; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException; im...

2018-08-21 14:34:58 2281

原创 oracle跨库访问——dblink的使用

在写程序的时候多个服务器集成的项目也不少见,那么怎么实现多个服务器不同数据源的跨库访问操作数据呢。oracle的数据库中有一个插件叫dblink(全称:database links),这个插件里可以建立其他数据连接中的代理对象,然后你需要的一系列操作都可以直接操作建立的dblink对象来完成。具体过程: 第一步:赋予权限         在创建database link之前,我们需...

2018-08-06 15:35:52 2099

转载 tomcat性能小优化

闲谈Tomcat性能优化Tomcat在各位JavaWeb从业者常常就是默认的开发环境,但是Tomcat的默认配置作为生产环境,尤其是内存和线程的配置,默认都很低,容易成为性能瓶颈.幸好Tomcat还有很多的提升空间.下文介绍一下Tomcat优化,可以分为内存,线程,IO.一:Tomcat内存优化,启动时告诉JVM我要一块大内存(调优内存是最直接的方式)Windows 下的catal...

2018-07-26 14:32:16 301

原创 Activiti指定组用户

方式一:定义流程时指定组任务候选人(该方式不够灵活,使用较少)方式二:使用流程变量指定组任务候选人流程图代码&lt;?xml version="1.0" encoding="UTF-8"?&gt;&lt;definitions xmlns="http://www.omg.org/spec/BPMN/20100524/MODEL" xmlns:xsi="http://www....

2018-07-26 13:53:30 2781

转载 WebService-CXF

搭建一个简单的cxf使用环境1)首先呢,还是包的问题,在http://cxf.apache.org/download.html这里可以下到最新版的CXF,当然,我用的是最新版的。接下来还是那句废话,建WEB项目,放入JAR包。而JAR包我们就不选择了,一堆全部放入。我们会看到它包含了spring的JAR包,后面当我们需要把CXF作为WEB项目部署时,就需要用到spring的配置文件,这个后...

2018-07-26 11:02:44 305

转载 bootstrap-table的简单使用

官网地址: http://bootstrap-table.wenzhixin.net.cn/zh-cn/Github地址: https://github.com/wenzhixin/bootstrap-table官网介绍: 基于 Bootstrap 的 jQuery 表格插件,通过简单的设置,就可以拥有强大的单选、多选、排序、分页,以及编辑、导出、过滤(扩展)等等的功能。主要功能...

2018-07-26 10:50:10 701

原创 java的四种线程池配置

1、new Thread的弊端执行一个异步任务你还只是如下new Thread吗? 1 2 3 4 5 6 7 8 new Thread(new Runnable() {     @Override   public void run() {     // TODO Auto...

2018-07-26 10:49:53 1623

转载 Eclipse JAVA文件注释乱码

 Eclipse JAVA文件注释乱码  将别人的项目或JAVA文件导入到自己的Eclipse中时,常常会出现JAVA文件的中文注释变成乱码的情况,主要原因就是别人的IDE编码格式和自己的Eclipse编码格式不同。总结网上的建议和自己的体会,可以参考以下几种解决方式:1 改变整个文件类型的编码格式   1) eclipse-&gt;window-&gt;preferences...

2018-07-26 10:49:22 331

原创 android内嵌h5页面

流程:新建项目–MainActivity中放入一个WebView–WebView加载主页新建项目:右键左侧空白&gt;new project&gt;android&gt;android application project,如图1  键入项目名,由于是简单测试 其他不管&gt;Next如图2  取消Create custom launcher icon  前面的勾选(就...

2018-07-26 10:48:56 1256

原创 activiti与实际业务关联

今天以请假为例,我们在做工作流的时候一定是需要将我们的业务和工作流来关联起来的,而Activiti给我们提供了一个便利就是Business_key,而这个字段就是专门用来存储我们的业务关键字。 例如我们有一个请假的业务,而我的请假信息都已经编写到数据库的表(tb_leaveBill)中了,但是我怎么样把我的请假信息关联到activiti的数据库表中,这个时候可以用给定的Act...

2018-07-25 15:10:08 6593 8

jquery.autocomplete.js

autocomplete.js是一个基于jquery的js插件,主要可以在html中实现input框的联想功能,与平时开发手写的for循环相比,autocomplete.js插件使用更为便捷,加上配套的ui,基本可以0代码实现快速美观的input联想。

2020-03-31

Reptilian.zip

java写的一个简单的爬虫小程序,支持虚拟ip代理、文件保存、网页源代码解析等。网络爬虫主要功能就是对网页内容进行爬取,然后根据特定需求对内容进行过滤分析。 针对网页内容爬取,假设需求为要对一个网站进行全站爬取,将爬取的文件按类型保存在本地磁盘,并提供配置网站爬取的最大层次、最大链接数、爬取类型范围等。

2019-09-27

nginx-1.14.0

nginx映射静态资源配置,1.14.0版本的nginx,其中详细记录nginx的映射配置含注释

2019-01-09

tomcat集群demo

博主使用Tomcat+Redis+Nginx实现的一个简单的Tomcat集群demo,包含Nginx和Tomcat配置

2018-12-25

tomcat使用redis实现session共享

多个tomcat实现项目的负载均衡,首先需要解决的是tomcat之间的session共享问题,本文件为redis实现session共享所需jar

2018-12-25

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除