vitaair-CSDN博客

原创 Oracle 查询重复字段

select 字段名,count(*) from table group by 字段名 having count(*) > 1select name1,name2,count(*) from table group by name1,name2 having count(*) > 1

2020-11-27 15:14:26 606

排除特殊工作日和休息日下面的是按照所有的周一到周五休息、周六到周日工作来计算的，但是遇到国家法定节假日也需要进行特殊对待。package cn.xm.exam.utils;import java.text.ParseException;import java.util.ArrayList;import java.util.Calendar;import java.util.Date;import java.util.List;import org.apache.commons.lan

2020-11-27 15:13:06 891

原创 Java计算时间区间内工作日天数

计算时间区间内的工作日天数，很明显正常情况下，周一到周五工作，周六周日休息，但是在这其中有些日子需要被特殊对待，比如法定节假日，或者一些因为节假日被调休的周末需要工作，再或者根据公司单位的要求不同设定特殊的工作或休息日。import org.apache.commons.lang3.time.DateFormatUtils;import java.text.SimpleDateFormat;import java.util.*;/** * 计算工作日util * 计算工作日util

2020-11-27 15:09:22 1121 1

原创 ORACLE数据库查询表名及表备注，字段名及字段备注SQL

-- 查询指定表里字段及字段注释select column_name,data_type,data_length,DATA_PRECISION ,DATA_SCALEfrom all_tab_columnswhere table_name = UPPER('test11');-- 查询字段及字段注释select COLUMN_NAME,COMMENTSfrom user_col_commentswhere TABLE_NAME = UPPER('test11');-- 查询所有表及表注.

2020-11-23 08:26:41 5808

原创 ObjectExcelView，EXCEL导出工具类，使用于POI-3.13版本

import org.apache.commons.lang3.StringUtils;import org.apache.poi.hssf.usermodel.*;import org.apache.poi.ss.usermodel.HorizontalAlignment;import org.apache.poi.ss.usermodel.VerticalAlignment;import org.springframework.web.servlet.view.document.Abstrac.

2020-11-23 08:22:14 447 1

原创 ObjectExcelView，EXCEL导出工具类，适用于POI-3.17

import org.apache.commons.lang3.StringUtils;import org.apache.poi.hssf.usermodel.*;import org.apache.poi.ss.usermodel.*;import org.apache.poi.xssf.streaming.SXSSFCell;import org.apache.poi.xssf.streaming.SXSSFWorkbook;import org.apache.poi.xssf.userm.

2020-11-23 08:17:54 522 1

原创 DBUtil工具类，适用于ORACLE数据库

import lombok.extern.slf4j.Slf4j;import org.apache.commons.lang3.StringUtils;import javax.annotation.Resource;import javax.sql.DataSource;import java.sql.*;import java.util.ArrayList;import java.util.HashMap;import java.util.List;import java.util.

2020-11-23 08:15:37 380 1

原创 Docker安装redis

1.首先下载redis镜像：docker pull redis2.然后创建一个文件夹用来存放redis的配置文件、数据等(也就是所谓的挂载目录,作用就是将此目录中的文件或文件夹覆盖掉容器内部的文件或文件夹)3.在上面创建的目录下使用命令启动redis容器docker run -d -p 6379:6379 -v $PWD/conf/redis.conf:/usr/local/etc/redis/redis.conf -v $PWD/data:/data --name docker-re

2020-11-03 23:00:27 188

原创 DATAX 实现txt数据迁移到mysql数据库，具体实例

1.txt2mysqlJob.json{ "job": { "content": [ { "reader": { "name": "txtfilereader", "parameter": { "path": ["c:/data/aa.txt"], "...

2020-11-03 17:18:10 3582

原创 DATEUTIL计算时间进度

开始时间：2020 - 10 - 20结束时间：2020 - 10 - 22当前时间： 2020 - 10 -21计算公式：（结束时间 - 当前时间）/（结束时间 -开始时间）= 1/2 = 50%

2020-11-03 10:01:41 2607

原创格式化字符串日期

import java.text.ParseException;import java.text.SimpleDateFormat;public class DateUtil { private static final org.slf4j.Logger log = org.slf4j.LoggerFactory.getLogger( DateUtil.class); /** * 根据日期格式化指定类型 */ public s.

2020-11-03 08:32:11 1197

原创 Eclipse配置Dark主题

假如Eclipse没有自带的Dark主题，那么可以再Eclipse Marketplace里下载。 Help下，打开Eclipse Marketplace 在搜索框里输入“theme”，按enter开始搜索结果里有多个配色主题，可以选择第一个“Color IDE Pack”，点击install 弹出一个警告（你所安装的内容未认证，是否继续安装），点击“ok”。询问是否信任此证书，勾选，并点击“ok” Eclipse右下角会显示安装进度，文件不大，安装速度很快。

2020-11-01 12:19:05 999 1

原创 SpringBoot整合Swagger3生成接口文档

前后端分离的项目，接口文档的存在十分重要。与手动编写接口文档不同，swagger是一个自动生成接口文档的工具，在需求不断变更的环境下，手动编写文档的效率实在太低。与swagger2相比新版的swagger3配置更少，使用更加方便。一、pom文件中引入Swagger3依赖<dependency> <groupId>io.springfox</groupId> <artifactId>springfox-boot-starter&l

2020-11-01 11:39:16 1838

原创 Spring Boot整合Druid连接池以及开启数据库监控功能

1.application.properties配置：############################################################## oracle数据库配置#############################################################spring.jpa.database=oraclespring.datasource.driver=oracle.jdbc.OracleDriverspring..

2020-11-01 11:22:28 202 2

原创 Zookeeper单机以及集群的使用

1.1 Zookeeper介绍Zookeeper是分布式应用程序的协调服务框架，是Hadoop的重要组件。ZK要解决的问题：1.分布式环境下的数据一致性。2.分布式环境下的统一命名服务3.分布式环境下的配置管理4.分布式环境下的分布式锁单台机器使用的锁：同步代码块、重入锁。但是在分布式环境这个锁就发挥不出来作用。分布锁分为共享锁和排他锁。5.集群管理问题1.2...

2019-05-06 09:31:27 398

原创 idm 使用本地hosts 破解步骤

第一步进入电脑etc文件夹下 C:\WINDOWS\system32\drivers\etc第二步修改hosts,添加如下： 127.0.0.1 registeridm.com 127.0.0.1 www.registeridm.com 127.0.0.1 www.internetdownloadmanager.com...

2019-04-21 02:54:13 11356 5

原创基于SpringBoot 2.0的spring cloud : 网关Zuul

总的pom如下:pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation=&quot

2018-12-14 17:10:28 2008

原创 springboot配置https

# springboot配置httpsHTTP与 HTTPS区别首先，来简单了解一下 HTTP 与 HTTPS 吧。超文本传输协议 HTTP 协议被用于在 Web 浏览器和网站服务器之间传递数据。HTTP 协议是以明文方式发送数据，不提供任何方式的数据加密，如果攻击者截取了 Web 浏览器和网站服务器之间的传输报文，就可以直接读懂其中的信息，因此 HTTP 协议不适合传输...

2018-11-22 17:14:33 623

原创 Jeesite导出Excel源码解析

2018-10-30 10:04:30 613

原创 pip的多版本安装以及pip多版本软件安装

pip多版本安装下载pip->解压->进入文件夹python27 setup.py install 进入Scripts文件->pip重命名pip27python35 setup.py install 进入Scripts文件->pip重命名pip35python36 setup.py install 进入Scripts文件->pip重命名pip36多版本的...

2018-10-15 09:53:29 952

原创 springboot-文件下载

文件下载@Log("文件下载")@RequestMapping(value = "download", method = RequestMethod.GET)public String download(HttpServletResponse response) { String fileName = "1.jpg"; String basePath = "c://dat...

2018-09-25 12:35:59 323

原创通过文件url，实现文件下载

通过url实现文件下载@Log("下载文件")@ResponseBody@RequestMapping(value = "/download", method = RequestMethod.GET)public R Download(HttpServletResponse response,Long id) { String fileUrl = fileService.get...

2018-09-25 11:28:41 10074 2

原创 springboot整合redis,由无密码配置更改为有密码配置

springboot整合redis,由无密码配置更改为有密码配置：springboot版本：<parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <v...

2018-09-20 14:54:32 22068 1

原创 Mysql查询数据时，自动为结果编上序号

说明：select @变量名是定义变量名的方式select @i:=1 在开始是定义一个变量i，并且递增，使用select语句对用户变量进行赋值时，只能使用”:=”方式每次执行查询语句获取结果后需要重置为0，在表名后用逗号分格下使用 (SELECT @i:=0) as i 就可以了SQL: SELECT (@i:= @i+1) as rank,priceFROM...

2018-08-02 13:32:33 10995

转载 linux下的docker安装

1.在vm中装好好centos后,更新内核　　运行docker需要内核版本为3.8或者更高的版本,内核必须支持一种合适的存储驱动(Drivice Mapper、AUFS、vfs、btrfs、ZFS),默认存储驱动为Drivice Mapper或AUFS且内核必须开启cgroup和namespce功能.　　uname -r可以查看内核版本.　　内核升级2.安装docker　　安装docker　　yu...

2018-07-03 10:56:32 208

转载 Windows下载安装docker详细步骤

Windows下载安装docker详细步骤2017年08月21日 09:34:09阅读数：28821.Docker溯源　　Docker的前身是名为dotCloud的小公司，主要提供的是基于 PaaS（Platform as a Service，平台及服务）平台为开发者或开发商提供技术服务，并提供的开发工具和技术框架。因为其为初创的公司，又生于IT行业，dotCloud受到了IBM，亚马逊，goog...

2018-07-03 10:37:44 4136 1

转载 windows下安装docker详细步骤

1.Docker溯源　　Docker的前身是名为dotCloud的小公司，主要提供的是基于 PaaS（Platform as a Service，平台及服务）平台为开发者或开发商提供技术服务，并提供的开发工具和技术框架。因为其为初创的公司，又生于IT行业，dotCloud受到了IBM，亚马逊，google等公司的挤压，发展举步维艰。于是，在2013年dotCloud 的创始人，年仅28岁的Solo...

2018-07-03 10:35:15 69627 18

原创 python2.7简单识别图片验证码

环境：windows7，python2.7，pip需要安装：pillow，pytesser ,Tesseract，tesseract-ocrpillow的安装 pip install pillowTesseract的安装 pip install Tesseractpytesser的安装： https://storage.googleapis.com/google-code-archive-down...

2018-06-07 09:24:09 736

转载 centos 下yum安装pip

centos下安装pip时失败：[root@wfm ~]# yum -y install pipLoaded plugins: fastestmirror, refresh-packagekit, securityLoading mirror speeds from cached hostfile* base: mirrors.tuna.tsinghua.edu.cn* extras: mirro...

2018-05-28 16:37:26 533

转载使用Sqoop将数据在HDFS与MySQL互导

1.去官网下载sqoop，直接百度即可2.解压后进入conf目录[plain] view plain copyguo@drguo1:/opt/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/conf$ cp sqoop-env-template.sh sqoop-env.sh 3.在sqoop-env.sh添加各种home[plain] view plain copy#S...

2018-05-28 10:31:39 382

转载 Sqoop-1.4.6安装配置及Mysql->HDFS->Hive数据导入（基于Hadoop2.7.3）

阅读数：1434写在前面本博客基于的环境如下： OS版本： Ubuntu16.04 Hadoop版本： Hadoop-2.7.3 Hbase版本： Hbase-1.3.1 Hive版本： Hive-2.1.1 Pig版本： Pig-0.16.0 Zookeeper版本： Zookeeper-3.4.9 Sqoop版本： Sqoop-1.4.6一、Sqoop安装1、下载下载地址： http://mi...

2018-05-28 10:26:49 654

转载 Sqoop-1.4.6安装配置及Mysql->HDFS->Hive数据导入（基于Hadoop2.7.3）

写在前面本博客基于的环境如下： OS版本： Ubuntu16.04 Hadoop版本： Hadoop-2.7.3 Hbase版本： Hbase-1.3.1 Hive版本： Hive-2.1.1 Pig版本： Pig-0.16.0 Zookeeper版本： Zookeeper-3.4.9 Sqoop版本： Sqoop-1.4.6一、Sqoop安装1、下载下载地址： http://mirror.bit...

2018-05-25 18:22:01 319

转载 Windows下使用Hadoop2.6.0-eclipse-plugin插件

摘要: 经历过痛苦的过程，在windows下终于可以使用eclipse的hadoop2.6.0插件进行远程调试Mapreduce了，本文大部分内容是摘自其余的博客，但是后续也有补充完整自己在整个过程中遇到的其余问题，希望本文能够比较完善的解决hadoop2.6.0在eclipse运行的问题。本人没有经过重新编译，都是在网上找的现成的，但是也把编译过程整理在这里。首先说一下本人的环境:Windows...

2018-05-25 14:42:34 4204

转载 windows远程调试hadoop权限问题

阅读数：2376为了开发方便想要直接在windows下开发，遇到了访问权限的问题。于是搜索了下解决方案，大约有两种1 不检查用户权限修改conf/core-site.xml，不检查权限将 dfs.permissions属性修改为false这种办法过于粗暴，仅仅开发环境可以使用。说以需要采用别的方法。2 修改用户权限这种方法文雅了很多，而且更加安全。我们观察hadoop hdfs中的文件发现了这...

2018-05-24 08:54:12 471

原创 HIVE

一、HIVE是什么开发调试麻烦只能用java开发需要对hadoop的底层及api比较了解才能开发复杂代码 HQL Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduc...

2018-05-07 07:29:38 265

原创 HBASE

HBASE一、HBASE概述 (1)概述基于hadoop的数据库工具来源于google的一片论文BigTable 后来由Apache做了开源实现就是HBase 是一种 NoSQL 非关系型的数据库不符合关系型数据库的范式适合存储半结构化非结构化的数据适合存储稀疏的数据空的数据不占用空间面向列(族)进行存储提供实时增删改查的能力是一种真正的数据库 ...

2018-05-07 07:26:36 215

原创实时分析

实时分析 1.kafka中创建主题 2.storm从kafka中消费数据 storm提供了storm从kafka消费数据的jar包 storm开发包 kafka开发包 storm连接kafka的开发包其他包 **注意可能要删除重复的log4j相关的包导入相关jar包按照文档编写代码即可实现storm从kafka消费数据方式一：可以自己开发spout利用kafk...

2018-05-07 07:23:57 1273

原创离线数据分析

离线数据分析 1.hive创建外部分区表管理数据 hdfs有数据了在hive中创建外部表来关联数据进行数据的清洗处理在hive中创建外部分区表管理数据 EXTERNAL 关键字可以让用户创建一个外部表，在建表的同时指定一个指向实际数据的路径（LOCATION），Hive 创建内部表时，会将数据移动到数据仓库指向的路径；若创建外部表，仅记录数据所在的路径，不对数据的位置做任何改变。...

2018-05-07 07:16:43 1778

原创 flume收集日志

flume收集日志 #flume测试代码 #配置Agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 #配置source a1.sources.r1.type = avro a1.sources.r1.bind = 0.0.0.0 a1.sources.r1.port = 44444 a1.sources.r1.intercep...

2018-05-07 07:14:59 257

原创日志服务器应用开发

日志服务器应用开发在日志服务器中整理日志信息利用Log4j输出方式1：日志服务器将日志生成到文件中 flume来获取文件中的日志信息优点：数据先落地一次所以即使出现意外情况仍然可以从文件中恢复之前的日志缺点：数据落地扫描都需要时间对实时性有一定影响坑： log4j需要不停写入数据而spooldirsource 要求观察的目录不能出现重名文件及...

2018-05-07 07:14:01 423

空空如也

空空如也