自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Jbase的博客

jbase的博客

  • 博客(67)
  • 资源 (8)
  • 收藏
  • 关注

原创 Oracle查询重复数据和去重,亿级数据去重方法

1. 单字段重复 查询重复数据 -- 假设 ID 重复SELECT ID FROM your_table GROUP BY ID HAVING COUNT(ID)>1; 去重,保留ROWID最小的数据 DELETE FROM your_table a WHERE a.id IN ( SELECT ID FROM your_table GROUP BY ID HAVING COUNT( ID ) > 1 ) AND ROWI.

2020-10-19 17:01:23 47

原创 ZooKeeper搭建集群操作日志

ZooKeeperZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。(百度百科)1、下载与解压下载:apache-zookeeper-3.5.5.tar.gz解压:tar -xzvf apache-zookeeper-3.5.5.tar.gz -C /usr/local/zookeeper进

2020-10-10 13:10:55 34

原创 kaldi中文语音识别

目录kaldi是什么kaldi与中文语音识别编译与安装kaldi用kaldi进行中文语音识别本文记录了我编译安装kaldi和两种用kaldi进行中文语音识别的过程,包括如何kaldi的简单介绍、环境的配置、相关模型的训练、导入,算是自己近期学习的一个总结,也希望可以帮助到需要的人~~~kaldi是什么kaldi是一个用C++写的语音识别工具包。kaldi旨在供语音识别研究员使用。当然,kaldi也可以用作声纹识别。关于他的详细介绍可以访问kaldi的官方文档kaldi与中文语音识别感谢很多

2020-06-12 14:30:35 405

原创 用 Java 实现人脸识别功能

引言人脸识别SDK人脸识别技术是很复杂的,自己用Java手撕一个识别算法有点不切实际,毕竟实力不允许我这么嚣张,还是借助三方的SDK吧!找了一圈发现一个免费的人脸识别SDK:ArcSoft:,地址:https://ai.arcsoft.com.cn。官网首页 -> 右上角开发者中心 -> 选择“人脸识别” -> 添加SDK,会生成APPID、SDK KEY后续会用到,根据需要选择不同的环境(本文基于windows环境),然后下载SDK是一个压缩包。Java项目搭建.

2020-05-12 15:19:59 703 1

原创 ELK(ElasticSearch,Logstash,Kibana)入门详解

ELK由ElasticSearch,Logstash和Kiabana三个开源工具组成。一,ELK概述1 ,ELK 简介ElasticSearch:是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制, restful风格接口,多数据源,自动搜索负载等。Logstash:是一个完全开源的工具,他可以对你的日志进行收集,分析,并将其存储供以后使用。...

2020-04-16 09:00:06 89

原创 Centos7.0上安装Docker

Docker的三大核心概念:镜像、容器、仓库镜像:类似虚拟机的镜像、用俗话说就是安装文件。容器:类似一个轻量级的沙箱,容器是从镜像创建应用运行实例,可以将其启动、开始、停止、删除、而这些容器都是相互隔离、互不可见的。仓库:类似代码仓库,是Docker集中存放镜像文件的场所。简单介绍一下在CentOS上安装Docker。1.检查内核版本,返回的值大于3.10即...

2020-04-03 18:12:31 99

原创 springboot集成mongodb,实现文件上传下载

一、linux上安装mongodb1、下载安装包:https://www.mongodb.com/download-center#atlas,上传包mongodb-linux-x86_64-rhel70-3.6.5.tgz到服务器2、创建mongodb文件夹,作为安装目标文件夹cd /usr/local;mkdir mongodb3、解压,移动解压缩后的文件夹下的所有文件到mo...

2020-04-03 15:02:24 526

原创 Linux系统下部署安装mongoDB

##安装启动MongoDB1)首先需要安装相关软件包yum -y groupinstall "Development tools"yum -y install openssl openssl-develtar zxf mongodb-linux-x86_64-rhel62-4.0.2.tgzmv mongodb-linux-x86_64-rhel62-4.0.2 /usr/local...

2020-04-03 14:41:18 92

原创 Linux上安装 jenkins日记

一、什么是持续集成?(1)Continuous integration(CI)持续集成是一种软件开发实践,即团队开发成员经常集成他们的工作,通常每个成员至少集成一次,也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建(包括编译,发布,自动化测试)来验证,从而尽快地发现集成错误。许多团队发现这个过程可以大大减少集成的问题,让团队能够更快的开发内聚的软件。(2)没有持续集成...

2020-04-02 16:45:26 54

原创 玩转Kettle8

前提Kettle是纯Java编写的ETL开源工具,目前Kettle7和Kettle8都需要Java8或者以上才能正常运行。所以开运行Kettle前先检查Java环境是否正确配置,Java版本是否是8或者以上。Kettle安装1)创建Kettle的目录,并将Kettle的zip包解压到Kettle目录下2)查看一下sh文件使用都有执行的权限,如果没请加上。3)执行ki...

2020-03-31 09:25:33 194

原创 新手制作--U盘安装CentOS7.6

今天在自己的一台笔记本电脑装一下CentOS7.6,安装成功,操作日记录如下:step1. 下载 CentOS下载CentOS7.6镜像,我是在啊里镜像下载的,附上啊里镜像地址:https://mirrors.aliyun.com/centos/选择7.6版本进行下载。下载完之后,再下载一个工具软碟通,链接: https://pan.baidu.com/s/1M9eJjdfsNcrY...

2020-02-04 13:52:42 270

原创 Centos7搭建git服务器

一、 git服务安装1.安装git服务# yum info git //查看 yum 源仓库的 Git 信息可以看出,截至目前,yum 源仓库中最新的 Git 版本才 1.8.3.1,而查看最新的 Git 发布版本,已经 2.9.2 了。2.依赖库安装# yum install curl-devel expat-devel gettext-devel openssl-devel...

2020-01-19 17:51:51 180

原创 kerberos用户安全认证指南

原理介绍kerberos主要是用来做网络通信时候的身份认证,最主要的特点就是“复杂”。所以在入坑kerberos之前,最好先熟悉一下其原理。这里推荐一些别人写的文章内容来进行简单汇总: 链接kerberos认证原理用对话场景来解释kerbeors的设计过程 简图 kerberos认证流程简图 几个概念的补充 principal 认证的主体,简单来说就...

2019-12-20 13:59:25 197

转载 基于Kafka+Flink+Redis的电商大屏实时计算案例

一年一度的双11又要到了,阿里的双11销量大屏可以说是一道特殊的风景线。实时大屏(real-time dashboard)正在被越来越多的企业采用,用来及时呈现关键的数据指标。并且在实际操作中,肯定也不会仅仅计算一两个维度。由于Flink的“真·流式计算”这一特点,它比Spark Streaming要更适合大屏应用。本文从笔者的实际工作经验抽象出简单的模型,并简要叙述计算流程(当然大部分都是源码)...

2019-12-20 13:14:52 34

原创 Cloudera Manager安装日记

一、Cloudera Manager介绍    Cloudera Manager(简称CM)是Cloudera公司开发的一款大数据集群安装部署利器,这款利器具有集群自动化安装、中心化管理、集群监控、报警等功能,使得安装集群从几天的时间缩短在几小时以内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。所以为了同学们能够快速搭建该平台,写出以下教程仅供参考,有什么不足之处请提出,加以改正...

2019-12-16 17:48:56 96

原创 Cloudera Manager(简称CM)+CDH构建大数据平台

一、Cloudera Manager介绍    Cloudera Manager(简称CM)是Cloudera公司开发的一款大数据集群安装部署利器,这款利器具有集群自动化安装、中心化管理、集群监控、报警等功能,使得安装集群从几天的时间缩短在几小时以内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。所以为了同学们能够快速搭建该平台,写出以下教程仅供参考,有什么不足之处请提出,加以改正...

2019-12-16 17:14:26 63

原创 如何制作 RedHat Linux6.7 系统 U盘安装盘

1、首先打开UltraISO软件,尽量下载最新版的,小编曾用某个旧版的UltraISO,制作的安装盘,不能不能识别磁盘,安装失败!2、点击工具栏中的第二个打开镜像文件工具,如图红色方框标志按钮,然后在打开的“打开ISO文件”对话框中找到我们下载好的Ubuntu镜像文件,之后点右下方的“打开”按钮3、打开镜像文件之后,在上方的列表中就会出现对打开的镜像文件的预览左边显示的是具体的目...

2019-09-03 11:19:02 1689

原创 linux环境下Hadoop+hive的安装

一、前期工作:1.修改linux ip 手动修改 也可以命令修改vim/etc/sysconfig/network-scripts/ifcfg-eth02.修改主机名(注意ubuntu版本方式)vim/etc/sysconfig/network 将之前的名字更改为itcast013.修改主机名与 ip ...

2019-07-12 16:26:50 695

转载 一、HiveSQL基本操作

文章目录一、Hive数据类型1、基本类型2、复杂类型二、存储格式1、textfile2、SequenceFile3、RCFile4、ORCFile5、Parquet三、操作数据库1、创建数据库2、删除数据库3、进入数据库四、操作表属性1、显示数据库下面所有表2、删除表3、显示建表结果4、显示表分区5、修改表属性6、表重命名7、新增列8、删除列9、修改列...

2019-07-11 14:50:09 246

原创 Hive数据库和表操作命令参考

Hive的数据库和表操作一、Hive数据库操作1.1 查看数据库show databases;使用like关键字模糊匹配# 显示包含db_前缀的数据库名称show databases like 'db_*';1.2 使用数据库use database名称1.3 创建数据库create database dbname;通过location指定数据库路径create ...

2019-07-11 14:15:46 252

原创 Oracle 的merge into用法实例

merge into的形式: MERGEINTO [target-table] AUSING [source-tablesql] BON([conditional expression]and [...]...) WHENMATCHEDTHEN [UPDATEsql] WHENNOTMATCHEDTHEN [INSERTsql]...

2019-06-26 13:32:54 46

转载 oracle表空间表分区详解及oracle表分区查询使用方法

oracle表空间表分区详解及oracle表分区查询使用方法此文从以下几个方面来整理关于分区表的概念及操作:1.表空间及分区表的概念2.表分区的具体作用3.表分区的优缺点4.表分区的几种类型及操作方法5.对表分区的维护性操作.表空间及分区表的概念表空间:是一个或多个数据文件的集合,所有的数据对象都存放在指定的表空间中,但主要存放的是表, 所以称作表空间。分区表:当表中的数据...

2019-06-17 16:12:33 971

转载 SpringCloud教程第10篇:高可用的服务注册中心(F版本)

一、准备工作Eureka can be made even more resilient and available by running multiple instances and asking them to register with each other. In fact, this is the default behaviour, so all you need to do t...

2019-06-13 17:35:36 54

转载 Java Token的原理和生成使用机制

1、什么是Cookie?cookie指的就是浏览器里面能永久存储数据的一种数据存储功能。cookie由服务器生成,发送给浏览器,浏览器把cookie以kv形式保存到某个目录下的文本文件内,下一次请求同一网站时会把该cookie发送给服务器。由于cookie是存在客户端上的,所以浏览器加入了一些限制确保cookie不会被恶意使用,同时不会占据太多磁盘空间,所以每个域的cookie数量是有限的。...

2019-06-13 16:00:45 14826 2

原创 JAVA后端生成Token(令牌),用于校验客户端

1.概述:在web项目中,服务端和前端经常需要交互数据,有的时候由于网络相应慢,客户端在提交某些敏感数据(比如按照正常的业务逻辑,此份数据只能保存一份)时,如果前端多次点击提交按钮会导致提交多份数据,这种情况我们是要防止发生的。2.解决方法:①前端处理:在提交之后通过js立即将按钮隐藏或者置为不可用。②后端处理:对于每次提交到后台的数据必须校验,也就是通过前端携带的令牌(一串唯一字符串...

2019-06-13 15:59:07 12416 5

转载 Java虚拟机:JVM性能调优监控工具jps、jstack、jmap、jhat、jstat、hprof使用详解

JVM性能调优监控工具jps、jstack、jmap、jhat、jstat、hprof使用详解现实企业级Java应用开发、维护中,有时候我们会碰到下面这些问题:OutOfMemoryError,内存不足 内存泄露 线程死锁 锁争用(Lock Contention) Java进程消耗CPU过高 ……这些问题在日常开发、维护中可能被很多人忽视(比如有的人遇到上面的问题只是重启服务器或...

2019-06-12 12:02:51 101

原创 spring4.3.7整合quartz2.2.3

项目背景首先引入Quartz的jar包在数据库中建立Quartz相关的表新建Quartz相关的配置文件quartzproperties整合Spring和Quartz添加定时任务作为示例service只写了一个方法接口就不写了定时任务具体的业务逻辑重点来了因项目需要,在SSM中整合quartz,其中遇到了几处很坑的地方,作为记录,方便以后查看。项目背景:​ Maven构建项目:...

2019-05-27 14:02:06 230

转载 查看linux系统常用的命令

一、linux CPU大小 cat /proc/cpuinfo |grep "model name" && cat /proc/cpuinfo |grep "physical id" 说明:Linux下可以在/proc/cpuinfo中看到每个cpu的详细信息。但是对于双核的cpu,在cpuinfo中会看到两个cpu。常常会让人误以为是两个单核的cpu。其实应该...

2019-05-21 17:48:00 112

转载 oracle分区表中本地索引和全局索引的适用场景

背景分区表创建好了之后,如果需要最大化分区表的性能就需要结合索引的使用,分区表有两种索引:本地索引和全局索引。既然存在着两种的索引类型,相信存在即合理。既然存在就会有存在的原因,也就是在特定的场景中就更能发挥出索引的性能的;本文档通过测试,总结出两种索引的适合的场景;测试环境数据库版本:11.2.0.3分区表的创建脚本: CREATE TABLE SCOTT.PTB...

2019-05-20 15:34:19 168

转载 oracle按时间创建分区表

首先明确分区表和表分区的区别:表分区是一种思想,分区表示一种技术实现。当表的大小过G的时候可以考虑进行表分区,提高查询效率,均衡IO。oracle分区表是oracle数据库提供的一种表分区的实现形式。表进行分区后,逻辑上仍然是一张表,原来的查询SQL同样生效,同时可以采用使用分区查询来优化SQL查询效率,不至于每次都扫描整个表一、分区表基本操作1、按时间分区表创建: 1 ...

2019-05-20 15:07:36 2491

转载 oracle 11g 分区表创建(自动按年、月、日分区)

前言:工作中有一张表一年会增长100多万的数据,量虽然不大,可是表字段多,所以一年下来也会达到 1G,而且只增不改,故考虑使用分区表来提高查询性能,提高维护性。  oracle 11g 支持自动分区,不过得在创建表时就设置好分区。  如果已经存在的表需要改分区表,就需要将当前表 rename后,再创建新表,然后复制数据到新表,然后删除旧表就可以了。一、为什么要分区(Partitio...

2019-05-20 15:05:47 977

原创 Java线程池使用

我们使用线程的时候就去创建一个线程,这样实现起来非常简便,但是就会有一个问题:  如果并发的线程数量很多,并且每个线程都是执行一个时间很短的任务就结束了,这样频繁创建线程就会大大降低系统的效率,因为频繁创建线程和销毁线程需要时间。  那么有没有一种办法使得线程可以复用,就是执行完一个任务,并不被销毁,而是可以继续执行其他的任务?  在Java中可以通过线程池来达到这样的效果。今天我们就...

2019-05-13 15:37:58 2641

转载 Informatica 9.5安装部署

Informatica 结构1个或多个资源库(Respository)PowerCenter数据整合引擎是基于元数据驱动的,提供了基于数据驱动的元数据知识库(Repository),该元数据知识库可以在主流的关系型数据库中部署。该院数据库中存储所有的ETL元数据,包括:源、目标表的物理和逻辑元数据,ETL转换规则,知识库用户权限,ETL任务运行历史信息等元数据。2个ServerI...

2019-05-10 13:25:44 252

原创 用java调用oracle存储过程总结

//1、call+包名+存储过程名(传入、传出值用?) String str="{call SMSBUSINESS.deleteZhZMember(?,?,?)}";//2、建立连接Connection conn=null;conn=DriverManager.getConnection();//3、使用java.sql.*类CallableStatement cs=co...

2019-05-08 10:36:05 55

转载 Kettle性能调优汇总

性能调优在整个工程中是非常重要的,也是非常有必要的。但有的时候我们往往都不知道如何对性能进行调优。其实性能调优主要分两个方面:一方面是硬件调优,一方面是软件调优。本章主要是介绍Kettle的性能优化及效率提升。一、Kettle调优1、调整JVM大小进行性能优化,修改Kettle定时任务中的Kitchen或Pan或Spoon脚本。 修改脚本代码片段 set ...

2019-04-28 11:36:22 276

原创 在 kettle 里如何使用 JNDI 方式连接数据源

使用 JNDI 的好处就是便于部署和数据源的变更,kettle 也提供了 JNDI 方式连接。本文以 tomcat 和 mysql 为例,说明 kettle 如何使用 JNDI 方式连接数据源1. 先将你的应用部署到 webapps 下,如 webapps/example。2. 在 ./webapps/example/WEB-INF/lib 目录下,确保要有 kettle-core.ja...

2019-04-28 11:07:50 766

原创 git基本命令使用方法

最近使用git命令提交代码的时候发现很多命令都忘记了,于是重新学习了一下git命令。顺便整理了一下,加强记忆,也方便以后随时查看。以下命令都是平常工作中使用频率较高的命令,也是git的一些基本用法,其中[]内的参数表示可以省略,<>内的参数只是示例,具体名称视自己的项目而定,实际命令中不带<>,<origin>表示远程主机名,<master>&l...

2019-04-11 16:20:19 74

转载 kettle以JNDI的方式连接数据库

kettle连接数据的的方式连接数据库的方式很多,相比之下使用JNDI的方式更加方便,不会因为数据库迁移等问题而修改太多文件在 kettle的home目录下 ${kettle_home}/simple-jndi里面的jdbc.properties 文件中配置oracle的配置为(其中 hc是JNDI的名称) hc/type=javax.sql.DataSource hc/...

2019-04-08 15:42:33 1859

转载 Pentaho Data Integration - Java API Examples

In General Pentaho Kettle Component Program your own Kettle transformation Running an existing transformationIn GeneralThePDI SDKcan be found in "Embedding and Extending Pentaho Data Int...

2019-04-03 16:00:36 420

原创 kettle8.2 java调用kettle API 自动生成Transformation转换

import java.io.File;import org.apache.commons.io.FileUtils;import org.pentaho.di.core.KettleEnvironment;import org.pentaho.di.core.database.DatabaseMeta;import org.pentaho.di.core.exception.Kett...

2019-04-03 14:11:49 3486 5

Linux+apache+php

Linux+apache+php+myql实现负载均衡。

2014-10-30

AIX基础及系统管理培训教材.pdf

AIX基础及系统管理培训教材,通过此文档的学习能比较系统的学习AIX操作系统,是初学者的引导书,是系统管理员的参考工具书。

2014-10-30

Oracle云计算解决方案

全面系统介绍oracle公司的云计算解决方案。

2013-10-31

硬盘安装win7方法 硬盘安装windows7图文并茂

详细介绍在硬盘上安装win7系统,详细图片说明每一步的安装过程和注意事项。

2013-02-18

BPM工作流开发指南

BPM工作流开发指南,通过此文档一步一步指导你开发工作流,以及系统集成于web应用中。

2013-02-20

hadoop集群配置

hadoop集群配置文档详细介绍hadoop集群环境的搭建过程。包含各模块的配置,启动,停止等命令参考。

2013-02-20

Getting_Started_with_Quartz_Scheduler

Getting_Started_with_Quartz_Scheduler 详细介绍定时程序Quartz的使用方法,及在web环境下集成Quartz

2015-06-02

java实现二维码生成的几个方法

java实现二维码生成的几个方法,文中分析二维码的生成原理,编码方式及二维码的解析方式。

2015-06-02

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除