- 博客(70)
- 资源 (8)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 CentOS7.x从openssh7.4p1升级到openssh8.4p1
CentOS7.x从openssh7.4p1升级到openssh8.4p11、升级准备工作1.1、查看系统版本和ssh版本cat /etc/redhat-releasessh -V1.2、需要将openssh升级到最新版本直接yum安装即可yum install openssh -y可以看已经升级到7.4p1了，下面将从openssh7.4p1升级到openssh8.4p11.3、安装需要的依赖包yum -y install gcc gcc-c++ ...
2020-12-24 09:38:56
1143
原创 在Ubuntu16环境下，利用docker安装tensorflow-serving
在Ubuntu16环境下，利用docker安装tensorflow-serving本文内容安装docker，依据docker官方文档 安装tensorflow-serving 利用docker下载serving镜像安装dockerdocker分为社区版本(CE)和企业版本(EE)，这里安装的为社区版本。1、移除旧版本的docker$ sudo apt-get remove docker docker-engine docker.io containerd runc2..
2020-12-01 14:14:03
364
原创 Oracle查询重复数据和去重，亿级数据去重方法
1. 单字段重复 查询重复数据 -- 假设 ID 重复SELECT ID FROM your_table GROUP BY ID HAVING COUNT(ID)>1; 去重，保留ROWID最小的数据 DELETE FROM your_table a WHERE a.id IN ( SELECT ID FROM your_table GROUP BY ID HAVING COUNT( ID ) > 1 ) AND ROWI.
2020-10-19 17:01:23
1711
原创 ZooKeeper搭建集群操作日志
ZooKeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。（百度百科）1、下载与解压下载：apache-zookeeper-3.5.5.tar.gz解压：tar -xzvf apache-zookeeper-3.5.5.tar.gz -C /usr/local/zookeeper进
2020-10-10 13:10:55
275
原创 kaldi中文语音识别
目录kaldi是什么kaldi与中文语音识别编译与安装kaldi用kaldi进行中文语音识别本文记录了我编译安装kaldi和两种用kaldi进行中文语音识别的过程，包括如何kaldi的简单介绍、环境的配置、相关模型的训练、导入，算是自己近期学习的一个总结，也希望可以帮助到需要的人~~~kaldi是什么kaldi是一个用C++写的语音识别工具包。kaldi旨在供语音识别研究员使用。当然，kaldi也可以用作声纹识别。关于他的详细介绍可以访问kaldi的官方文档kaldi与中文语音识别感谢很多
2020-06-12 14:30:35
2592
1
原创 用 Java 实现人脸识别功能
引言人脸识别SDK人脸识别技术是很复杂的，自己用Java手撕一个识别算法有点不切实际，毕竟实力不允许我这么嚣张，还是借助三方的SDK吧！找了一圈发现一个免费的人脸识别SDK：ArcSoft:，地址：https://ai.arcsoft.com.cn。官网首页 -> 右上角开发者中心 -> 选择“人脸识别” -> 添加SDK，会生成APPID、SDK KEY后续会用到，根据需要选择不同的环境（本文基于windows环境），然后下载SDK是一个压缩包。Java项目搭建.
2020-05-12 15:19:59
13353
23
原创 ELK（ElasticSearch，Logstash，Kibana）入门详解
ELK由ElasticSearch，Logstash和Kiabana三个开源工具组成。一，ELK概述1 ，ELK 简介ElasticSearch：是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制， restful风格接口，多数据源，自动搜索负载等。Logstash：是一个完全开源的工具，他可以对你的日志进行收集，分析，并将其存储供以后使用。...
2020-04-16 09:00:06
422
原创 Centos7.0上安装Docker
Docker的三大核心概念：镜像、容器、仓库镜像：类似虚拟机的镜像、用俗话说就是安装文件。容器：类似一个轻量级的沙箱，容器是从镜像创建应用运行实例，可以将其启动、开始、停止、删除、而这些容器都是相互隔离、互不可见的。仓库：类似代码仓库，是Docker集中存放镜像文件的场所。简单介绍一下在CentOS上安装Docker。1.检查内核版本，返回的值大于3.10即...
2020-04-03 18:12:31
273
原创 springboot集成mongodb，实现文件上传下载
一、linux上安装mongodb1、下载安装包：https://www.mongodb.com/download-center#atlas，上传包mongodb-linux-x86_64-rhel70-3.6.5.tgz到服务器2、创建mongodb文件夹，作为安装目标文件夹cd /usr/local;mkdir mongodb3、解压，移动解压缩后的文件夹下的所有文件到mo...
2020-04-03 15:02:24
1507
原创 Linux系统下部署安装mongoDB
##安装启动MongoDB1）首先需要安装相关软件包yum -y groupinstall "Development tools"yum -y install openssl openssl-develtar zxf mongodb-linux-x86_64-rhel62-4.0.2.tgzmv mongodb-linux-x86_64-rhel62-4.0.2 /usr/local...
2020-04-03 14:41:18
186
原创 Linux上安装 jenkins日记
一、什么是持续集成？（1）Continuous integration（CI）持续集成是一种软件开发实践，即团队开发成员经常集成他们的工作，通常每个成员至少集成一次，也就意味着每天可能会发生多次集成。每次集成都通过自动化的构建（包括编译，发布，自动化测试）来验证，从而尽快地发现集成错误。许多团队发现这个过程可以大大减少集成的问题，让团队能够更快的开发内聚的软件。（2）没有持续集成...
2020-04-02 16:45:26
306
原创 玩转Kettle8
前提Kettle是纯Java编写的ETL开源工具，目前Kettle7和Kettle8都需要Java8或者以上才能正常运行。所以开运行Kettle前先检查Java环境是否正确配置，Java版本是否是8或者以上。Kettle安装1）创建Kettle的目录，并将Kettle的zip包解压到Kettle目录下2）查看一下sh文件使用都有执行的权限，如果没请加上。3）执行ki...
2020-03-31 09:25:33
1062
原创 新手制作--U盘安装CentOS7.6
今天在自己的一台笔记本电脑装一下CentOS7.6，安装成功，操作日记录如下：step1. 下载 CentOS下载CentOS7.6镜像，我是在啊里镜像下载的，附上啊里镜像地址：https://mirrors.aliyun.com/centos/选择7.6版本进行下载。下载完之后，再下载一个工具软碟通，链接: https://pan.baidu.com/s/1M9eJjdfsNcrY...
2020-02-04 13:52:42
3030
2
原创 Centos7搭建git服务器
一、 git服务安装1.安装git服务# yum info git //查看 yum 源仓库的 Git 信息可以看出，截至目前，yum 源仓库中最新的 Git 版本才 1.8.3.1，而查看最新的 Git 发布版本，已经 2.9.2 了。2.依赖库安装# yum install curl-devel expat-devel gettext-devel openssl-devel...
2020-01-19 17:51:51
317
原创 kerberos用户安全认证指南
原理介绍kerberos主要是用来做网络通信时候的身份认证，最主要的特点就是“复杂”。所以在入坑kerberos之前，最好先熟悉一下其原理。这里推荐一些别人写的文章内容来进行简单汇总： 链接kerberos认证原理用对话场景来解释kerbeors的设计过程 简图 kerberos认证流程简图 几个概念的补充 principal 认证的主体，简单来说就...
2019-12-20 13:59:25
1372
转载 基于Kafka+Flink+Redis的电商大屏实时计算案例
一年一度的双11又要到了，阿里的双11销量大屏可以说是一道特殊的风景线。实时大屏（real-time dashboard）正在被越来越多的企业采用，用来及时呈现关键的数据指标。并且在实际操作中，肯定也不会仅仅计算一两个维度。由于Flink的“真·流式计算”这一特点，它比Spark Streaming要更适合大屏应用。本文从笔者的实际工作经验抽象出简单的模型，并简要叙述计算流程（当然大部分都是源码）...
2019-12-20 13:14:52
141
原创 Cloudera Manager安装日记
一、Cloudera Manager介绍 Cloudera Manager(简称CM)是Cloudera公司开发的一款大数据集群安装部署利器，这款利器具有集群自动化安装、中心化管理、集群监控、报警等功能，使得安装集群从几天的时间缩短在几小时以内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。所以为了同学们能够快速搭建该平台，写出以下教程仅供参考，有什么不足之处请提出，加以改正...
2019-12-16 17:48:56
317
原创 Cloudera Manager(简称CM)+CDH构建大数据平台
一、Cloudera Manager介绍 Cloudera Manager(简称CM)是Cloudera公司开发的一款大数据集群安装部署利器，这款利器具有集群自动化安装、中心化管理、集群监控、报警等功能，使得安装集群从几天的时间缩短在几小时以内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。所以为了同学们能够快速搭建该平台，写出以下教程仅供参考，有什么不足之处请提出，加以改正...
2019-12-16 17:14:26
691
原创 如何制作 RedHat Linux6.7 系统 U盘安装盘
1、首先打开UltraISO软件，尽量下载最新版的，小编曾用某个旧版的UltraISO，制作的安装盘，不能不能识别磁盘，安装失败!2、点击工具栏中的第二个打开镜像文件工具，如图红色方框标志按钮，然后在打开的“打开ISO文件”对话框中找到我们下载好的Ubuntu镜像文件，之后点右下方的“打开”按钮3、打开镜像文件之后，在上方的列表中就会出现对打开的镜像文件的预览左边显示的是具体的目...
2019-09-03 11:19:02
4904
原创 linux环境下Hadoop+hive的安装
一、前期工作：1.修改linux ip 手动修改 也可以命令修改vim/etc/sysconfig/network-scripts/ifcfg-eth02.修改主机名(注意ubuntu版本方式)vim/etc/sysconfig/network 将之前的名字更改为itcast013.修改主机名与 ip ...
2019-07-12 16:26:50
2143
1
转载 一、HiveSQL基本操作
文章目录一、Hive数据类型1、基本类型2、复杂类型二、存储格式1、textfile2、SequenceFile3、RCFile4、ORCFile5、Parquet三、操作数据库1、创建数据库2、删除数据库3、进入数据库四、操作表属性1、显示数据库下面所有表2、删除表3、显示建表结果4、显示表分区5、修改表属性6、表重命名7、新增列8、删除列9、修改列...
2019-07-11 14:50:09
710
原创 Hive数据库和表操作命令参考
Hive的数据库和表操作一、Hive数据库操作1.1 查看数据库show databases;使用like关键字模糊匹配# 显示包含db_前缀的数据库名称show databases like 'db_*';1.2 使用数据库use database名称1.3 创建数据库create database dbname;通过location指定数据库路径create ...
2019-07-11 14:15:46
1344
原创 Oracle 的merge into用法实例
merge into的形式： MERGEINTO [target-table] AUSING [source-tablesql] BON([conditional expression]and [...]...) WHENMATCHEDTHEN [UPDATEsql] WHENNOTMATCHEDTHEN [INSERTsql]...
2019-06-26 13:32:54
149
转载 oracle表空间表分区详解及oracle表分区查询使用方法
oracle表空间表分区详解及oracle表分区查询使用方法此文从以下几个方面来整理关于分区表的概念及操作:1.表空间及分区表的概念2.表分区的具体作用3.表分区的优缺点4.表分区的几种类型及操作方法5.对表分区的维护性操作.表空间及分区表的概念表空间：是一个或多个数据文件的集合，所有的数据对象都存放在指定的表空间中，但主要存放的是表， 所以称作表空间。分区表：当表中的数据...
2019-06-17 16:12:33
1470
转载 SpringCloud教程第10篇：高可用的服务注册中心（F版本）
一、准备工作Eureka can be made even more resilient and available by running multiple instances and asking them to register with each other. In fact, this is the default behaviour, so all you need to do t...
2019-06-13 17:35:36
115
转载 Java Token的原理和生成使用机制
1、什么是Cookie？cookie指的就是浏览器里面能永久存储数据的一种数据存储功能。cookie由服务器生成，发送给浏览器，浏览器把cookie以kv形式保存到某个目录下的文本文件内，下一次请求同一网站时会把该cookie发送给服务器。由于cookie是存在客户端上的，所以浏览器加入了一些限制确保cookie不会被恶意使用，同时不会占据太多磁盘空间，所以每个域的cookie数量是有限的。...
2019-06-13 16:00:45
31059
3
原创 JAVA后端生成Token（令牌），用于校验客户端
1.概述:在web项目中，服务端和前端经常需要交互数据，有的时候由于网络相应慢，客户端在提交某些敏感数据（比如按照正常的业务逻辑，此份数据只能保存一份）时，如果前端多次点击提交按钮会导致提交多份数据，这种情况我们是要防止发生的。2.解决方法：①前端处理：在提交之后通过js立即将按钮隐藏或者置为不可用。②后端处理：对于每次提交到后台的数据必须校验，也就是通过前端携带的令牌（一串唯一字符串...
2019-06-13 15:59:07
19614
6
转载 Java虚拟机：JVM性能调优监控工具jps、jstack、jmap、jhat、jstat、hprof使用详解
JVM性能调优监控工具jps、jstack、jmap、jhat、jstat、hprof使用详解现实企业级Java应用开发、维护中，有时候我们会碰到下面这些问题：OutOfMemoryError，内存不足 内存泄露 线程死锁 锁争用（Lock Contention） Java进程消耗CPU过高 ……这些问题在日常开发、维护中可能被很多人忽视（比如有的人遇到上面的问题只是重启服务器或...
2019-06-12 12:02:51
237
原创 spring4.3.7整合quartz2.2.3
项目背景首先引入Quartz的jar包在数据库中建立Quartz相关的表新建Quartz相关的配置文件quartzproperties整合Spring和Quartz添加定时任务作为示例service只写了一个方法接口就不写了定时任务具体的业务逻辑重点来了因项目需要，在SSM中整合quartz，其中遇到了几处很坑的地方，作为记录，方便以后查看。项目背景： Maven构建项目：...
2019-05-27 14:02:06
487
转载 查看linux系统常用的命令
一、linux CPU大小 cat /proc/cpuinfo |grep "model name" && cat /proc/cpuinfo |grep "physical id" 说明：Linux下可以在/proc/cpuinfo中看到每个cpu的详细信息。但是对于双核的cpu，在cpuinfo中会看到两个cpu。常常会让人误以为是两个单核的cpu。其实应该...
2019-05-21 17:48:00
474
转载 oracle分区表中本地索引和全局索引的适用场景
背景分区表创建好了之后，如果需要最大化分区表的性能就需要结合索引的使用，分区表有两种索引：本地索引和全局索引。既然存在着两种的索引类型，相信存在即合理。既然存在就会有存在的原因，也就是在特定的场景中就更能发挥出索引的性能的；本文档通过测试，总结出两种索引的适合的场景；测试环境数据库版本：11.2.0.3分区表的创建脚本： CREATE TABLE SCOTT.PTB...
2019-05-20 15:34:19
709
转载 oracle按时间创建分区表
首先明确分区表和表分区的区别：表分区是一种思想，分区表示一种技术实现。当表的大小过G的时候可以考虑进行表分区，提高查询效率，均衡IO。oracle分区表是oracle数据库提供的一种表分区的实现形式。表进行分区后，逻辑上仍然是一张表，原来的查询SQL同样生效，同时可以采用使用分区查询来优化SQL查询效率，不至于每次都扫描整个表一、分区表基本操作1、按时间分区表创建： 1 ...
2019-05-20 15:07:36
6079
转载 oracle 11g 分区表创建（自动按年、月、日分区）
前言：工作中有一张表一年会增长100多万的数据，量虽然不大，可是表字段多，所以一年下来也会达到 1G，而且只增不改，故考虑使用分区表来提高查询性能，提高维护性。 oracle 11g 支持自动分区，不过得在创建表时就设置好分区。 如果已经存在的表需要改分区表，就需要将当前表 rename后，再创建新表，然后复制数据到新表，然后删除旧表就可以了。一、为什么要分区（Partitio...
2019-05-20 15:05:47
2084
原创 Java线程池使用
我们使用线程的时候就去创建一个线程，这样实现起来非常简便，但是就会有一个问题： 如果并发的线程数量很多，并且每个线程都是执行一个时间很短的任务就结束了，这样频繁创建线程就会大大降低系统的效率，因为频繁创建线程和销毁线程需要时间。 那么有没有一种办法使得线程可以复用，就是执行完一个任务，并不被销毁，而是可以继续执行其他的任务？ 在Java中可以通过线程池来达到这样的效果。今天我们就...
2019-05-13 15:37:58
3046
转载 Informatica 9.5安装部署
Informatica 结构1个或多个资源库（Respository）PowerCenter数据整合引擎是基于元数据驱动的，提供了基于数据驱动的元数据知识库（Repository），该元数据知识库可以在主流的关系型数据库中部署。该院数据库中存储所有的ETL元数据，包括：源、目标表的物理和逻辑元数据，ETL转换规则，知识库用户权限，ETL任务运行历史信息等元数据。2个ServerI...
2019-05-10 13:25:44
882
原创 用java调用oracle存储过程总结
//1、call＋包名＋存储过程名（传入、传出值用？） String str="{call SMSBUSINESS.deleteZhZMember(?,?,?)}";//2、建立连接Connection conn=null;conn=DriverManager.getConnection();//3、使用java.sql.*类CallableStatement cs=co...
2019-05-08 10:36:05
99
转载 Kettle性能调优汇总
性能调优在整个工程中是非常重要的，也是非常有必要的。但有的时候我们往往都不知道如何对性能进行调优。其实性能调优主要分两个方面：一方面是硬件调优，一方面是软件调优。本章主要是介绍Kettle的性能优化及效率提升。一、Kettle调优1、调整JVM大小进行性能优化，修改Kettle定时任务中的Kitchen或Pan或Spoon脚本。 修改脚本代码片段 set ...
2019-04-28 11:36:22
609
原创 在 kettle 里如何使用 JNDI 方式连接数据源
使用 JNDI 的好处就是便于部署和数据源的变更，kettle 也提供了 JNDI 方式连接。本文以 tomcat 和 mysql 为例，说明 kettle 如何使用 JNDI 方式连接数据源1. 先将你的应用部署到 webapps 下，如 webapps/example。2. 在 ./webapps/example/WEB-INF/lib 目录下，确保要有 kettle-core.ja...
2019-04-28 11:07:50
1671
原创 git基本命令使用方法
最近使用git命令提交代码的时候发现很多命令都忘记了，于是重新学习了一下git命令。顺便整理了一下，加强记忆，也方便以后随时查看。以下命令都是平常工作中使用频率较高的命令，也是git的一些基本用法，其中[]内的参数表示可以省略，<>内的参数只是示例，具体名称视自己的项目而定,实际命令中不带<>，<origin>表示远程主机名，<master>&l...
2019-04-11 16:20:19
202
Getting_Started_with_Quartz_Scheduler
2015-06-02
在编译运行android例子时，找不到aqi00包文件
2022-04-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人