自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

gmHappy

从不敢夜郎自大,但也不至于妄自菲薄,只是想做一个靠本事吃饭的手艺人

  • 博客(379)
  • 资源 (1)
  • 论坛 (3)
  • 收藏
  • 关注

原创 轻量级车牌检测开源项目(支持车牌四顶点定位、车牌矫正对齐)

Pytorch_Retina_License_Plate利用RetinaFace进行迁移学习实现的车牌检测、车牌四角定位、车牌矫正对齐程序。当Retinaface使用mobilenet0.25作为骨干网时,模型大小仅为1.8M我们还提供resnet50作为骨干网以获得更好的结果。RetinaFace的官方代码可以在这里找到。内容环境说明安装数据训练TODO参考文献环境说...

2020-01-10 14:16:49 2112 3

原创 基于TensorFlow Object Detection API进行迁移学习训练自己的人脸检测模型(二)

前言已完成数据预处理工作,具体参照:基于TensorFlow Object Detection API进行迁移学习训练自己的人脸检测模型(一)设置配置文件新建目录face_faster_rcnn将上文已完成预数据处理的目录data移动至face_faster_rcnn目录下,并在face_faster_rcnn目录下创建face_label.pbtxt文件,内容如下:...

2018-07-12 14:40:03 8118 4

原创 基于TensorFlow Object Detection API进行迁移学习训练自己的人脸检测模型(一)

前言已完成TensorFlow Object Detection API环境搭建,具体搭建过程请参照:安装运行谷歌开源的TensorFlow Object Detection API视频物体识别系统或Ubuntu系统安装配置tensorflow开发环境准备工作下载训练数据和验证数据香港中文大学(Chinese University of Hong Ko...

2018-07-11 15:00:41 6811 6

原创 Ubuntu系统安装配置tensorflow开发环境

Ubuntu系统安装下载ubuntu iso选择目前最新的版本是 Ubuntu 18.04 LTS 。下载地址: 官网:https://www.ubuntu.com/download/desktop 下载 RufusRufus 是Ubuntu官网推荐的USB启动盘制作工具,此工具的特点: * 体积小,只有几百KB (Rufus 3.1版只有945KB) * 功能全 * 免安装,下载后可以直接使用 ...

2018-07-07 09:58:59 4881

原创 基于谷歌开源的TensorFlow Object Detection API视频物体识别系统搭建自己的应用(三)

基于上篇基于谷歌开源的TensorFlow Object Detection API视频物体识别系统搭建自己的应用(一),实现摄像头物体识别下载opencv的cv2包在Python官网即可下载opencv相关库,点击此处直接进入。 pip install opencv-python安装完成后,进入IDLE输入命令import cv2若未报错,则opencv-python库成功导入,环境搭配成功。基...

2018-05-25 15:47:04 3481 1

原创 基于Nginx+nginx-rtmp-module+ffmpeg搭建rtmp、hls流媒体服务器

上篇文章是基于Red5与ffmpeg实现rtmp处理NVR或摄像头的监控视频处理方案,有兴趣的朋友可以查看。Nginx及nginx-rtmp-module安装新建目录mkdir /usr/local/mginx下载cd /usr/local/nginxwget http://nginx.org/download/nginx-1.12.2.tar.gzwget https://codeload....

2018-03-29 10:06:46 10801

原创 基于Red5与ffmpeg实现rtmp处理NVR或摄像头的监控视频处理方案

各大监控视频平台厂商与外对接均是基于IE的OCX插件方式提供实时视频查看、历史视频回放与历史视频下载。在H5已大行其道的当下,基于IE的OCX插件方式已满足不了广大客户的实际需求,因此需要一个兼容各大主流浏览器与手机浏览的监控视频处理方案。Red5是基于Flash的流媒体服务的一款基于Java的开源流媒体服务器。FFmpeg是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。...

2018-03-28 14:40:18 10988 2

原创 解决在Docker alpine镜像中安装服务启动时的相关问题

问题描述在Docker的alpine镜像中安装Redis或Nginx服务时出现:* WARNING: nginx is already starting或* WARNING: redis is already starting或touch: /run/openrc/softlevel: No such file or directory问题解决方案sudo apk add --no-cache openrcsudo openrcsudo touch /run/openrc/softlevelsu

2021-04-29 19:38:54 17

原创 解决CDH 安装Kafka服务中的各种问题

通过CDH安装Kafka服务常见问题一、内存溢出问题在Kafka配置页面搜索Java调整对应的Java堆大小,如下图操作:二、启动Kafka MirrorMaker服务失败提示whitelist must be specified在Kafka配置页面搜索Whitelist,添加对应的主机信息三、启动Kafka Broker服务失败,提示配置broker.id 问题点击失败角色类型->选择日志文件中的角色日志文件,查看具体错误日志具体错误如下:晚上7点01:52.2

2021-04-28 08:51:37 15

原创 K8S 安装Nginx部署前端项目(PV、PVC、Deployment、Service、IngressRoute)

需求描述在K8S上通过Nginx部署前端项目,前端项目及Nginx配置文件部署NFS上实现多Pod共享,再通过IngressRoute进行服务发布。目录结构描述/root/nfs_root/nginx-deployment├── config│ ├── default.conf│ ├── html│ ├── assets│ ├── css│ ├── fonts│ ├── img│ ├── js│ ├── favicon│ ├── index.ht

2021-04-27 17:12:48 34 2

原创 解决CDH HiveServer2 因OutOfMemory errors原因造成异常退出问题

问题描述在诊断->事件中出现如下图异常:异常描述:The health test result for HIVESERVER2_UNEXPECTED_EXITS has become bad: This role encountered 1 unexpected exit(s) in the previous 5 minute(s).This included 1 exit(s) due to OutOfMemory errors. Critical threshold: any.解决方

2021-04-27 10:04:09 24

原创 解决CDH中NFS Gateway实例启动失败问题

问题描述Centos7 通过CDH启动HDFS中的NFS Gateway服务,出现以下异常:+ HADOOP_IDENT_STRING=hdfs+ '[' -n '' ']'+ '[' mkdir '!=' nfs3 ']'+ acquire_kerberos_tgt hdfs.keytab+ '[' -z hdfs.keytab ']'+ KERBEROS_PRINCIPAL=+ '[' '!' -z '' ']'+ '[' -n '' ']'+ '[' validate-writab

2021-04-26 16:24:40 32

原创 Traefik 日常使用(一)

一、Traefik 简介Traefik是开源的Edge路由器,使发布服务变得有趣而轻松。它代表您的系统接收请求,并找出负责处理这些请求的组件。Traefik的与众不同之处还在于,它可以自动发现适合您服务的配置。使用Traefik,无需维护和同步单独的配置文件:一切都会自动,实时地进行(无需重新启动,不会中断连接)。使用Traefik,您可以花时间在系统上开发和部署新功能,而不是在配置和维护其工作状态上。官网地址:https://doc.traefik.io/traefik/二、Traefik

2021-04-23 17:12:50 14

原创 Kubernetes 集成Traefik(一)—— 转发鉴权

一、需求描述通过Kubernetes集成Traefik,实现请求接收、服务发现、路由转发及服务转发验证。本文Kubernetes采用K3S进行安装配置,具体细节请参照以下链接:K3S使用(一)—— 集群安装 Kuboard统一管理 NFS持久卷声明等使用示例K3S使用(二)—— 将自带traefik版本升级为2.4二、功能实现2.1 转发鉴权example-whoami-authentication-middleware.yaml## Middleware1apiVersion: trae

2021-03-30 16:29:04 56

原创 Docker-compose 集成Traefik

一、需求描述通过docker-compose集成traefik,实现请求接收、服务发现、路由转发及服务转发验证。二、功能实现2.1 目录结构.├── config│ ├── example-whoami-authentication-middleware.toml│ ├── dashboard.toml├── docker-compose.yml├── traefik.toml2.2 搭建traefik服务创建docker-compose.yml,在其中定义使用traefik

2021-03-30 13:51:59 36

原创 解决 CDH6.3.1 安装HDFS时出现{{CMF_CONF_DIR}}/redaction-rules.json (No such file or directory)错误

问题描述CDH6.3.1安装HDFS DATANODE节点时,出现以下异常:Caused by: java.lang.IllegalArgumentException: Problem with rules file {{CMF_CONF_DIR}}/redaction-rules.json at org.cloudera.log4j.redactor.RedactorPolicy.activateOptions(RedactorPolic`enter code here`y.java:55)

2021-03-26 15:57:51 97

原创 containerd 配置镜像仓库完全攻略

一、前言Kubernetes 在 Changelog 中宣布自 Kubernetes 1.20 之后将弃用 Docker 作为容器运行时之后,containerd 成为下一个容器运行时的热门选项。虽然 containerd 很早就已经是 Docker 的一部分,但是纯粹使用 containerd 还是给大家带来了诸多困扰,本文将介绍如何使用 containerd 配置镜像仓库和加速器。本文将以 K3s 为例对 containerd 进行配置,如果您的环境未使用 K3s 而是使用的 Kubernetes,

2021-03-20 12:41:27 164

原创 K3S使用(二)—— 将自带traefik版本升级为2.4

一、卸载K3S自带traefik原K3S 安装自带的traefik:版本为:rancher/library-traefik:1.7.19二、安装helmhelm官方文档,https://helm.sh/docs/intro/install/2.1 下载所需版本下载路径:https://github.com/helm/helm/releases2.2 上传至服务器并解压tar -zxvf helm-v3.5.3-linux-amd64.tar.gz2.3 移到到可执行目录helm在解压

2021-03-18 17:23:53 201

原创 离线安装docker-compose

因为公司内外网隔绝,离线安装:访问 compose Git地址下载导入服务器 mv docker-compose-Linux-x86_64 /usr/local/bin/docker-compose添加权限 chmod +x /usr/local/bin/docker-compose测试一下docker-compose -vdocker-compose version 1.27.2, build 18f557f9...

2021-03-16 18:35:15 40

原创 Java List集合交集、差集、并集计算

需求描述两个集合之间进行交集、差集、并集计算。在日常工作中前端可能传过来一个数据集合,需要和数据库中查出的集合进行比较,判断前端的集合中那些数据是需要在数据库新增、那些数据是需要从数据库中删除、那些数据需要在数据库中变更(此示例的变更依据是name)具体实现package cn.net.hylink;import java.util.ArrayList;import java.util.List;import java.util.Map;import java.util.stream.

2021-03-16 11:54:20 63

原创 K3S使用(一)—— 集群安装 Kuboard统一管理 NFS持久卷声明等使用示例

一、需求介绍安装K3S集群,并通过Kuboard对集群进行统一管理,对常用的操作进行示例展示。二、安装 Docker2.1 系统要求Docker 支持 64 位版本 CentOS 7/8,并且要求内核版本不低于 3.10。 CentOS 7 满足最低内核的要求,但由于内核版本比较低,部分功能(如 overlay2 存储层驱动)无法使用,并且部分功能可能不太稳定。2.2 卸载旧版本旧版本的 Docker 称为 docker 或者 docker-engine,使用以下命令卸载旧版本:sudo yu

2021-02-26 10:12:02 253

原创 利用Harbor搭建Docker私有仓库

一、Harbor简介虽然Docker官方提供了公共的镜像仓库,但是从安全和效率等方面考虑,部署我们私有环境内的Registry也是非常必要的。Harbor是由VMware公司开源的企业级的Docker Registry管理项目,相比Docker官方拥有更丰富的权限权利和完善的架构设计,适用大规模docker集群部署提供仓库服务。它主要提供 Dcoker Registry 管理界面UI,可基于角色访问控制,镜像复制, AD/LDAP 集成,日志审核等功能,完全的支持中文。二、Harbor 的主要功能

2021-02-19 17:44:43 84 1

原创 Maxwell‘s Daemon 采集Mysql数据变更到Kafka构建数据库审计

一、前言审计日志系统有很多应用场景,而不仅仅是存储用于审计目的的数据。除了合规性和安全性的目的之外,它还能够被市场营销团队使用,以便于锁定目标用户,也可以用来生成重要的告警。数据库内置的审计日志功能可能并不够用,要处理所有的用户场景,它肯定不是理想的方式。目前,有很多的开源工具,如Maxwell’s Daemons、Debezium,它们能够以最少的基础设施和时间需求支持这些需求。Maxwell’s daemons 能够读取binlog并发送事件到各种生产者,比如Kafka、Amaz

2021-02-06 10:31:15 89

原创 Debezium 采集Postgrsql数据变更到Kafka构建数据库审计

一、目的利用Debezium实时采集Postgrsql的数据变更,到Kafka用于后续操作日志审计。官网参考地址:https://debezium.io/docs/connectors/postgresql/二、基于Docker组件安装2.1 zookeeper安装docker run -itd --name zookeeper -p 2181:2181 -p 2888:2888 -p 3888:3888 debezium/zookeeper:latest2.2 kafka安装docker

2021-02-06 08:58:03 91

原创 Hive 存储parquet格式

创建存储格式为parquet的hive表CREATE TABLE parquet_table(age INT, name STRING)STORED AS PARQUET;指定parquet写文件的压缩编码方式支持类型:"uncompressed", "snappy", "gzip", "lzo"Snappy压缩具有更好的性能,Gzip压缩具有更好的压缩比。hive中支持对parquet的配置,主要有:parquet.compressionparquet.block.sizeparque

2021-02-02 17:04:17 309

原创 Postgres Docker版本安装mysql_fdw 插件

很多数据库都支持通过某个插件将另外一个数据库的表格映射进来,以形成单一数据库视图。PostgreSQL 作为“最高级”的开源关系数据库,毫不意外也具备这个能力。本文只介绍下 mysql_fdw 插件,这个插件由 PostgreSQL 社区著名的商业支持提供商 EnterpriseDB 开发并开源出来。mysql_fdw 官网地址:https://pgxn.org/dist/mysql_fdw/mysql_fdw 源码的 README.md 讲述了安装过程和使用步骤,并不复杂。如果使用 Docker

2021-02-01 13:59:44 77

原创 MybatisPlus 解决 org.apache.ibatis.reflection.ReflectionException: Could not set property ‘id‘ of 问题

异常介绍利用MybatisPlus进行数据插入时出现以下异常:org.mybatis.spring.MyBatisSystemException: nested exception is org.apache.ibatis.reflection.ReflectionException: Could not set property 'id' of 'class cn.net.hylink.datamanager.entity.DemoDTO' with value '13546728804522721

2021-01-28 14:29:13 262

原创 Elasticsearch 实现索引抽样查询

需求对索引中的数据随机抽样DSL实现通过采样script脚本排序的方式进行实现{ "from": 0, "size": 20, "timeout": "60s", "query": { "match_all": { "boost": 1 } }, "sort": [ { "_script": { "script": { "source": "Math.random()",

2021-01-27 11:21:56 174

原创 SpringBoot+RabbitMQ 解决 RabbitListener 动态队列名称问题:Attribute value must be constant

问题描述在多机测试环境下,采用fanout广播模式,会出现队列未被所需的机器消费到因此每台机器需要使用自己的队列接受消息,所以尝试使用以下的方案:private statuc final String PREFIX = "test-";private static final String QUEUE_NAME = PREFIX + UUID.randomUUID().toString();@RabbitListener(queues = QUEUE_NAME)public void proc

2021-01-19 17:01:57 470

原创 Elasticsearch 实现类似SQL语句中like %关键字% 的单纯模糊查询(不进行分词)

一、前言1.1 需求描述用Elasticsearch 实现类似SQL中like的功能('%aaa%'),查询数据时,要前后模糊匹配,不要分词(用户输入AAA,检索的结果中AAA需要连在一起,不能是AABA)1.2 所需知识点1.2.1 phrase-matchingphrase-matching 短语匹配 类似 match 查询, match_phrase 查询首先将查询字符串解析成一个词项列表,然后对这些词项进行搜索,但只保留那些包含全部搜索词项,且位置与搜索词项相同的文档。 比如对于quick

2021-01-05 19:06:00 1212

原创 再见2020,感谢有你

再见2020,感谢有你

2020-12-31 17:23:58 60

原创 java lambda表达式小技巧(一)分组groupingBy后保持排序不变

问题我的需求是查询出来一组数据后,按照其中的某个属性进行groupBy分组,分组后要保证顺序不变。但是实际用groupBy进行分组后,返回的数据是杂乱无章的,没有按照原来list 的顺序返回。排查首先去api中查找问题原因,查看Java的java.util.stream 包 Collectors 类 groupingBy 方法实现,结果如下: //一个参数 public static <T, K> Collector<T, ?, Map<K, List<T>&

2020-12-23 11:51:09 864

原创 ElasticSearch docker-compose集群部署、插件安装、开启安全认证

docker exec -it es01 /bin/bash/usr/share/elasticsearch/bin/elasticsearch-certutil ca/usr/share/elasticsearch/bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12 -out /usr/share/elasticsearch/config/elastic-certificates.p12 -pass

2020-12-18 13:56:08 242

原创 ElasticSearch docker-compose集群部署

一、前言Docker Compose是 docker 提供的一个命令行工具,用来定义和运行由多个容器组成的应用。使用 compose,我们可以通过 YAML 文件声明式的定义应用程序的各个服务,并由单个命令完成应用的创建和启动。二、docker-compose安装2.1 pip方式安装pip install docker-compose 2.2 查看版本docker-compose version三、集群架构3.1 结构图及解释Master节点作为Master节点与协调节点,为防

2020-12-17 14:48:17 370 2

原创 ElasticSearch docker单机部署及常用插件安装

一、部署ElasticSearch1.1 拉取镜像docker pull docker.elastic.co/elasticsearch/elasticsearch:7.9.31.2 运行容器ElasticSearch的默认端口是9200,我们把宿主环境9200端口映射到Docker容器中的9200端口,就可以访问到Docker容器中的ElasticSearch服务了,同时我们把这个容器命名为es。docker run -d --name es -p 9200:9200 -p 9300:9300

2020-12-16 16:02:46 121 1

原创 mysqldump 导出数据库中每张表的前n条

导出数据库下每张表前100条mysqldump -uroot -p123456 jxdb --where "1=1 limit 100" --lock-all-tables > /root/jxdb_backup_001.sql或mysqldump -uroot -p jxdb --where="true limit 100"> /root/jxdb_backup_002.sql回车再输入密码

2020-11-06 16:04:49 102

原创 mysql 权限登录问题:ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using password: YES)

问题描述grant all 无法设定某个用户的权限ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)解决方案停止mysql的服务service mysqld stop使用安全模式登录/usr/local/mysql/bin/mysqld_safe --skip-grant-tables >/dev/null 2>&1 &如果mysql

2020-10-26 17:23:58 121

原创 Presto(二)开启安全认证

前言为Presto CLI或JDBC和ODBC驱动程序启用基于HTTPS的前端密码身份验证。Presto CLI将用户名和密码发送给Presto协调器coordinator,然后Presto协调器coordinator使用外部LDAP服务或用户密码存储文件验证这些凭据。本文采用prestosql版本,下载地址:https://prestosql.io/download.html,基于用户密码存储文件进行验证。其他presto-jdb版本,下载地址: https://prestodb.io/。集群安装

2020-10-23 13:01:00 1254 1

原创 Apache Ranger 统一授权管理框架(三)与Hive集成

一、前提基于前篇文章《Apache Ranger 统一授权管理框架(二)集成CDH6.3.1编译安装》,已完成Apache Ranger编译和ranger-admin安装。二、ranger-hive-plugin安装在HiveServer2节点安装ranger-hive plugin下文ranger-hive-plugin即表示ranger-2.1.0-hive-plugin1、安装ranger-hive-plugintar -zxvf ranger-2.1.0-hive-plugin.ta

2020-10-16 17:04:14 761

原创 Apache Ranger 统一授权管理框架(二)集成CDH6.3.1编译安装

一、源码下载Apache Ranger当前在GitHub中最新版本是2.1.0。安装ranger需要源码安装,官方没有提供编译好的二进制包,同时,对于要使用ranger部署的Hadoop组件,需要考虑到版本之间的兼容性。官网地址:https://ranger.apache.org/Git地址:https://github.com/apache/ranger1、前提条件JDK 8Maven 3.6.2wget http://mirrors.tuna.tsinghua.edu.cn/apa

2020-10-16 14:19:00 1079 5

sqoop_3_1_4_0_315-1.4.7.3.1.4.0-315.noarch.rpm

HDP3.1.4版本对应的sqoop安装包,HDP3.1.4版本对应的sqoop安装包HDP3.1.4版本对应的sqoop安装包HDP3.1.4版本对应的sqoop安装包HDP3.1.4版本对应的sqoop安装包HDP3.1.4版本对应的sqoop安装包HDP3.1.4版本对应的sqoop安装包HDP3.1.4版本对应的sqoop安装包

2020-09-29

gmHappy的留言板

发表于 2020-01-02 最后回复 2020-06-30

抢注域名过审问题

发表于 2019-02-26 最后回复 2019-02-26

上周三申请专栏至今没有反馈望解决

发表于 2018-07-23 最后回复 2018-07-23

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除