自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

细心程度决定你的成败

不经历岁月,何来成熟。

原创 Helm入门文档和介绍

文章目录概要主要概念安装包安装安装Tiller命令使用Chart模版介绍和使用Chart结构介绍Chart使用 概要   helm 作为kubernetes 的包管理。 github地址 Helm hub 主要概念 Helm   是一个命令行下的客户端工具   Helm 通过kuber...

2020-07-02 17:57:51 78 0

原创 SpringCloud 架构组件简易比较

文章目录概要架构各个模块 概要 架构 各个模块

2019-10-31 20:49:06 283 0

原创 rpc error: code = 2 desc = oci runtime error: exec failed: container_linux.go:247: starting containe

问题 由于Docker 安装的比较老,docker exec -it test bash 存在Bug问题 如下: rpc error: code = 2 desc = oci runtime error: exec failed: container_linux.go:247: startin...

2019-05-17 10:07:12 1561 0

原创 Gradle kotlin Springboot多模块导致无法引用kotlin的类文件(BootJar)

BUG项目 由于以Kotlin和Springboot中的多模块内容进行编写架构中,发现 bootJar我用kotlin编写的jar包无法被正常的引用到,通过Gradle和SpringBoot项目下的Issue询问 ,发现是由于Springboot插件,由于我的子模块集成了父容器的SpringBoo...

2019-05-01 13:27:49 590 2

原创 ES---多索引设计(思路)

为了进行ES性能优化,想到如下索引设计进行达到 搜索细化索引并提高查询对应时间范围内的查询速度。 方案 索引别名-A索引-A_normal_2019-03-16索引-A_normal_2019-03-17索引-A_normal_2019-03-18索引-A_normal_2019-03-19更新...

2019-03-20 09:30:00 1965 1

原创 Arangodb--初始化collection

使用pyarango进行创建需要的集合和边内容(用来进行初始化arangodb脚本) 安装 pip install pyarango 脚本 from pyArango.connection import * # 用户名 username = "" # 密码 passwor...

2019-03-07 17:47:36 513 0

原创 Orientdb--写入数据

最近在调研图数据库,由于使用的是斯坦福数据(pyorientdb 不支持3.7协议,因此换成kotlin进行写入数据)。 脚本内容 class ImportListener : ApplicationListener<ApplicationReadyEvent> { ...

2019-03-07 11:54:51 782 0

原创 ES--身份证判断性别

身份证性别是身份证号的第17位,奇数为男 偶数为女 ES脚本 int type = params.sexType; boolean isStart = params.isStart; ...

2019-01-31 19:38:11 697 0

原创 ES--Kibana相关操作创建索引和Mapping

文章目录创建索引创建别名创建Mapping 创建索引 kibana 使用如下命令进行创建索引内容。 PUT test_index/ 创建别名 POST _aliases { "actions": [ { "add": { ...

2019-01-18 15:09:20 17699 0

原创 Hadoop--Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:dr

问题 在使用java程序访问hdfs://localhost:9000端口进行创建目录时候,出现权限问题 Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:dr 解决方法 修...

2019-01-05 12:00:31 1232 0

原创 client does not support authentication

链接mysql后执行如下sql。 use mysql; alter user 'root'@'%' identified with mysql_native_password by 'root'; flush privileges; ...

2019-01-01 10:34:02 223 0

原创 Springboot--ELK快速搭建

文章目录搭建ELKSpringboot使用ELKKibana查看示例代码 快速搭建自己的日志收集,方便各个微服务的日志收集。 搭建ELK 采用docker-elk进行快速搭建ELK的环境 进行clone仓库git clone https://github.com/deviantony/d...

2018-12-28 13:19:32 659 0

原创 ES--script进行时间聚合(非使用date_histogram)

由于产品线上 日期时间使用的非 ES的date数据结构,导致无法使用date_histogram进行时间聚合的统计。因此这里使用了script来达到聚合的效果。 介绍 本次使用了3亿量的数据进行测试,效果还是蛮差的。这里先将一下使用方式。 lang代表使用的脚本方式 params需要脚本传递...

2018-12-26 21:30:12 2240 1

原创 Unreal Engine 4---学习文档

最近在了解虚幻4引擎和相关maya建模 以及次世代贴图软件。这里分享目前我所接触的一些文档 官方文档,讲的很细 : https://docs.unrealengine.com/en-us/Engine/Animation/AnimHowTo Unreal Engine 4 从入门到精通...

2018-11-28 09:22:08 526 0

原创 Elasticsearch---性能提升建议

文章目录服务器层面代码层面表结构层面参考 服务器层面 服务器层面的优化主要是内存和负载均衡。避免ES由于JVM大于32G而导致不采用内存对象指针压缩技术,导致索引占用空间更大。避免没有做到ES分片没有很好的负载,导致一个节点中 承担了过多的处理导致拖慢整个处理时间。当然还有其他方面的优化 采...

2018-10-26 13:26:19 765 0

原创 FFMPEG--windows安装

文章目录FFMPEG下载安装资料 FFMPEG FFMPEG作为强大的视频工具。可以很方便的进行处理视频相关的转码操作。 下载 前往FFmpeg进行下载windows所需要的依赖内容 根据你所需要的Linking和设备进行选择 说明 模式名 模式说明 sta...

2018-10-04 10:18:10 894 0

原创 Mac--jenv管理jdk版本

文章目录mac进行安装基本操作方式 mac进行安装 进行安装 brew install jenv -y 配置环境变量 echo 'export PATH="$HOME/.jenv/bin:$PATH"' >> ~/.ba...

2018-09-28 09:35:39 1117 0

原创 mysql乱码

文章目录项目配置Mysql配置 由于最近部署项目出现了mysql乱码问题。由几个方面共同影响的 项目配置 由于项目没有设置characterEncoding=utf-8,需要进行指定 jdbc.url = jdbc:mysql://localhost:3306/shop?characterEn...

2018-09-27 19:00:36 1058 0

原创 Kubernetes--阿里云服务安装

由于官网给的地址为google地址,被墙。因此采用阿里的镜像执行安装。安装方式传送门 传送门 Kubernetes 阿里云服务器安装方式 https://yq.aliyun.com/articles/626118 ...

2018-09-22 20:07:56 759 0

原创 SpringCloud--zuul和oauth2

zuul oauth2 资源配置 授权服务 web策略 用户UserDetails服务 配置文件 此篇我将介绍 将zuul 层 和 oauth2 进行分别作为两个服务处理。 zuul 进行路由分发和进行关联oauth2服务 Pom需要的依赖 ...

2018-09-16 20:40:40 14415 11

原创 Gradient has outdated direction syntax. New syntax is like `to left` instead of `right`.

异常信息 由于语法过时,导致此部分内容不生效 WARNING in ./src/app/pages/login/login.component.scss (Emitted value instead of an instance of Error) autoprefixer: G:\p...

2018-09-16 09:50:12 3007 1

原创 SpringCloud--consul的使用方式

docker容器中的consul 示例 注册方 配置文件 示例注册方 启动类开启注解 发现方 配置文件 feign 接口声明 进行消费 拓展 由于Eureka 早前一个月 宣布不再维护,目前微服务已经转为以consul作为注册和发现。其中有部分坑 一下一一介绍 ...

2018-08-31 14:15:06 1310 0

原创 Java.lang.OutOfMemoryError: GC overhead limit exceeded

心得 今天奇怪了 ,从远程拉的项目后,运行就报GC overhead limit exceeded并且新建的项目依然出现这个问题。于是Google了一番 也没解决我们问题。 后来注意到了IDEA 下的workspace.xml文件居然有220MB 我将其删除后,项目可以愉快的跑起来了。看了...

2018-08-28 18:41:54 524 0

原创 SeLinux永久关闭 --- Linux进行更换22端口

关闭Selinux Linux 进行更换22端口 参考资料 由于安全策略 防止勒索病毒进行内网传播破坏需要关闭敏感端口 例如: 22 导致所有使用22端口的服务器 都要将端口更换其他端口。因此就涉及了Linux更换22端口和关闭Selinux 。对Selinux不理解的可以看下...

2018-08-28 10:07:02 1703 0

原创 SpringBoot--代码方式读取properties出现异常解决

问题 问题出现的代码 String ss = Objects.requireNonNull(app.getClass().getClassLoader().getResource(config.properties")).getPath(); Sy...

2018-08-17 19:56:04 418 0

原创 MAVEN--本地jar打包

Maven打包 在开发项目的时候,使用了第三方公司提供的jar包,只能引用器jar包。开发时候使用 <systemPath>${project.basedir}/lib/dcms-mq-client-1.0-SNAPSHOT.jar&...

2018-08-17 15:33:41 141 0

原创 Nginx--RTMP转发和点播

环境布置 推荐的几种配置 点播模型 直播回放 测试 OBS推流 由于产品在内网中部署,采用Nginx 进行rtmp 进行转发。 环境布置 因为内网有docker,则找到一个star很高的容器 nginx-rtmp(docker) (内网部署请看docke...

2018-08-14 17:22:23 7208 7

原创 Springboot--从配置文件properties读取字符串乱码

当读取properties的内容为:发现中文乱码。原因是由于默认读取的为ISO-8859-1格式,因此需要切换为UTF-8。 主要方式有如下两种 方式一 在你的application.properties中增加如下配置,避免中文乱码 spring.http.encoding.enab...

2018-07-24 16:27:07 847 1

原创 Hadoop on Windows - “Error JAVA_HOME is incorrectly set.”

Error JAVA_HOME is incorrectly set 在运行hdfs命令时出现了,“Error JAVA_HOME is incorrectly set.”,但是JAVA_HOME已经配置了。 后来发现由于C:\Program Files\Java\jdk1.8.0_171中 ...

2018-07-15 14:30:50 188 0

原创 Swagger2--Springboot使用

配置 进行代码配置 Swagger2注解介绍 在进行编写Resutful 接口时候,找寻了可以快速生成注释内容给前端或移动端进行使用对接。最后锁定了Swagger2这个利器。 配置 首先需要在pom.xml进行增加我们需要Swagger2所需要的依赖。 &a...

2018-07-12 10:55:04 8595 0

原创 Win10--Spark2.3 + hadoop3.1 本地环境搭建

准备工作 进行配置 测试 在使用docker 未果的情况下,无奈采用本地环境搭建。中间有部分坑 准备工作 Hadoop 所需要更换的bin目录下的文件 Hadoop3.1 进行下载 Spark2.3.1 下载包 JDK1.8 进行配置 将 下载好的Hadoo...

2018-07-11 23:35:25 2501 1

原创 Sprintboot--emqtt的推送

Emqtt-Springbot 使用Emqtt进行mqtt协议的传输发布消息。通过订阅对应的topic进行推送内容。 第三方 Emqtt maven依赖 <dependency> <groupId...

2018-07-09 22:55:21 1451 0

原创 Docker--避免import镜像无法自启服务

由于在内网部署,导致我必须使用export和import这种方式进行加载我的镜像。在部署的时候我发现,当我启动容器可以正常起来,却没有启动我容器里面对应的服务。在思来想去,其实是由于我并没有吧我的脚本设置为启动容器就启动。知道问题后,我已centos7以上的版本介绍,如何设置开机启动我们的脚...

2018-06-08 12:26:19 1814 0

原创 Docker--离线安装以及本地yum源构建

docker离线安装 由于是做内网的部署,所以服务器不会有外网存在,因此需要使用docker进行部署相应容器。先要进行离线部署docker环境 环境要求 1. centos7.0内核 2. docker1.13版本 docker 离线安装包下载 通过命令行,进行下载安装包到/...

2018-06-05 23:28:05 12142 6

原创 Spark-- docker + spark +hadoop进行搭建本机的伪集群

简介 之前摆弄了一个docker + hadoop3.1 的镜像,通不了,所以这里直接先再github上找了一个Spark搭建的集群。 docker-spark : https://github.com/houshuai0816/docker-spark 这个项目中当前使用的是Spark 2...

2018-05-29 16:13:30 1828 0

原创 Hadoop--组件了解

准备接触大数据体系,所以我优先去了解一下Hadoop这个大生态环境,并且去了解这个生态的整体组件内容,都有什么。Apache Hadoop官网,了解到Hadoop是一个开源软件作为可靠,可升级的分布式计算。要了解Hadoop我觉得先去了解其中的组件,了解其对应的组件都有什么,这样方便你有一个...

2018-05-26 10:44:53 568 0

原创 Scala--语言特性

在去了解Scala的语言基本使用上 我参考了 Scala 教程| 菜鸟教程 里面简单了介绍了语法相关内容。刚开始感觉很像kotlin。 下面列了一些其注意地方。 object是默认实现的单利模式,在Scala中是没有static。 注意:scale中方法的引用省略了.(点)符号 /...

2018-05-25 22:07:25 1611 0

原创 Scala--IDEA的配置

新入职的公司前和面试官聊的时候了解到其大部分内容是使用Scala语言进行开发,为了能尽快的融入其中,进行一系列关于Scala相关的内容。 干事先利器 我们准备进行Scala前,我们需要进行配置我们的开发环境,那么我以Intellij idea进行配置说明(官方介绍) 第一步:...

2018-05-25 21:17:27 4736 0

原创 docker异常--docker bind: cannot assign requested address.

当我在Window上指定IP+端口号 去开启我的容器 会报如下错误。 Error response from daemon: Cannot restart container test_mysql: driver failed programming external connectivity ...

2018-04-21 10:43:10 5083 0

原创 maven-- 打包忽略测试

由于项目中用到websocket 导致maven打package时候会进入单元测试,导致缺少对应的包依赖,导致异常,因此需要忽略测试 命令行内容 mvn package -Dmaven.test.skip=true ...

2018-04-11 17:54:20 560 0

提示
确定要删除当前文章?
取消 删除