后端--开发
喜欢雨天的我
爱技术,爱生活.
展开
-
SpringCloud 架构组件简易比较
文章目录概要架构各个模块概要架构各个模块原创 2019-10-31 20:49:06 · 1431 阅读 · 0 评论 -
Elasticsearch---性能提升建议
文章目录服务器层面代码层面表结构层面参考服务器层面服务器层面的优化主要是内存和负载均衡。避免ES由于JVM大于32G而导致不采用内存对象指针压缩技术,导致索引占用空间更大。避免没有做到ES分片没有很好的负载,导致一个节点中 承担了过多的处理导致拖慢整个处理时间。当然还有其他方面的优化采用SSD作为存储设备。使用本地存储,避免使用NFS或者SMB注意使用虚拟存储使用性能更好的CPU...原创 2018-10-26 13:26:19 · 1723 阅读 · 1 评论 -
SpringCloud--zuul和oauth2
zuuloauth2资源配置授权服务web策略用户UserDetails服务配置文件 此篇我将介绍 将zuul 层 和 oauth2 进行分别作为两个服务处理。zuul 进行路由分发和进行关联oauth2服务Pom需要的依赖 <dependency> <group...原创 2018-09-16 20:40:40 · 18300 阅读 · 11 评论 -
Java.lang.OutOfMemoryError: GC overhead limit exceeded
心得 今天奇怪了 ,从远程拉的项目后,运行就报GC overhead limit exceeded并且新建的项目依然出现这个问题。于是Google了一番 也没解决我们问题。 后来注意到了IDEA 下的workspace.xml文件居然有220MB 我将其删除后,项目可以愉快的跑起来了。看了workspace.xml发现其中循环引用,导致了OOM。参考资料Java OOM的一些引发...原创 2018-08-28 18:41:54 · 2202 阅读 · 0 评论 -
SpringCloud--consul的使用方式
docker容器中的consul示例注册方配置文件示例注册方启动类开启注解发现方配置文件feign 接口声明进行消费拓展 由于Eureka 早前一个月 宣布不再维护,目前微服务已经转为以consul作为注册和发现。其中有部分坑 一下一一介绍docker容器中的consul本地使用docker的图形化kitematic进行安装并运行con...原创 2018-08-31 14:15:06 · 2673 阅读 · 0 评论 -
SpringBoot--代码方式读取properties出现异常解决
问题问题出现的代码String ss = Objects.requireNonNull(app.getClass().getClassLoader().getResource(config.properties")).getPath(); System.out.println("当前获取的地址为: " + ss); try { F...原创 2018-08-17 19:56:04 · 1252 阅读 · 0 评论 -
MAVEN--本地jar打包
Maven打包 在开发项目的时候,使用了第三方公司提供的jar包,只能引用器jar包。开发时候使用 <systemPath>${project.basedir}/lib/dcms-mq-client-1.0-SNAPSHOT.jar</systemPath> 进行引用,当打包时候 不成功,因此需要更改为 <systemPath>${p...原创 2018-08-17 15:33:41 · 495 阅读 · 0 评论 -
Nginx--RTMP转发和点播
环境布置推荐的几种配置点播模型直播回放测试OBS推流 由于产品在内网中部署,采用Nginx 进行rtmp 进行转发。环境布置因为内网有docker,则找到一个star很高的容器 nginx-rtmp(docker) (内网部署请看docker 镜像的导出和导入)docker run -d -p 1935:1935 -p 8080:808...原创 2018-08-14 17:22:23 · 12372 阅读 · 8 评论 -
Hadoop on Windows - “Error JAVA_HOME is incorrectly set.”
Error JAVA_HOME is incorrectly set在运行hdfs命令时出现了,“Error JAVA_HOME is incorrectly set.”,但是JAVA_HOME已经配置了。 后来发现由于C:\Program Files\Java\jdk1.8.0_171中 Program Files之间存在空格,导致其脚本无法认识。 因此更改了Java的目录结构到G:\...原创 2018-07-15 14:30:50 · 800 阅读 · 0 评论 -
Springboot--从配置文件properties读取字符串乱码
当读取properties的内容为:发现中文乱码。原因是由于默认读取的为ISO-8859-1格式,因此需要切换为UTF-8。 主要方式有如下两种方式一在你的application.properties中增加如下配置,避免中文乱码spring.http.encoding.enabled=true方法二在你的settings里面的File Encodings进行更改为如...原创 2018-07-24 16:27:07 · 1507 阅读 · 1 评论 -
Swagger2--Springboot使用
配置进行代码配置Swagger2注解介绍 在进行编写Resutful 接口时候,找寻了可以快速生成注释内容给前端或移动端进行使用对接。最后锁定了Swagger2这个利器。配置首先需要在pom.xml进行增加我们需要Swagger2所需要的依赖。 <!-- Swagger 接口文档 --> <dependency&gt...原创 2018-07-12 10:55:04 · 12003 阅读 · 0 评论 -
Win10--Spark2.3 + hadoop3.1 本地环境搭建
准备工作进行配置测试 在使用docker 未果的情况下,无奈采用本地环境搭建。中间有部分坑准备工作Hadoop 所需要更换的bin目录下的文件Hadoop3.1 进行下载Spark2.3.1 下载包JDK1.8进行配置将 下载好的Hadoop 和 Spark进行解压,我进行了重命名 如图1.1 图1.1将 准备工作中 第一项下载的包...原创 2018-07-11 23:35:25 · 3779 阅读 · 1 评论 -
mysql乱码
文章目录项目配置Mysql配置由于最近部署项目出现了mysql乱码问题。由几个方面共同影响的项目配置由于项目没有设置characterEncoding=utf-8,需要进行指定jdbc.url = jdbc:mysql://localhost:3306/shop?characterEncoding=utf-8Mysql配置修改/etc/mysql/conf.d/mysql.c...原创 2018-09-27 19:00:36 · 1465 阅读 · 0 评论 -
Mac--jenv管理jdk版本
文章目录mac进行安装基本操作方式mac进行安装进行安装brew install jenv -y配置环境变量echo 'export PATH="$HOME/.jenv/bin:$PATH"' >> ~/.bash_profileecho 'eval "$(jenv init -)"' >> ~/.bash_profile基本操作方式查看当前以...原创 2018-09-28 09:35:39 · 3168 阅读 · 0 评论 -
Gradle kotlin Springboot多模块导致无法引用kotlin的类文件(BootJar)
BUG项目 由于以Kotlin和Springboot中的多模块内容进行编写架构中,发现 bootJar我用kotlin编写的jar包无法被正常的引用到,通过Gradle和SpringBoot项目下的Issue询问 ,发现是由于Springboot插件,由于我的子模块集成了父容器的SpringBoot插件,导致 默认关闭了jar任务。原因连接处理方法在你的子模块内容开发jar包任务如下如...原创 2019-05-01 13:27:49 · 1787 阅读 · 2 评论 -
ES---多索引设计(思路)
为了进行ES性能优化,想到如下索引设计进行达到 搜索细化索引并提高查询对应时间范围内的查询速度。方案索引别名-A索引-A_normal_2019-03-16索引-A_normal_2019-03-17索引-A_normal_2019-03-18索引-A_normal_2019-03-19更新索引-A_UPDATE注意:ES 全部类型的表都需要按照对应类型创建 别名。ES 所有非别名...原创 2019-03-20 09:30:00 · 3945 阅读 · 1 评论 -
Arangodb--初始化collection
使用pyarango进行创建需要的集合和边内容(用来进行初始化arangodb脚本)安装pip install pyarango脚本from pyArango.connection import *# 用户名username = ""# 密码password = ""# arangodb地址arangoURL = "http://127.0.0.1:8529"# 需...原创 2019-03-07 17:47:36 · 1458 阅读 · 0 评论 -
Orientdb--写入数据
最近在调研图数据库,由于使用的是斯坦福数据(pyorientdb 不支持3.7协议,因此换成kotlin进行写入数据)。脚本内容class ImportListener : ApplicationListener<ApplicationReadyEvent> { private val log = LoggerFactory.getLogger(ImportListe...原创 2019-03-07 11:54:51 · 1685 阅读 · 0 评论 -
ES--身份证判断性别
身份证性别是身份证号的第17位,奇数为男 偶数为女ES脚本 int type = params.sexType; boolean isStart = params.isStart; if(!isStart){ ...原创 2019-01-31 19:38:11 · 1559 阅读 · 0 评论 -
ES--Kibana相关操作创建索引和Mapping
文章目录创建索引创建别名创建Mapping创建索引kibana 使用如下命令进行创建索引内容。PUT test_index/创建别名POST _aliases{ "actions": [ { "add": { "index": "test_index", "alias": "test_index_name"原创 2019-01-18 15:09:20 · 33739 阅读 · 0 评论 -
client does not support authentication
链接mysql后执行如下sql。use mysql;alter user 'root'@'%' identified with mysql_native_password by 'root';flush privileges;输入完成后即可链接服务器上的mysql原创 2019-01-01 10:34:02 · 793 阅读 · 0 评论 -
Hadoop--Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:dr
问题在使用java程序访问hdfs://localhost:9000端口进行创建目录时候,出现权限问题Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:dr 解决方法修改hdfs-site.xml 增加 <property> <name>dfs....原创 2019-01-05 12:00:31 · 4346 阅读 · 0 评论 -
Springboot--ELK快速搭建
文章目录搭建ELKSpringboot使用ELKKibana查看示例代码快速搭建自己的日志收集,方便各个微服务的日志收集。搭建ELK采用docker-elk进行快速搭建ELK的环境进行clone仓库git clone https://github.com/deviantony/docker-elk.git开启docker-compose up -d (需要事先安装好docker...原创 2018-12-28 13:19:32 · 1787 阅读 · 1 评论 -
ES--script进行时间聚合(非使用date_histogram)
由于产品线上 日期时间使用的非 ES的date数据结构,导致无法使用date_histogram进行时间聚合的统计。因此这里使用了script来达到聚合的效果。介绍本次使用了3亿量的数据进行测试,效果还是蛮差的。这里先将一下使用方式。lang代表使用的脚本方式params需要脚本传递的参数inline脚本字符串 (新版本请使用source)GET _search{ "qu...原创 2018-12-26 21:30:12 · 6065 阅读 · 1 评论 -
Sprintboot--emqtt的推送
Emqtt-Springbot使用Emqtt进行mqtt协议的传输发布消息。通过订阅对应的topic进行推送内容。第三方Emqttmaven依赖 <dependency> <groupId>org.springframework.boot</groupId> <ar...原创 2018-07-09 22:55:21 · 2178 阅读 · 0 评论 -
Hadoop--组件了解
准备接触大数据体系,所以我优先去了解一下Hadoop这个大生态环境,并且去了解这个生态的整体组件内容,都有什么。Apache Hadoop官网,了解到Hadoop是一个开源软件作为可靠,可升级的分布式计算。要了解Hadoop我觉得先去了解其中的组件,了解其对应的组件都有什么,这样方便你有一个大范围的了解,并可以更好的深入了解其中各个内容,并串联起来。 模块名 H...原创 2018-05-26 10:44:53 · 843 阅读 · 0 评论 -
velocity模板技术
elocity模板引擎学习velocity与freemaker、jstl并称为Java web开发三大标签技术,而且velocity在codeplex上还有.net的移植版本NVelocity,(注:castle团队在github上也维护了一个版本)对于使用异构技术的团队(即要搞.NET又要搞JAVA),总是希望找一种通用的技术,兼容所有技术平台,以便降低学习成本,无疑velo转载 2017-07-13 15:54:18 · 1527 阅读 · 0 评论 -
Spring-@Autowired注解、@Resource注解和@Service注解
Spring5:@Autowired注解、@Resource注解和@Service注解什么是注解传统的Spring做法是使用.xml文件来对bean进行注入或者是配置aop、事物,这么做有两个缺点:1、如果所有的内容都配置在.xml文件中,那么.xml文件将会十分庞大;如果按需求分开.xml文件,那么.xml文件又会非常多。总之这将导致配置文件的可读性与转载 2017-07-13 15:18:05 · 689 阅读 · 0 评论 -
Spring的相应框架 (概要简述)
SpringBatch 中文翻译后的介绍SpringBoot 中文翻译后的介绍原创 2017-06-06 18:08:56 · 416 阅读 · 0 评论 -
SpringBoot进行部署到云的Tomcat
SpringBoot打War包默认SpringBoot打出来的是jar包,供直接运行,但是项目需要打成war包进行放到云服务的tomcat下进行运行。按如下步骤进行修改你的程序入口,去继承SpringBootServletInitializer 修改你的pom.xml进行更改。1.<dependency> <groupId>org.springframework.boot原创 2017-06-06 16:21:36 · 1923 阅读 · 0 评论 -
Mybatis 自动构建
使用Mybatis 进行数据库映射操作时候,可以使用构建jar包,进行自动生成所需要的数据库管理的接口脚本等。配置Mybatis <!-- mybatis 自动构建jar包--> <dependency> <groupId>org.mybatis.generator</groupId> <artifactId>mybatis-原创 2017-05-20 15:34:36 · 530 阅读 · 0 评论 -
Tomcat的配置设置
Tomcat部署Web应用方法总结在Tomcat中部署Java Web应用程序有两种方式:静态部署和动态部署。在下文中$CATALINA_HOME指的是Tomcat根目录。一、静态部署静态部署指的是我们在服务器启动之前部署我们的程序,只有当服务器启动之后,我们的Web应用程序才能访问。以下3种方式都可以部署:(以PetWeb项目为例说明,PetWeb转载 2017-05-02 10:34:08 · 8475 阅读 · 0 评论 -
Ngunx介绍
序言Nginx是lgor Sysoev为俄罗斯访问量第二的rambler.ru站点设计开发的。从2004年发布至今,凭借开源的力量,已经接近成熟与完善。Nginx功能丰富,可作为HTTP服务器,也可作为反向代理服务器,邮件服务器。支持FastCGI、SSL、Virtual Host、URL Rewrite、Gzip等功能。并且支持很多第三方的模块扩展。Nginx的稳定性、功转载 2017-05-01 10:54:25 · 1502 阅读 · 0 评论 -
MySql的语法
1.创建表的语句CREATE TABLE [IF NOT EXISTS]tabke_name( column_name data_type, ....)2. 查看数据表列表SHOW TABLES [FROM db_name] [LINK 'pattern' | WHERE expr]3. 查看数据表结构SHOW COLUMNS FROM tbl_name //用来查看数据表中对应字段的原创 2017-04-04 22:05:04 · 520 阅读 · 0 评论 -
Spring+Spring Mvc+Mybatis+MySqlite(SSM框架整合Xml配置)
#原创 2017-03-05 16:12:51 · 2877 阅读 · 0 评论 -
Spring中容器的作用域
当通过Spring容器创建一个Bean的实例时,不仅可以完成Bean实例的实例化,还可以为Bean指定特定的作用域。Spring支持如下5中作用于域(scope):我以表格的形式进行区分介绍: 作用域名 描述 singleton 单利模式,在整个Spring IoC容器中,singleton作用域的Bean将只生成一个实例 prototype 每次通过容器的getBean()原创 2017-03-05 16:00:02 · 931 阅读 · 0 评论 -
Tomact配置(详细)
Tomact配置 Tomcat下conf下server.xml的文件配置信息,基本上不用做任何修改就可以使用,修改的地方就是host区域的一些配置,此文件设置端口为80。注意:Tomcat配置文件中(即server.xml文件)不能出现中文,否则服务是无法启动的。<!-- Server中的port监听关闭tomcat的请求,shutdown指定向端口发送的命令串--> <Server po原创 2017-03-02 22:24:58 · 1074 阅读 · 0 评论 -
SpringBatch 和SpringBoot的相关资料
SpringBootYoutube上的SpringBoot QuickStart的教学SpringBatch入门和深入Blog,具有示例代码Youtube上SpringBatch的教学原创 2017-06-27 13:42:28 · 709 阅读 · 1 评论 -
MAVEN 淘宝中央仓库
避免下载国外包导致的浪费时间,因此更改为淘宝的Maven仓库修改maven根目录下的conf文件夹中的setting.xml文件,内容如下:mirrors> mirror> id>alimavenid> name>aliyun mavenname> url>http://maven.aliyun.com/nexus/content/groups原创 2018-01-15 16:16:44 · 12789 阅读 · 0 评论 -
SpringBoot--配置MongoDB并简单调用
第一步集成第二部配置第三部简单的测试 MongoDB 是一个基于分布式文件存储的开源数据系统,支持的数据结构为BSON格式,类似JSON的一种格式。因此可以存储非常复杂的数据。具有以下特点 支持各种变成语言,java,C++,PHP,C#,Python等。 面向文档存储,文档结构类似于JSON的BSON格式 提供丰富的查询功能,支持对数据建立索...原创 2018-02-14 13:47:06 · 2506 阅读 · 0 评论