- 博客(86)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 VMware 虚拟机共享宿主机文件夹
在虚拟机中，需要写文件到宿主机的文件系统中宿主机的文件共享给虚拟机使用这些场景就涉及到VM的虚拟机怎么访问宿主机的磁盘文件夹。
2024-06-19 22:59:11
2276
1
原创 dolphinscheduler之hivecli 任务
dolphinscheduler的hivecli任务是专门执行hivesql的任务类型。其中子类型分为FROM_SCRIPT和FROM_FILE。执行的脚本可以直接在文本框中编写执行的底层采用-e参数执行执行的脚本可以在线下编辑好，然后在[]->[]中上传。在hivecli节点中资源参数选择上传的资源sql文件即可。执行的底层逻辑采用-f参数执行。
2023-04-11 15:25:05
1188
1
原创 dolphinscheduler资源中心
资源中心提供文件管理，UDF管理，任务组管理。文件管理可以访问要执行的hive的sql文件UDF管理可以放置fllink执行的自定义udf函数jar包，hive自定义的UDF函数jar包以上的*.sql*.jar文件可以理解为资源，这些资源需要有个存储的地方，本文以minio存储作为介绍。
2023-04-11 15:20:45
1030
原创 spring中i18n国际化处理多语言
在项目中，往往用户会存在多语言的述求，比如说一个系统既有中文的用户，又有英文的用户。怎么来实现多语言呢？首先前后端分离的项目，前端会有自己的多语言实现方案，大致效果就是，用户切换语言，那些静态的按钮，菜单，标签等前端都可以自己切换。但是调用后端由后端返回的异常提示，消息体等，也需要后端实现多语言，大致的实现方案就是由前端传入一个参数，表示是期望后端提供什么类型的语言的消息体，后端就可以通过这个来实现国际化的消息了。本文介绍的是采用spring的国际化支持来实现国际化语言。
2022-12-15 16:55:00
3890
原创 spirng boot 打包,胖fat包和瘦thin包
打胖fat包采用的是spring的标准来执行，所以使用的是spring boot提供的打包插件。打瘦thin包，采用的是比较多的组件组合，启动采用的是java的cp命令来加载classpath.
2022-12-05 11:21:36
2213
原创 kafka日志策略
在学习日志清理策略之前，首先了解一下kafka是如何存储和管理日志的，因为他的管理都是基于segment的，所以有必要先了解清楚这个segement的产生策略。kafka启用delete的清理策略的时候需要注意配置segment.bytes: 每个segment的大小，达到这个大小会产生新的segment, 默认是1Gsegment.ms: 配置每隔n ms产生一个新的segment,默认是168h,也就是7天。
2022-11-03 17:30:26
1332
原创 maven中多模块间共享测试代码
maven中多模块间共享测试代码,moduleA 下的test代码TestClassA依赖moduleB下的test代码TestClassB也就是说TestClassB其实是一个共享的测试。如下图中介绍，这个项目来源于开源项目hop：hop-engine模块中的测试类RestoreHopEngineEnvironment依赖hop-core模块中的测试类RestoreHopEnvironment。
2022-10-25 15:56:53
806
原创 flink的Standalone-HA模式安装
本文使用flink1.14.5版本，介绍standalone-HA模式的安装。此模式时高可用架构，采用zookeeper协调多个JobManager，保持每时每刻有一个运行中的JobManager,其余JobManager处理stand by状态。因为涉及到运行过程中的状态数据的存储，如savepoint,checkoutpoint等。采用minio替换掉hdfs来存储状态。
2022-09-21 17:41:43
2394
6
原创 linux中程序打开文件句柄和创建进程限制
linux中配置程序打开文件的句柄和创建进程的数量表重要，一般系统默认情况下值为1024。对于一些程序或者中间件系统1024的数量比较小，需要增大这个数量。尤其是部署中间件或者大数据的机器一定要增大该值。本文的背景就是因为部署kafka的机器未做limit的优化，导致kafka集群拒绝连接。直接进入正文。......
2022-07-27 17:10:59
1818
原创 minio之集群安装docker版
采用两台linux机器,安装集群版本minio。docker安装的minio集群，可以使用文件夹代替磁盘，原生安装minio集群数据目录必须使用空的整块磁盘。集群版本也使用的纠删码维护数据，保证了数据备份（虽然只是在文件夹中），单机版本不会使用纠删码。生产环境建议还是使用一个数据目录一块磁盘。...
2022-07-25 14:24:05
2206
原创 mysql对表的创建，creat_time字段设置默认值，update_time字段更新操作设置为当前时间
update_time`datetimeDEFAULTCURRENT_TIMESTAMPONUPDATECURRENT_TIMESTAMPCOMMENT'更新时间',`create_time`datetimeDEFAULTCURRENT_TIMESTAMPCOMMENT'创建时间',upate_time，在新增数据的时候使用当前时间，在这行数据被跟新的时候设置成更新的当天时间。目前在设计表的时候，一般会对表添加两个公共字段，create_time,upate_time。......
2022-07-20 08:58:16
5207
原创 minio之docker的单机版安装
采用docker安装单机版minio二、命令解说端口暴露使用-p参数暴露端口，minio使用两个端口9000和9001,9000端口是提供对象存储访问的端口，9001是提供的管理后台的地址注意宿主机端口建议使用9000和9001端口，试着换用了其他端口，但是在访问管理控制台的时候重定向跳转会出问题。容器名--name 是docker镜像启动后的容器名字自动重启--restart=always环境变量-e 是传入的环境变量,主要是管理员的用户名和密码MINIO_ROOT_USER=roo..
2022-07-19 17:22:44
2055
原创 minio权限之IAM policy配置及用户赋权
通常我们在使用minio的时候，需要添加用户，并且给用户授予相应桶的权限。本地主要介绍单独给桶设置policy的相关权限（读写，只读，只写），同时给用户赋予相应的Policy。最终达到给用户赋予某个桶独立的读写、只读、只写权限。...
2022-07-18 17:43:42
11273
4
原创 minio之临时凭证及分享链接的生成和使用(代码篇)
上一篇文章介绍了minio之对象存储的访问链路minio之对象存储常用访问链路介绍_神云瑟瑟的博客-CSDN博客本篇主要主要介绍标准链路中的临时凭证的生成和使用，以及分享链接的生成主要的pom文件二、临时凭证的生成，并使用使用永久凭证构造AssumeRoleProvider对象，然后得到临时accesskey和secretkey。然后再构造StaticProvider对象最后生成minioclient。注意点：临时凭证的默认过期时间是1个小时，可以自定义设置，但是如果设置的值小于1小时，会被
2022-07-12 18:20:54
16576
8
原创 minio之对象存储常用访问链路介绍
本文主要介绍客户端（web,android,ios,小程序），服务端，对象存储端，三端的数据流链路。其中对象存储端不仅仅适用私有部署的minio,还适用公有云的对象存储，如阿里云，腾讯云，七牛云等云厂商提供的对象存储服务。1、客户端请求上传文件2、业务系统调用对象存储获取临时凭证3、对象存储返回临时凭证4、业务系统将临时凭证返给客户端，一般还会附带上传的路径5、客户端依靠临时凭证上传文件6、上传完成后，对象存储应答客户端7、客户端上传完成对象后，应答服务端。该步骤一般是调用业务操作接口 ....
2022-07-11 17:50:35
4269
原创 yum安装docker指定版本
以安装20.10.8-3.el7版本docker为例子配置yum源库查看yum源支持的docker版本 docker按照执行命令
2022-07-04 11:23:55
7660
1
原创 Shell中的查找和替换的sed命令
替换文件中的文本命令格式：sed -i 's/<search_str>/<target_str>/g' <file_path>参数解析：search_str：需要搜索的字符串（字符串带斜杠’/‘,需要有转移’//‘）target_str：需要替换成的目标字符串（字符串带斜杠’/‘,需要有转移’//'）file_path：操作的文件路径举例：将a.txt文件中的abc字符替换为xyzsed -i 's/abc/xyz/g' a.txt替换文件夹中文件
2022-05-30 13:11:09
7429
2
原创 Linux系统用户添加到用户组
1、Linux用户与用户组相关问题如何添加一个新用户到一个特定的组中？如何同时将用户添加到多个组中？如何将一个已存在的用户移动到某个组或者给他增加一个组?基本组与附属组的区别？2、用户相关的命令解说groupadd 添加用户组useradd 增加一个新用户或者更新默认新用户信息。usermod 更改用户帐户属性。3、概念和相关文件说明在 Linux 用户系统中存在两类组。第一类是主要用户组（主组），第二类是附加用户组（附属组）。主组：也被称为primary group、
2022-04-27 14:13:57
49067
原创 chrome浏览器插件SwitchyOmega的安装（离线安装）
一、说明SwitchyOmega为CHROME的一款http代理配置插件chrome的插件的安装方式有多种类，熟悉的可以直接百度，这是一篇比较全面的说明文档：http://www.cnplugins.com/tool/three-methods-to-install-crx.html该处仅说明下载原始包安装的场景二、下载下载页面地址：https://github.com/FelisCatus/SwitchyOmega/releases直接下载地址：https://github.c
2021-08-31 16:28:40
32406
5
原创 squid安装使用
squid的安装step1：安装squidyum install squid#编辑配置#限制来源ipacl mysrc src 111.111.111.111acl mysrc src 111.111.111.222#限制目标idacl mydst dst 10.10.3.0/24acl mydst dst 10.10.4.0/24acl mydst dst 10.10.5.0/24#用户认证auth_param basic program /usr/lib64/squid
2021-06-03 09:05:04
3579
原创 spark3访问低版本hive填坑记
一、背景现有的大数据平台版本组件 版本 hadoop 2.7.3 hive 1.2.7 因业务需要引入spark组件，引用的为最新版本spark3.0.1.业务上做测试，将Dataframe数据写入hive中。二、代码scala代码package com.shenyun.scala.exchangeimport org.apache.spark.sql.types.{StringType, StructField, StructType}impo
2020-12-17 14:46:06
4185
3
原创 hbase java api指定访问用户名
在默认情况情况，我们使用hbase的java api去访问hbase的服务时，使用的hbase的服务的用户名为启动java程序的系统用户名。在有些情况下，我们要指定用户。如何指定呢，就是本文的内容。
2020-09-01 14:22:17
2830
原创 linux下添加zookeeper开机自动启动
1、安装zookeeper请自行百度，假设安装的路径为：/opt/apache-zookeeper-3.5.7-bin启动：/opt/apache-zookeeper-3.5.7-bin/bin/zkServer.sh start查看：/opt/apache-zookeeper-3.5.7-bin/bin/zkServer.sh status停止：/opt/apache-zoo...
2020-02-23 22:13:29
2055
原创 spring boot的jar包的启动，停止脚本
一、背景spring boot的项目越来越多的打包成jar包来启动了。二、脚本封装脚本名为jarboot.sh，该脚本能启动该脚本通目录的spring boot的jar包文件启动：jarboot.sh start停止：jarboot.sh stop重启：jarboot.sh restart查看状态：jarboot.sh status三、脚本源码jarboot.s...
2019-06-10 15:52:38
1354
转载 服务化最佳实践
dubbo服务化最佳实践，官方提供的解决方法：分包建议将服务接口，服务模型，服务异常等均放在API包中，因为服务模型及异常也是API的一部分，同时，这样做也符合分包原则：重用发布等价原则(REP)，共同重用原则(CRP)如果需要，也可以考虑在API包中放置一份spring的引用配置，这样使用方，只需在Spring加载过程中引用此配置即可，配置建议
2017-11-12 14:24:11
581
转载 浅谈dubbo的ExceptionFilter异常处理
本文原地址：http://blog.csdn.net/mj158518/article/details/51228649背景我们的项目使用了dubbo进行不同系统之间的调用。每个项目都有一个全局的异常处理，对于业务异常，我们会抛出自定义的业务异常（继承RuntimeException）。全局的异常处理会根据不同的异常类型进行不同的处理。最近我们发现，某个系统
2017-11-12 13:03:06
2539
原创 jenkins 选择git项目版本下框
在jenkins参数化构建的过程中，我们往往要选择git某个版本的代码来编译。这儿我们使用一个下拉框。一般我们会使用Dynamic Choice ParameterChoice Script如下def heads= ("git ls-remote -h git@github.com:xxxx/xxxx.git").execute()def headlist=heads.text.re
2017-08-31 10:41:40
2730
转载 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-03-31 15:43:13
371
原创 流程引擎camunda集群部署方案
camunda是一个流程引擎框架，fork activiti得来，官网：https://camunda.org/集群部署的效果；1、多个机器运行流程应用2、流程有更新的时候，兼容老流程（通常新流程是添加节点，和处理逻辑）3、部署新应用的机器能执行新老job,部署老应用的机器不能执行，新应用的job修改点：1、流程定义的发布，原版中，需要发布的bpmn与数据库
2017-02-24 18:49:35
8732
1
原创 nexus推荐配置,release,snapshot账户配置
介绍：nexus主要用于公司内部对java jar包的管理，（安装请自行baidu）安装之后，有三个用户admin:默认密码为admin123（最高管理员）deployment:默认密码为deployment123(拥有发布权限，可以登录上nexus删除jar)anonymous: 免登录用户，可以在nexus界面上查看 jar包公司常使用的管理jar的方法sn
2016-12-23 17:41:32
3907
原创 spring boot 原生错误处理ErrorController
最近开始使用springboot，发现一个奇怪的现象，一个url报错使用浏览器地址请求返回一个html界面Whitelabel Error PageThis application has no explicit mapping for /error, so you are seeing this as a fallback.Tue Nov 29 10:48:26 CST 2016
2016-11-29 11:07:37
18876
原创 jndi使用druid,在tomcat中配置druid监控
1、添加druid的jar包到【${Tomcat_home}/lib】目录2、在【${Tomcat_home}/conf/server.xml】中增加jndi数据源<Resource name="jdbc/MyDataSource" auth="Container" type="javax.sql.DataSource" factory="com.alibaba.druid.p
2016-11-05 11:16:17
6067
原创 tomcat后端允许跨域访问的配置
tomcat后端允许跨域访问的配置 CorsFilter org.apache.catalina.filters.CorsFilter CorsFilter /*资料1：http://enable-cors.org/server_tomcat.html资料2：http://tomcat.apache.org/tomcat-7.0-doc/config/fi
2016-08-02 17:43:28
20150
yarn-v0.23.2.tar.gz
2020-07-22
jemalloc-4.2.1.tar.gz
2020-06-16
redis中文帮助文档
2014-06-12
NPOI，c#操作excel的建议组建dll（包括详细使用手册）
2013-05-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人