- 博客(206)
- 资源 (53)
- 收藏
- 关注
RSS订阅原创 linux修改目录的owner及group权限
Chown -R xxx.xxx filenamechown -R hdfs.hadoop datax要分成4段来看chown是命令用来修改目录的权限-R代表递归，就是从当前目录到他最下面的子目录hdfs:hadoop代表将目录和文件的owner和group都设成hdfs和hadoopdatax代表从当前目录hadoop开始修改...
2022-05-21 20:13:27
1783
1
原创 上云发送邮件报 Could‘t connect to host,port: smtp.exmail.qq.com,25； timout -1解决方式
上云发送邮件报 Could't connect to host,port: smtp.exmail.qq.com,25; timout -1解决方式
2022-05-13 10:17:07
2217
原创 Mysql A行的数据指定列，更新到B行的指定列
直接代码如下：UPDATE tbl_datasource as aINNER JOIN ( SELECT id ,jdbc_url ,username ,password FROM tbl_datasource where id = 36 ) bon 1 = 1SET a.jdbc_url = b.jdbc_url,a.username = b.username,a.password = b.passwordwhere a.id = 37...
2022-05-11 10:23:12
333
原创 设置MySQL数据库备份的binlog_format
常规默认的format要求的有：cannel,rds同步数据，其中数据库备份DBS提供数据全量备份、增量备份和数据恢复。用户首先要创建备份计划（DBS实例），随后配置备份计划，为了备份正常运行，DBS备份对数据库配置和账号有一定要求。使用说明binlog_format需要设置为row，而row模式binlog会包含DML完整的前镜像和后镜像数据，便于数据恢复。 binlog_format不推荐设置为statement、mixed模式，相比row模式，没有更好收益。 将binlog_format设
2022-05-09 14:57:28
998
转载 原生时代 DevOps 如何选型
附上地址：今日头条https://www.toutiao.com/article/7071062774238954022/?app=news_article_lite×tamp=1646611735&use_new_style=1&req_id=2022030708085401013103423222C4FC9C&group_id=7071062774238954022&share_token=aba4e278-163c-4944-910a-abb26d72a218&..
2022-05-06 09:16:23
159
原创 为什么springboot项目启动时环境变量没有生效-Dspring.profiles.active=sit/pre/prod
为什么springboot项目启动时环境变量没有生效-Dspring.profiles.active=sit/pre/prod
2022-03-30 16:08:19
1668
原创 使用SpringBoot2.3.0同tk.mapper整合及自动生成service,mapper层的代码
使用SpringBoot2.3.0同tk.mapper整合及自动生成service,mapper层的代码；工作中使用之前使用了SpringBoot1.5.12，近期尝试了下2.3.0练练手；直接代码如下：架构结构：https://www.cnblogs.com/myitnews/p/11560127.htmlPageHelper分页插件：https://www.cnblogs.com/myitnews/p/11565301.html
2022-03-11 11:17:09
1196
原创 查nginx配置文件路径
查看nginx配置文件路径进入nginx安装目录（我的是/usr/local/nginx-1.7.8/）进入sbin目录，输入./nginx -t查看nginx配置文件路径以及该文件语法是否正确./nginx -v查看nginx版本
2022-02-17 14:01:18
5210
转载 Linux/Win下文件打包/分割/组合/解压
Linux下文件打包/分割/组合/解压环境：Centos 7.5较多时候我们在linux下使用tar打包文件夹，会出现打包后的文件过大，在文件copy过程中需要切片成较小文件。步骤：1.先压缩，然后切片**打包命令：#tar zcvf bigfile.tar.gz ./bigfile切片命令#split -b 1000M -d -a 1 bigfile.tar.gz bigfile.tar.gz.说明：命令最后的一个点"."不能丢了-b意思是切分片大小-d 是切分后的
2022-02-12 14:38:29
1390
转载 网段sub地址应用，同一交换机下2个不同网段互通（未分配vlan）
首先来了解一下网段中涉及二进制的转换知识：192.168.0.1/16，1/24；192.168.1.1/16，1/24 IP段的意思二进制数转换成十进制数 二进制的1101转化成十进制1101（2）=1*2^0+0*2^1+1*2^2+1*2^3=1+0+4+8=13转化成十进制要从右到左用二进制的每个数去乘以2的相应次方不过次方要从0开始相反 用十进制的13除以2 每除一下将余数就记在旁边最后按余数从下向上排列就可得到1101十进制转二进制：用2辗转相除至结果为1将余数和最..
2022-02-08 11:04:25
7646
1
转载 spring validation校验
import javax.validation.constraints.NotBlank;import javax.validation.constraints.NotNull;public class User { @NotBlank(message="昵称不能为空") private String name; @NotNull private int age; @NotBlank(message="地址不能为空") private String adress; public.
2021-12-31 18:19:39
868
转载 jvm cpu过高排查
双十一了，头一天晚上10点左右收到阿里云cpu超过90%短信报警。第二天上班了，开始处理,步骤如下：1、top找出cpu高的java进程号95922、top -Hp 9592查看cpu占用time最高的线程编号281783、执行 printf "%x\n" 28178 获取线程十六进制地址6e12 （十六进制一定要小写）4、执行 jstack 9592（pid）|grep -10 6e12（线程十六进制号）"http-bio-8121-exec-199" daemon pri...
2021-12-31 13:59:04
1089
原创 Java并发使用场景——几个例子
模拟一个简单的页面渲染功能，它的作用是将HTML页面绘制到图像缓存中，为了简便，假设HTML文件只包含标签文本以及预订大小的图片和URL。1.使用Future实现页面渲染器为了使页面渲染器实现更高的并发性，首先将渲染过程分解为两个任务，一个是渲染所有的文本，另一个是下载所有的图像（一个是CPU密集型，一个是I/O密集型）。Callable和Future有助于表示这种协同任务的交互，以下代码首先创建一个Callable来下载所有的图像，当主任务需要图像时，它会等待Future.get的调用结...
2021-11-30 17:10:56
1081
转载 HTTP请求中，几种常见的Content-Type类型及粗析
POST请求的消息主体放在entity body中，服务端根据请求头中的Content-Type字段来获取消息主体的编码方式，进而进行解析数据。一、application/x-www-form-urlencoded最常见的 POST 提交数据的方式，原生Form表单，如果不设置 enctype 属性，默认为application/x-www-form-urlencoded 方式提交数据。首先，Content-Type被指定为 application/x-www-form-urlencoded；
2021-11-25 16:33:04
1659
原创 hive将多列Json分解posexplode成有关系的一对一输出
直接代码提供 read code. ...... SELECT id, ecourse, escorefrom ( select 1 as id,"[a,b,c,d]" as str, "[1,3,4]" as str1) alateral view posexplode(split(str, ',')) cr as a,ecourselateral view posexplode(split(str1, ',')) sc as b, escorewhere a=b;r..
2021-08-17 14:29:24
179
原创 SpringBoot下载网络文件并重命名，比如：excel
文件下载，通过<a href="url">也是可以的，但是这样直接下载，一般文件名就是服务器端的没有任何意义的文件名。今天自己用到了另外一种，先说需求:1.文件服务器与系统没有在同一服务器，所以需要使用网络地址来进行下载；2.上传时为了避免文件重名，使用uuid来生成了文件名，真实的文件名存与数据库中；3.所有的文件都只能下载，不可直接在浏览器上打开。根据代码来分析：这里使用的boot方案一：要么在浏览器通过js下载文件后再修改名称给用户下载，参考：纯js实现文件下载并重.
2021-08-09 14:18:44
2431
原创 基于实时流的数据基础-分享
百万QPS秒级延迟，基于实时流的数据基础层太耐造了……http://mp.weixin.qq.com/s?__biz=MzkwOTIxNDQ3OA==&mid=2247544724&idx=1&sn=fbd8aae8c3626957eed82269e1f48371&chksm=c13c79f5f64bf0e3da997f91309be3c5b072420a7f27c045e49168590626d31bf208631b3f26&mpshare=1&sc.
2021-07-12 11:54:42
145
原创 Mysql SUBSTRING_INDEX的应用实现（Mysql 字符串符号组合-列转行）
目的：group_test的结果表数据，将sub_id组合的逗号列转成一行或多行；可以使用SUBSTRING_INDEX来实现，只不过需要一个配置表，通过CROSS JOIN交叉连接实现，下面就通过CROSS JOIN和SUBSTRING_INDEX实现我们的需求，首先构建一个配置表CREATE TABLE digits (digit INT(1));INSERT INTO digitsVALUES (0), (1), (2), (3), (4),
2021-07-08 14:12:24
587
原创 SparkLauncher Java API提交Spark使用
@Value("${spark.master:local}") private String master; @Value("${spark.deployMode:client}") private String deployMode; @Value("${spark.sparkHome:.}") private String sparkHome; @Value("${spark.appName:datagovernance}") pr...
2021-07-06 10:13:08
1701
原创 HBase线上-常见问题及分析
阅读本文可以带着下面问题：1.HBase遇到问题，可以从几方面解决问题？2.HBase个别请求为什么很慢？你认为是什么原因？3.客户端读写请求为什么大量出错？该从哪方面来分析？4.大量服务端exception，一般原因是什么？5.系统越来越慢的原因是什么？6.Hbase数据写进去，为什么会没有了，可能的原因是什么？7. regionserver发生abort,遇到最多是什么情况？8.从哪些方面可以判断HBase集群是否健康？9.为了加强HBase的安全性，你会采取哪些措施？在Tcon分布式
2021-06-23 09:39:49
275
原创 HBase 报错region is not online
报错信息：ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: Received CLOSE for a region which is not online, and we're not opening.2016-12-07 16:00:42,558 INFO org.apache.hadoop.hbase.regionserver.RSRpcServices: Close dc4a28b161ff37666cc738aa5c99...
2021-06-15 17:51:46
1515
1
原创 NoSQL Manager for MongoDB 到期解决
删除注册表：HKEY_CURRENT_USER\Software\NoSQL Manager Group删除应用数据：C:\ProgramData\NoSQL Manager Group
2021-06-08 15:16:35
533
原创 curl 发送 POST 请求的几种方式
HTTP 的 POST 请求通常是用于提交数据，可以通过这篇文章来了解各种提交方式：四种常见的 POST 提交数据方式。做 Web 后端开发时，不可避免地要自己给自己发请求来调试接口，这里要记录的内容是如何使用命令行工具curl来进行各种方式的 POST 请求。application/x-www-form-urlencoded最常见的一种 POST 请求，用 curl 发起这种请求也很简单。 1 $ curl localhost:3000/api/basic..
2021-06-02 10:06:02
3804
原创 linux中ping及打印内容到文件
语法ping命令就不多说了，-i是时间间隔，-c是ping的次数这种是每隔1秒ping一次，并在后面显示时间：ping ip-i 1 | awk '{ print $0"\t" strftime("%H:%M:%S",systime()) } '这种是把上面ping记录到文件中ping ip -i 1 | awk '{ print $0"\t" strftime("%H:%M:%S",systime()) } ' > ping.log当发现ping值异常的时候可以在后天添加.
2021-03-16 15:56:57
1902
原创 编辑线上NG，使用ipconfig /flushdns 清除系统DNS缓存
ipconfig /flushdns的作用ipconfig /flushdns 这是清除DNS缓存用的。当访问一个网站时系统将从DNS缓存中读取该域名所对应的IP地址，当查找不到时就会到系统中查找hosts文件，如果还没有那么才会向DNS服务器请求一个DNS查询，DNS服务器将返回该域名所对应的IP，在你的系统收到解析地址以后将使用该IP地址进行访问，同时将解析缓存到本地的DNS缓存中。如果DNS地址无法解析，或者是DNS缓存中的地址错误，一般才会使用...
2021-03-09 14:18:29
623
1
原创 redisTemplate判断key是否过期且存在?
@Autowiredprivate RedisTemplate<String, Object> redisTemplate; @Autowiredprivate StringRedisTemplate template; /** * 判断key是否存在 * @param key * @return */public boolean exists(String key) { return template.hasKey(key);} /** * 判断key是否过期.
2021-03-03 18:07:37
24236
2
原创 Java针对MultipartFile上传图片获取宽、高
MultipartFile转File再获取 MultipartFile multipartFile = uploadReq.getFile(); // 获取请求传过来的MultipartFile String fileName = multipartFile.getOriginalFilename(); String prefix=fileName.substring(fileName.lastIndexOf(".")); try { ...
2021-03-02 16:49:07
2310
原创 wordart-在线生成要想的图片做为报告的门面
这个是怎么生成的呢？好奇，有各性.........吧！！通过如下地址即可生成.....在线生成工具https://wordart.com/create
2021-02-23 17:57:11
602
原创 Hbase-常用的show_filters类型集及使用shell操作方式
在HBase中，get 和 scan 操作都可以使用过滤器来设置输出的范围，类似 SQL 里的 Where 查询条件。使用 show_filter 命令可以查看当前 HBase 支持的过滤器类型，如下图所示。使用上述过滤器时，一般需要配合比较运算符或比较器使用，如下面两个表所示。比较运算符 比较运算符 描述 = 等于 > 大于 >= 大于等于 < 小于 <= 小于等于 != 不等于 ...
2021-02-23 17:38:33
1207
原创 置换mysql的空间资源-＞在CentOS上安装pt-online-schema-change
安装笔记：在CentOS上安装pt-online-schema-change# 有些源在centos 6.5/6.9上yum下载不到，需要独立下载yum -y install perl perl-DBI perl-DBD-MySQL perl-Time-HiRes perl-IO-Socket-SSL perl-Digest-MD5到 https://www.percona.com/downloads/percona-toolkit/LATEST/ 下载并安装：wget https:/
2020-12-30 16:01:26
330
原创 streamsets-~~~
https://www.cnblogs.com/fangxuanlang/articles/12197279.html1. 管道概念和设计1.1. 设计数据流你能在 pipeline 中分支或者合并一个数据流.1.1.1. 数据流分叉When you connect a stage to multiple stages, all data passes to all connected stages. You can configure required fields for...
2020-12-30 15:49:51
278
1
原创 Centos6.x下安装python3.6
在正式安装python之前先安装好所依赖的包，这一步一定要做，否则下面编译时会报错注：gcc用于编译，readline-devel包用于解决退格键与方向键出现乱码的问题yum install gccyum install zlib-develyum install readline-devel准备python安装包，可以使用wget，不过我使用时挺慢的，这里直接提供安装包下载路径python3.6 将下载好的安装包放到自己服务器上，解压，并进入解压后的目录tar -zxvf Py
2020-12-17 20:51:14
324
原创 linux中判断组件是否安装
因为linux安装软件的方式比较多，所以没有一个通用的办法能查到某些软件是否安装了。总结起来就是这样几类：1、rpm包安装的，可以用rpm -qa看到，如果要查找某软件包是否安装，用 rpm -qa | grep “软件或者包的名字”。[root@test ~] rpm -qa | grep ruby[root@test~] rpm -qi cryptsetup-luks2、以deb包安装的，可以用dpkg -l能看到。如果是查找指定软件包，用dpkg -l | grep “软件或者包的名字
2020-12-17 19:48:34
883
原创 centos6.9下面安装mysql5.6客户端
我们都知道使用yum install mysql安装mysql客户端，但是使用yum命令有时找不到资源本机下载文件，手动安装最靠谱，一条命令搞定。需要下载两个文件，在下面链接:https://pan.baidu.com/s/1B_m2mZCrqevPoME6qsk8aA提取码: v2dx上传到自己的服务器， 执行以下命令：[root@sit_ewt1 tools]# rpm -ivh MySQL-client-5.6.32-1.linux_glibc2.5.x86_64.rpm...
2020-12-17 16:25:40
154
原创 判断linux是ubuntu还是centos
方式一:radhat或centos存在： /etc/redhat-release 这个文件【 命令cat /etc/redhat-release】ubuntu存在 : /etc/lsb-release 这个文件 【命令cat etc/lsb-release】方式二:看看安装指令，有yum的就是Centos【yum -help】，有apt-get的就是Ubuntu 【apt-get -help】。...
2020-12-17 15:49:57
737
原创 python3简易安装pip
一。先安装python3安装python3.x 这里不多赘述，so easzy！！1. 先到官方网站下载python3的安装包https://www.python.org/downloads/source/2. 上传包到服务器3.解压tar -xf Python-3.5.2.tar.xz 4.编译安装！！！！注意 注意⚠️ 在编译之前需要安装一些必须的依赖，否则当报错的时候还得重新编译 －－－（我就是吃了这个亏，千万要注意奥。。。）安装必要依赖（至少需要如下两...
2020-12-17 15:24:08
909
转载 mapreduce的map与reduce个数由什么决定？
mapreduce的map与reduce个数由什么决定？https://blog.csdn.net/lihuazaizheli/article/details/107580462
2020-12-08 18:23:01
1535
MATHTYPE/LATEX/WMF解析.pdf
2021-02-23
spring-framework-3.0.5.RELEASE.zip
2012-12-19
JcaptchaServlet验证码
2012-12-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人