- 博客(67)
- 资源 (16)
- 收藏
- 关注
RSS订阅原创 Mysql如何通过ibd文件恢复数据
备注：创建表时候的row_format和表属性的不一致，基于innodb是，要把row_format设置成dynamic时，需要修改mysql的全局配置，直接在myql命令中修改：set global innodb_file_format=Barracuda;将备份的ibd文件，放到mysql->data->创建的数据库名称->,将ibd拷贝到此目录下。出现这个问题的原因是上传得idb文件没有权限。注意表结构和之前表结构一样。
2024-05-05 21:03:07
1020
2
原创 关于Dubbo版本选择问题
关于Dubbo版本选择问题dubbo-spring-boot-starter这个出现过多个不同版本，你可以在maven仓库里找到好多名字是dubbo-spring-boot-starter，我这里找了3个他们的groupId都不一样，记住一定要使用 org.apache.dubbo这个，因为一开始dubbo是阿里自己开发的后来贡献到apache开源组织了，所以最新的肯定是apache的这个，至于alibaba自己为什么还有2个版本就不清楚了。<dependency> <grou
2022-04-13 19:44:28
2652
原创 SpringBoot集成邮件模块
报错如下; message exceptions (1) are:Failed message 1: com.sun.mail.smtp.SMTPSendFailedException: 503 Error: need EHLO and AUTH first !] with root causeorg.springframework.mail.MailSendException: Failed messages: com.sun.mail.smtp.SMTPSendFailedException:
2022-03-10 10:11:01
693
原创 如何在docker容器里安装ping命令
首先，apt-get update 一下，这个命令的作用是同步 /etc/apt/sources.list 和 /etc/apt/sources.list.d 中列出的源的索引，这样才能获取到最新的软件包。安装vim命令apt-get install vim安装ifconfig命令apt-get install net-tools安装ping命令apt-get install iputils-ping...
2022-01-06 13:59:21
2112
原创 小语言干大事
OPS语言（OPSLANG）面向自动化命令行终端上的操作基于规则描述，同时有强大的变量和表达式支持可以像TCL/EXPECT那样代替人类与终端程序和终端摸拟器进行复杂的交互，比EXPECT更优美更灵活支持像MAKEFILE那样的依赖自动排序计算支持像SCREEN/TMUX那样的多终端摸拟器同时交替操作，或并行操作(此项为SCREEN/TMUX所不能)。可自动化任意嵌套的SSH会话、GDB会话、TELNET会话等等任何终端上的REPL应用。流式终端输出匹配与BASH语言的无缝集成集合Edg
2021-08-13 17:29:17
129
原创 Hadoop 2.2.0安装和配置lzo
Hadoop经常用于处理大量的数据，如果期间的输出数据、中间数据能压缩存储，对系统的I/O性能会有提升。综合考虑压缩、解压速度、是否支持split，目前lzo是最好的选择。LZO（LZO是Lempel-Ziv-Oberhumer的缩写）是一种高压缩比和解压速度极快的编码，它的特点是解压缩速度非常快，无损压缩，压缩后的数据能准确还原，lzo是基于block分块的，允许数据被分解成chunk，能够被并行的解压。LZO库实现了许多有下述特点的算法：（1）、解压简单，速度非常快。 （2）、解压不需要内存。.
2021-04-25 22:41:44
221
原创 nginx根据http_useragent判断是手机端还是pc端
nginx的location判断用户端是手机还是pc端配置配置判断 pc 和 mobile 的 H5 location / { set $is_mobile false; #设置一个初始值 if ( $http_cookie ~* "ACCESS_TERMINAL=mobile" ) { #判断匹配手机端 set $is_mobile true; } if ($http_user_agent ~
2021-04-17 21:52:47
1204
原创 搭建ntp时间服务器
因为要保证集群内所有节点的时间是一致的，否则集群会不稳定。在集群内的所有节点上安装ntp服务，同步同一个ntp时间服务器（阿里云ntp时间服务器）。这样就可以实现集群内所有节点的时间保持一致。效果如果所示。首先在所有节点上操作安装ntp服务，同步阿里云ntp服务器时间[root@cdh01 ~]# yum -y install ntp[root@cdh01 ~]# vi /etc/ntp.conf.....# 将下面这四行内容注释掉#server 0.centos.pool.ntp.o
2021-03-26 22:12:40
382
原创 配置java环境变量
java环境变量配置如何搭建Java开发环境windows安装Linux 上安装开发环境安装 Eclipse 运行 Javawindow系统安装java配置环境变量变量设置参数如下：变量名：JAVA_HOME变量值：C:\Program Files (x86)\Java\jdk1.8.0_91 // 要根据自己的实际路径配置变量名：CLASSPATH变量值：.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;
2020-11-02 17:05:35
196
原创 解决Centos7使用yum 下载速度慢的问题
更换数据源 阿里yum源1、首先备份系统自带yum源配置文件/etc/yum.repos.d/CentOS-Base.repo[root@localhost ~]# mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup2、下载ailiyun的yum源配置文件到/etc/yum.re...
2020-02-17 21:35:40
3406
原创 obs+nginx+rtmp+web实现视频直播网站
项目简介：视频直播网站由三个部分构成：1.推流端 2.服务器 3.拉流端。在该项目中，推流端用OBS完成，服务器由NGINX+RTMP模块完成，拉流端使用video.js完成。一、开发环境：推流端：系统：UBUNTU 16.04 工具：obs服务器：系统: UBUNTU 16.04 工具：NGINX+RTMP拉流端：系统：WINDOWS 10 工具：H5二、 构建服务器服务...
2020-01-18 16:56:40
8668
原创 神舟Win10系统装机教程
一．准备工具：U盘（8G或者8g以上），win10系统二、下载windows 10 镜像文件ed2k://|file|cn_windows_10_consumer_editions_version_1903_x64_dvd_8f05241d.iso|4905476096|F28FDC23DA34D55BA466BFD6E91DD311|/三、下载大白菜 做启动引导http:/...
2020-01-11 11:35:56
776
原创 maven三种打包方式
当你使用 Maven 对项目打包时，你需要了解以下 3 个打包 plugin，它们分别是：pluginfunctionmaven-jar-pluginmaven 默认打包插件，用来创建 project jarmaven-shade-plugin用来打可执行包，executable(fat) jarmaven-assembly-plugin支持定制化打包方式，...
2019-11-26 10:12:06
304
原创 Redis的生产环境启动方案
要把redis作为一个系统的daemon进程去运行的，每次系统启动，redis进程一起启动（1）redis utils目录下，有个redis_init_script脚本（2）将redis_init_script脚本拷贝到linux的/etc/init.d目录中，将redis_init_script重命名为redis_6379，6379是我们希望这个redis实例监听的端口号（3）修改red...
2019-11-08 18:34:26
312
原创 Tomcat性能监控与调优
Tomcat 远程debug使用技术JDWP 协议第一步 修改 bin目录下 startup.sh配置文件第二步 修改bin目录下catalina.sh 配置文件第三不步启动tomcattail -f ./logs/catalina.outnetstat -nap |grep 54321Tomcat-manager 监控psi-probe 监控Tomcat调优...
2019-11-08 11:24:27
329
原创 CPU负载解决办法
1. 查看CPU负载使用top 命令2. 打印出堆栈信息[root@hadoop ~]# jstack PID > 7669.txt3.把堆栈信息[root@hadoop ~]# sz 7669,txt4.查看线程占用情况[root@hadoop ~]# top -p 7669 -HPID进制转换 10进制 转换 16进制 因为 堆栈信息是...
2019-11-07 17:08:26
2233
原创 JVM内存溢出导出映像文件方式
内存溢出自动导出-Xmx32M -Xms32M -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=./使用jmap 命令手动导出
2019-11-06 16:31:51
465
原创 JVM的参数类型
标准参数-help-server -client-version -showversion-cp -classpathX参数 (非标准化参数)-Xint:解释执行-Xcomp：第一次使用就编译成本地代码-Xmixed：混合模式，JVM 自己来决定是否编译成本地代码XX参数Boolean类型格式：-XX:[+ - ] 表示启用或者 禁用name属性比...
2019-11-06 15:38:55
172
原创 SpringBoot集成RabbitMQ
1.添加依赖 spring-boot-starter-amqp <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-amqp</artifactId> </dependency>...
2019-11-05 15:27:55
124
原创 接口优化
Redis预减库存减少数据库访问内存标记减少Redis访问请求先入队缓冲，异步下单，增强用户体验RabbitMQ安装于SpringBoot集成Nginx水平扩展
2019-11-05 14:40:39
145
原创 页面优化技术
1.页面缓存+URL缓存+对象缓存1.取缓存2.手动渲染模版3.结果输出 /** * 使用页面缓存技术 * * @param model * @param user * @return * @throws Exception **/ @RequestMapping(value = "/to_list",...
2019-11-04 17:06:54
174
原创 spring-boot打包war包
1. 修改pom <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-tomcat</artifactId> <scope>provided</scope>...
2019-11-04 15:48:13
107
原创 Redis压测
1. 100个并发连接， 100000个请求redis-benchmark -h 127.0.0.1 -p 6379 -c 100 -n 1000002.存取大小为100字节的数据包redis-benchmark -h 127.0.0.1 -p 6379 -q -d 1003.只测试某些操作的性能redis-benchmark -t set,lpush -n 1000...
2019-11-04 15:26:41
197
原创 使用Hive UDF需要的CDH-maven依赖
环境相关：开发主机：Win7开发环境：IDEAhadoop版本：hadoop-2.6.0-cdh5.7.1hive版本：hive-1.1.0-cdh5.7.1# 配置文件如下：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" ...
2019-11-01 10:41:08
1261
1
原创 HBase监控
为什么需要监控为了保证系统的稳定性，可靠性，可运维性了解集群的性能表现，及时做出针对性调整集群出现问题及时报警，帮助运维快速定位与解决问题如何监控HBase集群利用Hadoop生态圈 开源的专业监控工具自己调用Hadoop 和HBase 的JMX接口 获取监测数据顶级项目：AmbariAmbari跟Hadoop 等开源软件一样，是Apache基金会的顶级项目创建 管理 ...
2019-10-29 17:50:07
603
原创 Hbase数据备份&&容灾方案
Hbase数据备份&&容灾方案阅读目录一 、CopyTable二、Export/Import(使用mapreduce)三、Snapshot四、Replication1.CopyTable支持时间区间，row 区间 ，改变表名称，改变列族名称，指定是否copy 已经被删除的数据等功能。CopyTable 工具采用scan查询，写入新表时采用put 和delete...
2019-10-29 17:31:02
315
原创 sqoop各参数详解
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。1.HDFS 导入mysql (默认都号分隔)bin/sqoop import \--co...
2019-10-22 11:01:26
2834
1
原创 Maven构建CDH开发大数据环境
使用cloudera hadoop开发hadoop程序，官方文档上有两种方法。第一种即把相应jar包拷贝到工程目录中去，另一种即使用maven管理依赖jar包。maven 依赖1.默认仓库找不到对应jar包，因此添加仓库：<repositories> <repository> <id>cloudera-releases<...
2019-10-21 10:11:42
204
原创 Linux下解决网卡重启失败Restarting network (via systemctl): Job for network.service failed
报错内容：Restarting network (via systemctl): Job for network.service failed because the control process exited with error code. See “systemctl status network.service” and “journalctl -xe” for details....
2019-10-14 14:01:42
10577
3
原创 elasticsearch-head 5连接elasticsearch 6.x无法显示数据的解决办法
elasticsearch-head:5和elasticsearch:6.3.2之后，打开界面连接es时发现数据无法展示。原因是elasticsearch 6增加了请求头严格校验的原因，并且返回结果是{“error” : “Content-Type header [application/x-www-form-urlencoded] is not supported”,“status” :...
2019-10-12 14:25:00
239
原创 余弦相似度计算
余弦相似度计算余弦相似度用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小。余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，这就叫"余弦相似性"。我们知道，对于两个向量，如果他们之间的夹角越小，那么我们认为这两个向量是越相似的。余弦相似性就是利用了这个理论思想。它通过计算两个向量的夹角的余弦值来衡量向量之间的相似度值。余弦相似性推导公式如下：【下面举一个例子，来...
2019-09-06 09:20:35
866
原创 Docker部署MySql应用
1. MySQL部署1.1拉取MySQL镜像docker pull mysql 查看镜像docker images1.2创建MySQL容器docker run -di --name pinyougou_mysql -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 mysql-p 代表端口映射，格式为 宿主机映射端口:容器运行端口-e...
2019-08-13 09:18:21
107
原创 tensorflow2.0快速安装
使用豆瓣资源安装tensorflow 项目深度学习库pip install numpy pandas matplotlib sklearn tensorflow==2.0.0-alpha0 -i https://pypi.doubanio.com/simple
2019-07-15 11:41:44
474
翻译 Spark - 使用Yarn管理器开启历史日志服务、查看日志
使用Yarn 作为集群管理器，启动Spark 时，无法再从SparkUI-4040 端口查看相应的信息。只能从Hadoop 的Yarn、历史服务器查看，但是默认是没有开启。所以，这里展示如何配置开启历史服务器、查看日志。Hadoop-2.7.3Spark-2.4.01. HDFS 配置确保你的Hadoop 已经完成配置，并且已经能够正常启动。下面，在已有的Hadoop 配置上，增加配置。...
2019-07-12 18:45:10
1149
原创 maven项目打包所有依赖包使用main方法运行
<build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</...
2019-06-29 16:41:25
639
原创 配置允许匿名用户登录访问vsftpd服务
这里在centos7版本系统下验证的。在指定的目录（如/var/ftp/software/）使用匿名用户进行文档的上传下载操作，首先要求该目录要有r和w权限。一般情况下，若要上传文档到该目录，则需要用户ftp对文档有w的权限，若要从该目录下载文档，则需要用户ftp对文档有r的权限。步骤修改配置文件vsftpd.conf（根据需要配置）vim /etc/vsftpd/vsftpd.conf...
2019-05-16 18:36:49
7217
原创 Flume中agent的启动命令
写好agent配置文件，配置文件名为flume-app.conf（指定source、channel和sink）启动agent配置文件命令如下：bin/flume-ng agent-c /opt/module/flume/conf-f ~/work/flume-job/flume-app.conf-n ag1-Dflume.root.logger=info,console 在flum...
2019-05-13 10:47:49
7261
原创 解决Elasticsearch-head插件链接不上服务
安装插件headgit clone git://github.com/mobz/elasticsearch-head.gitcd elasticsearch-headnpm installnpm start解决方案vim elasticsearch.yml修改elasticsearch.yml文件# 增加如下字段http.cors.enabled: truehttp.cor...
2019-05-06 10:28:57
958
2
大数据工具
2019-06-18
jenkins.war包
2017-12-17
封装java常用工具的类
2017-11-28
自己实现的ActiveMQ连接池和新版本ActiveMQ自带的连接池，封装好的工具类，可直接使用
2017-07-10
大地坐标CGCS2000转换百度地图经纬度。
2022-11-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人