- 博客(28)
- 收藏
- 关注
RSS订阅原创 centos7环境下搭建ftp
目录1、卸载2、安装2.1、安装命令2.2、修改配置文件2.3、创建ftp用户2.3.1、添加FTP用户2.3.2、设置FTP用户密码2.3.3、查看FTP用户是否设置不能通过SSH登录，只能使用FTP2.3.4、设置用户访问权限3、设置vsftpd服务开机启动4、启动、查看状态5、登录问题：530 Login incorrect步骤1、注释掉userlist_enable=YES步骤2、注释掉：auth required pam_s...
2021-08-17 09:57:11
1205
原创 centos7安装mysql8.0
目录准备工作下载安装1、上传文件2、安装组件3、初始化4、修改密码准备工作检查是否之前安装有mysql：rpm -qa | grep -i mysql检查是否安装有mariadb：rpm -qa | grep mariadb若有安装，需先卸载。卸载mysql：参考教程：https://blog.csdn.net/our_times/article/details/98882701卸载mariadb：rpm -e mariadb-
2021-08-06 17:42:34
287
原创 java读写文件
import java.io.*;/** * @author my * @Date 2021/7/20 9:45 */public class Test { public static void main(String[] args) { readFile();// readFile2();// readAndWriteFile(); } /** * 读文件方法一 */ public...
2021-07-20 10:32:33
126
原创 openResty安装
centos7环境官网：http://openresty.org/cn/linux-packages.html你可以在你的 CentOS 系统中添加 openresty 仓库，这样就可以便于未来安装或更新我们的软件包（通过 yum check-update 命令）。 运行下面的命令就可以添加我们的仓库（对于 CentOS 8 或以上版本，应将下面的 yum 都替换成 dnf）：# add the yum repo:wget https://openresty.org/pack...
2021-07-02 15:37:42
209
原创 nginx日志定时切割
目录1、日志切割脚本2、定时任务2.1 安装 crontabs服务并设置开机自启2.2 设置用户自定义定时任务2.3保存生效1、日志切割脚本cd /opt/test上传脚本文件cutLog.shchmod 777 cutLog.sh#!/bin/bashecho "**************** 开始日志切割 ************************"log_date=$(date +"%Y-%m-%d-%H")logs_path=
2021-07-02 15:15:02
111
原创 centos7定时上传本地文件到ftp
目录0、准备工作1、上传前一天的日志到ftp的脚本2、定时任务2.1 安装 crontabs服务并设置开机自启2.2 设置用户自定义定时任务2.3保存生效0、准备工作在ftp目录下，手动创建bcp/logs目录1、上传前一天的日志到ftp的脚本cd /opt/bcp上传脚本文件fileUpToFtp.shchmod 777 fileUpToFtp.sh#!/bin/bash -eUSER=ftpuser#ftp用户名PASS=xx..
2021-06-29 16:59:30
1246
原创 Redis性能相关
目录一、Redis性能压测工具 redis-benchmark二、redis的配置检查1、检查redis持久化操作1）RDB2）AOF2、检查内存情况3、检查redis延迟情况1）Slowlog（慢查询）2）Latency Monitoring（延时监控）一、Redis性能压测工具 redis-benchmark参考文档：https://blog.csdn.net/zlfprogram/article/details/74338685https://blo
2021-04-02 16:20:46
744
原创 jmeter windows/linux版安装及基本使用
目录1 Windows1.1 jmeter安装下载安装包解压到指定位置配置环境变量启动1.2 汉化1.3应用1.1.1创建线程组1.3.2设置线程数1.3.3添加协议及相关配置1.3.4添加监听器1.3.5启动1.3.6查看结果2 Linux2.1 jmeter安装2.2 Linux虚拟机设置2.3启动3 压测报告1 Windows 1.1 jmeter安装前提：安装配置jdk8 下载安装包 官网：https://
2021-02-25 17:23:51
2047
5
原创 flume相关报错
（1）Space for commit to queue couldn't be acquired. Sinks are likely not keeping up with sources, or the buffer size is too tight（2）org.apache.flume.ChannelException: Take list for MemoryTransaction, capacity 1000 full, consider committing more frequen.
2021-02-20 15:21:29
308
原创 RollingFileSink二次开发
flume 1.8 file_roll相关参数配置把 Event 存储到本地文件系统。 属性 默认值 解释 channel – 与 Sink 绑定的 channel type – 组件类型，这个是：file_roll. sink.directory – Ev..
2021-02-20 15:04:27
334
1
原创 JVM配置
1、-Xms2048M-Xmx2048M堆内存：最小1024M，最大1536M。（对象使用的内存）JVM初始分配的内存由-Xms指定，默认是物理内存的1/64JVM最大分配的内存由-Xmx指定，默认是物理内存的1/4默认空余堆内存小于40%时，JVM就会增大堆直到-Xmx的最大限制；空余堆内存大于70%时，JVM会减少堆直到 -Xms的最小限制。因此服务器一般设置-Xms、-Xmx相等以避免在每次GC 后调整堆的大小。对象的堆内存由称为垃圾回收器的自动内存管理系统回收。...
2020-10-21 17:55:49
1506
转载 SpringCloud与Eureka，Feign，Ribbon，Hystrix，Zuul核心组件间的关系
本文转载于：https://www.jianshu.com/p/31dfb595170c，感谢作者概述毫无疑问，Spring Cloud是目前微服务架构领域的翘楚，无数的书籍博客都在讲解这个技术。不过大多数讲解还停留在对Spring Cloud功能使用的层面，其底层的很多原理，很多人可能并不知晓。因此本文将通过大量的手绘图，给大家谈谈Spring Cloud微服务架构的底层原理。...
2020-03-13 15:06:20
159
转载 Eclipse设置类，方法注释模版
首先打开Eclipse配置选项：Window->Preference->Java->CodeStyle->CodeTemplate配置Comments下的每个选项的模版，我们依次配置：1、Files/** * @Title: ${file_name} * @Package ${package_name} * @Description:...
2019-11-07 10:20:49
414
原创 spark2读取mysql数据，将数据写入mysql
package cn.spark.test01;import java.util.Properties;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.sql.DataFrameReader;import org.a...
2019-10-23 14:27:18
630
原创 Hbase基本操作
原理： HStore存储是HBase存储的核心，由两部分组成，一部分是MemStore，一部分是StoreFiles。MemStore是Sorted Memory Buffer，用户写入的数据首先会放入MemStore，当MemStore满了以后会Flush成一个StoreFile（底层实现是HFile），当StoreFile文件数量增长到一定阈值，会触发Compact合并操...
2019-09-27 15:05:08
405
原创 操作Hive
目录1、创建hive表（1）映射在hdfs上创建表增加字段创建分区插数据到分区删除分区（2）映射到hbase中创建表（3）LOAD DATA创建表插数据2、删除删除库强制删除库删除表清空表清空表方法二按条件删除数据3、修改表修改表名新增列删除列修改列名替换列创建外部表和内部表的区别： ...
2019-08-01 16:17:27
144
转载 Logstash 讲解与实战应用
转载于：https://blog.51cto.com/tchuairen/1840596目录一、Logstash 介绍二、安装logstash三、使用命令行运行一个简单的logstash程序四、配置语法讲解五、filebeat基本讲解六、实战运用架构一：nginx日志->filebeat->logstash->redis->logstash-...
2019-06-19 11:42:49
1323
1
原创 单机搭建ELK
目录一、环境1、安装jdk2、关闭防火墙二、安装elasticsearch1、解压2、修改配置文件3、创建用户4、启动5、测试三、安装logstash1、解压2、新建配置文件test.conf3、启动四、安装kibana1、解压2、修改配置文件kibana.yml3、启动4、浏览器查看五、安装fileBeat1、解压...
2019-06-18 15:20:15
307
原创 flume常用配置
1、Sources类型(1)Avro Sourcea1.sources.r1.type = avroa1.sources.r1.channels = c1 c2a1.sources.r1.bind = 0.0.0.0a1.sources.r1.port = 20001a1.sources.r1.selector.type= multiplexing# selector配置a...
2019-04-10 17:07:39
378
1
原创 ClouderaManager问题解决方案
1、集群中出现多个重复机器解除所有机器授权，remove from cloudera-manager，再将集群cluster和管理删除。在首页点击添加集群。依次执行安装步骤2、安装失败，无法接受agent发出的检测信号1、首先检查hostname和hosts文件配置是否正确2、如果正确，查看/var/log/cloudera-scm-agent/下的agent的日志，发现：Fa...
2019-01-03 13:56:53
7502
5
原创 启动spark任务报错：ERROR SparkUI: Failed to bind SparkUI
当启动一个spark任务的时候，就会占用一个端口，默认为4040，从日志可以看到当端口被占用时，它会默认依次增加16次到4056，如果还是失败的话，就会报错退出。解决方法：1. 使用spark-submit提交任务时，在脚本中加配置：--conf spark.port.maxRetries=128（亲测有效）2. 在代码中初始化SparkConf时，设置conf.se...
2018-10-25 11:58:27
3907
原创 spark2的transformation和action操作
spark支持两种RDD操作：transformation和action操作。transformation操作会针对已有RDD创建一个新的RDD，而action则对RDD进行最后的操作，如遍历、保存到文件等，并将结果返回到Driver程序。transformation有lazy特性：若一个spark程序只定义了transformation操作，即使执行了该程序，那些操作也不会执行。ac...
2018-10-17 14:21:21
449
原创 java使用spark2开发本地测试的wordCount程序
package cn.spark.study.core;import java.util.Arrays;import java.util.HashMap;import java.util.Iterator;import java.util.Map;import org.apache.spark.SparkConf;import org.apache.spark.api.java....
2018-10-17 11:18:05
1164
1
原创 搭建kafka集群
搭建kafka集群(搭建kafka之前需提前搭建zookeeper集群，本文没有写zookeeper搭建过程)1 创建目录cd /opt/mkdir kafka #创建项目目录 2 下载安装kafkatar -zxvf kafka_2.12-1.1.0.tgzcd /opt/kafka/kafka_2.12-1.1.0/mkdir log #创建kafka消...
2018-10-09 10:45:30
701
原创 flume简介与安装配置
1 flume简介flume是分布式的海量日志采集、聚合和传输的系统。从各类数据发送方接收数据进行简单处理后再写到各数据接收方。配置项名称介绍：a1.sources = r1 r2a1.channels = c1 c2a1.sinks = k1 k2a1：flume节点名称，启动时通过参数命令-name指定。a1.sources：监听的源，若有多个用空格隔开，用于收集数据...
2018-10-09 10:24:27
487
原创 redis安装与集群搭建
1、下载解包wget http://download.redis.io/releases/redis-3.2.1.tar.gztar -zxvf redis-3.2.1.tar.gz2、编译安装cd /opt/redis/redis-4.0.7make可能出现的问题:（1）make cc Command not found这是由于系统没有安装gcc环境，因此在进行编译时才会...
2018-10-08 13:23:17
120
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人