windavi的博客

原创 flume-hdfs启动报错

java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configurationflume采集数据到hdfs报错解决在项目中配置了flume采集数据到hdfs中，启动agent报错如下：ume.source.kafka.KafkaSource2020-06-11 22:40:47,447 (conf-file-poller-0) [INFO - org.apache.flume.source.kafka.KafkaSource.doConfig

原创 jvm优化-c

1 tomcat8优化1.1 tomcat配置优化部署安装1.1.1 修改配置文件，配置tomcat的管理用户# vi apache-tomcat-8.5.34/conf/tomcat-users.xml<role rolename="manager"/><role rolename="manager-gui"/><role rolename="adm...

原创 jvm优化-b

1 什么是垃圾回收程序的运行必然需要申请内存资源，无效的对象资源如果不及时处理就会一直占有内存资源，最终将导致内存溢出，所以对内存资源的管理非常重要。1.1 C/C++语言的垃圾回收在C/C++语言中，没有自动垃圾回收机制，是通过new关键字申请内存资源，delete关键字释放内存资源如果，程序员在某些位置没有写delete进行释放，那么申请的对象将一直占用内存资源，最终可能会导致内存溢出...

原创 jvm优化-a

第一节1 为什么要对jvm做优化本地开发环境中很少会对jvm优化:运行应用“卡住了”，日志不输出，程序没有反应服务器CPU负载突然变高在多线程应用下如何分配线程数量...2 jvm的运行参数jvm中有很多参数可以进行设置，绝大多参数保持默认设置即可。2.1 三种参数类型jvm的参数分为三种类型，分别是· 标准参数 -help -version· -X参数（非标准参数...

原创 tomcat & java 强制使用tlsv1.2协议

1 修改代码解决：# "TLSv1", "TLSv1.1", "TLSv1.2"static { // 初始化线程池 RequestConfig params = RequestConfig.custom().setConnectTimeout(3000).setConnectionRequestTimeout(1000).setSocketTimeout(4000) ...

原创 springboot-slf4j

1 添加依赖<!-- 日志打印 注解@Slf4j即可 --><dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> <optional>true</optional>...

原创 hadoop集群安装

集群安装1、从网上下载http://archive.apache.org/disthadoop是基于java编写的，但是里面有环境是使用到c,native有与平台打交道的；2、需要编辑hadoop课件中的是编译好的，centOS6.7-hadoop-2.6.4.tar，编译见编译文档；3、准备安装环境，主要是jdk;4、目录详解sbin目录很重要，里面都是启动命令；5、集群的...

原创 hbase安装

Hbase先部署一个zookeeper集群和hadoop集群 安装目录 /var/local/hbase 部署为三台机 hdp-node-01 02 031、上传hbase安装包hbase-1.2.1-bin.tar.gz2、解压3、配置hbase集群，要修改3个文件注意：要把hadoop的hdfs-site.xml、core-site.xml 放到hbase/conf下 /...

原创 logstash

1 官网https://www.elastic.co/guide/en/logstash/current/index.html2 安装2.1 上传logstash-2.3.1.tar.gz2.2 解压tar -zxvf logstash-2.3.1.tar.gz mv logstash-2.3.1 logstash3 first demo通过命令执行logstash的进程...

原创 kafka安装和入门

kafka1、jms是一套技术规范生产者，消费者2、jms和kafka的区别jms 是主动推送数据，会出现消息积压；kafka是不再主动推送数据，对于感兴趣的消费端，自己去取数据3、经纪人原来是队列，现在kafka是由 broker存储数据，多个broker在不同的机器上，实现集群4、kafka集群的搭建，进程名称 kafka1）搭建zookeeper集群；2）解压安装包...

原创 elasticsearch

1、创建用户es启动时需要使用非root用户，所以创建一个普通用户zephyr,安装es在目录/home/zephyr/apps下。1.1 创建用户组hadoopgroupadd zephyr1.2 创建用户hadoop并添加进用户组hadoopuseradd -d /home/zephyr -g zephyr -s /bin/bash -m zephyr其含义如下：-d, -...

原创 mysql安装和hive安装

1 安装mysqlLinux下使用yum安装MySQL，以及启动、登录和远程访问MySQL数据库。1、安装查看有没有安装过： yum list installed mysql* rpm -qa | grep mysql*查看有没有安装包： yum list mysql*安装mysql客户端： yum install mysql安装mysql 服务器端： yum inst...

原创 java中main方法第一次运行报错

原创 zookeeper入门

1 机器准备1 安装到3台虚拟机上2 安装好JDK3 上传安装包（ zookeeper-3.4.5）4 解压 su - yzkf tar -zxvf zookeeper-3.4.5.tar.gz5 重命名 mv zookeeper-3.4.5 zookeeper（重命名文件夹zookeeper-3.4.5为zookeeper） 可以删除里面一些源码工程相关的文件.docs 删除...

原创 activemq安装部署

简介 搭建三个ActiveMQ，分在三个服务器上,单机版activemq的直接解压后启动即可，下面描述的是依赖于zookeeper选举的集群。 10.1.58.19 node1 10.1.58.26 node2 10.1.58.29 node31 解压 tar -zxvf apache-activemq-5.14.1-bin.tar.gz2 创建文件夹mkdir /usr/l...