- 博客(35)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Flink1.9.1源码编译支持hadoop-2.6.0-cdh5.16.2
准备 jdk-8u211-linux-x64.tar.gz flink-1.9.1-src.tgz flink-shaded-7.0-src.tgz apache-maven-3.6.1-bin.tar.gz注：根据官方文档显示flink-1.9.1编译需要Java8、Maven3配置环境 解压jdk，并配置Java环境变量 ...
2019-11-14 16:18:43
3057
4
原创 maven快速编译的一些小技巧
跳过测试-DskipTests # 不执行测试用例，但编译测试用例类生成相应的 class 文件至 target/test-classes 下-Dmaven.test.skip=true # 不执行测试用例，也不编译测试用例类# 例如mvn clean install -DskipTests 或mvn clean install -Dmaven.test.ski...
2019-11-14 15:01:13
975
原创 flume-ng-1.6.0-cdh5.12.2 源码编译
安装包flume-ng-1.6.0-cdh5.12.2-src.tar.gz源码编译# 解压进入跟目录tar -zxvf flume-ng-1.6.0-cdh5.12.2-src.tar.gzcd flume-ng-1.6.0-cdh5.12.2mvn clean package -DskipTests# 等待编译完成# 在 flume-ng-dist/target 获取...
2019-10-21 11:34:01
429
2
原创 Python3 基本语法
目录基本语法控制台打印简单的加减运算求一个数的N次方定义变量字符串的定义注释查看变量当前的类型查看变量指向的物理地址获取函数的描述信息判断一个变量是否为指定类型逻辑判断字符串操作获取字符串长度字符串拼接字符串分隔去掉字符串两边的空格和回车符字符串大小写转化字符串更改循环for循环while循环if操作三元表达式数据结构list定义列表list的切片list浅拷贝list 常用操作tupletupl...
2019-09-05 23:18:23
306
原创 Zookeeper 选举机制
目录Zookeeper 选举机制zookeeper 三种选择策略选择机制中的概念ServeridZxid：Epoch：Server状态：选举状态选举消息内容FastLeaderElection 选举算法介绍判断是否已经胜出启动时的选举流程简述选举流程详述Zookeeper 选举机制zookeeper 三种选择策略LeaderElection （即将废弃）AuthFastLeaderEle...
2019-08-24 19:00:33
241
转载 YARN JVM重用功能——uber
目录Hadoop 1.x中的JVM重用功能简单回顾一下Hadoop 1.x中的JVM重用功能配置的方法Hadoop 2.x中的JVM重用功能简述uber的原理Hadoop 1.x中的JVM重用功能简单回顾一下Hadoop 1.x中的JVM重用功能用户可以通过更改配置，来指定TaskTracker在同一个JVM里面最多可以累积执行的Task的数量（默认是1）。这样的好处是减少JVM启动、退出的...
2019-08-22 22:02:00
599
原创 CDH完美卸载
目录停止CM Server 和 所有Agent删除服务数据在所有节点上杀死所有 cloudera 运行的进程卸载CDH的磁盘挂载删除CDH服务组件的配置文件及软件安装目录删除数据库删除 cloudera-scm 用户停止CM Server 和 所有Agent/opt/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-agent stop/o...
2019-08-06 00:23:50
2754
原创 CDH5.16.1完全离线部署
目录CDH下载配置hostname及hosts关闭所有节点的防火火墙及清空规则关闭所有节点的selinux设置所有节点的时区一一致及时钟同步设置时区时间同步部署集群的JDK离线部署MySQL5.7CDH部署创建CDH的元数据库和⽤户、amon服务的数据库及⽤户hadoop001节点部署mysql jdbc jar离线部署cm server及agenthadoop001节点部署离线parcel源ha...
2019-08-05 23:56:55
1291
原创 Maxwell部署及简单使用
目录概述配置MySQL开启binlog创建Maxwell的数据库和用户快速启动Maxwellstdout producer方式启动MaxwellKafka producer方式启动Maxwell概述Maxwell 针对与MySQL做实时数据同步的一个开源中间件，监控MySQL binlog日志并记录每行的操作记录（insert,update,delete）。它设计的初衷是实时采集Mysql数据...
2019-07-28 09:14:58
2418
原创 MySQL 5.7主从复制—单组单从
目录MySQL安装配置Master配置创建复制用户查看master的pos点Slave配置配置Master信息启动slave验证是否配置成功MySQL安装MySQL安装配置准备两台主机，都安装上mysql。mysql001当做master，mysql002作为slave同步mysql001的数据。注意：安装mysql时，要在my.cnf中添加或修改server-id，两台mysql的se...
2019-07-27 20:45:17
122
原创 Centos7下mysql5.7二进制包安装
准备mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz注意：如果是虚拟机安装，建议设置的磁盘空间不要低于16G，否则安装时磁盘空间不够，会导致mysql初始化失败环境准备#解压二进制包到/usr/local/ ，重命名为mysql，并创建安装时需要的目录tar -zxvf mysql-5.7.11-linux-glibc2.5-x86_64.ta...
2019-07-27 16:11:09
1130
原创 ES常用命令
获取群集中的节点列表GET /_cat/nodes?v获取集群健康状态GET /_cat/health?v列出所有indexGET /_cat/indices?v创建index#rz 即创建的indexPUT /rz删除indexDELETE /rz/?pretty插入一条数据PUT /rz/student/1?pretty{ "na...
2019-07-21 15:47:05
2616
原创 Spark Streaming + Kafka的offset管理
目录简述消费语义offset的三种管理方式offset管理demo自带offset管理将offset存储在MySQL中简述Kafka+Spark Streaming主要用于实时流处理。到目前为止，在大数据领域中是一种非常常见的架构。Kafka在其中主要起着一个缓冲的作用，所有的实时数据都会经过kafka。所以对kafka offset的管理是其中至关重要的一环。一但管理不善，就会到导致数据丢失...
2019-07-17 01:39:15
1194
原创 Spark Streaming反压机制初探
概述Spark Streaming中的反压机制是Spark 1.5.0推出的新特性，可以根据处理效率动态调整摄入速率。当批处理时间(Batch Processing Time)大于批次间隔(Batch Interval，即 BatchDuration)时,说明处理数据的速度小于数据摄入的速度，持续时间过长或源头数据暴增，容易造成数据在内存中堆积，最终导致Executor OOM或任务奔溃。...
2019-07-14 01:26:42
309
原创 spark监控配置
目录简述通过Spark HistoryServer UI进行监控配置spark-defaults.conf配置spark-env.sh启动 Spark HistoryServer停止Spark HistoryServer通过REST API进行监控简述默认情况下，每个SparkContext都会在端口4040上启动Web UI，以显示有关应用程序的有用信息。这包括：调度程序阶段和任务的列表...
2019-06-30 00:52:17
496
原创 hbase shell常用命令
列出指定namespace中的表list_namespace_tables 'hbase'创建namespacecreate_namespace "test"列出所有namespacelist_namespace查看namespace信息describe_namespace "test"删除namespacedrop_namespace 'test'...
2019-06-22 09:38:03
100
原创 Flume TaildirSource 实现递归
下载源码 flume-ng-1.6.0-cdh5.7.0-src.tar.gz修改源码 打开 org.apache.flume.source.taildir.ReliableTaildirEventReader类 找到getMatchFiles 方法private List<File> getMatchFiles(File p...
2019-06-20 21:21:52
1384
4
原创 Kafka 创建topic 时抛出 replication factor: 3 larger than available brokers: 0
在Kafka 创建topic时抛出如下错误信息：Error while executing topic command : replication factor: 3 larger than available brokers: 0 [2019-05-26 13:17:23,160] ERROR org.apache.kafka.common.errors.InvalidReplic...
2019-05-26 16:57:45
15389
1
原创 Kafka常用脚本命令
启动Kafka#前台启动bin/kafka-server-start.sh config/server.properties#后台启动nohup bin/kafka-server-start.sh config/server.properties &创建一个topicbin/kafka-topics.sh \--create \ --zooke...
2019-05-26 16:36:23
409
原创 Kafka集群部署
准备三台Linux虚拟机(这里是centos7.5，我将其分别命名为hadoop001、hadoop002、hadoop003)jdk1.8.0_151.tar.gzzookeeper-3.4.6.tar.gzkafka_2.11-0.10.2.2.tgz配置hosts文件及hostname#在所有节点的hosts文件中最加集群ip。注意一定不要动hosts文件中的前两行...
2019-05-26 11:23:25
114
原创 JDK部署
准备jdk1.8.0_151.tar.gz配置Java环境变量su - #切换到root用户mkdir /usr/java #创建文件夹tar -zxvf jdk1.8.0_151.tar.gz -C /usr/java/#配置环境变量echo 'export JAVA_HOME=/usr/java/jdk1.8.0_151' >> ~/.bash_pro...
2019-05-26 10:46:39
417
原创 Zookeeper集群部署
准备三台Linux虚拟机(这里是centos7.5，我将其分别命名为hadoop001、hadoop002、hadoop003)jdk1.8.0_151zookeeper-3.4.6配置hosts文件及hostname#在所有节点的hosts文件中最加集群ip。注意一定不要动hosts文件中的前两行，这是个巨坑！echo "192.168.56.101 hadoop001"...
2019-05-26 10:38:10
145
原创 hive-1.1.0-cdh5.7.0在源码中注册自定义的UDF函数
准备 jdk-8u211-linux-x64.tar.gz apache-maven-3.6.1-bin.tar.gz hive-1.1.0-cdh5.7.0-src.tar.gzJDK环境配置Maven环境配置编写自定义UDF函数package org.apache.hadoop.hive.ql.udf;import org.apache.ha...
2019-05-04 00:42:29
419
原创 Hive自定义UDF函数
创建一个Maven项目添加UDF依赖依赖<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <ver...
2019-05-03 06:08:07
164
原创 hadoop2.6.0-cdh5.7.0编译支持压缩
依赖准备 CentOS7 apache-maven-3.6.1-bin.tar.gz hadoop-2.6.0-cdh5.7.0-src.tar.gz protobuf-2.5.0.tar.gz jdk-7u80-linux-x64.tar.gz 编译hadoop依赖的jar包（可选）注：编译时Maven3.3.9及以上版本，...
2019-05-02 20:33:38
301
原创 spark-2.4.2-bin-2.6.0-cdh5.7.0源码编译
准备工作 jdk-8u211-linux-x64.tar.gz spark-2.4.2.tgz apache-maven-3.6.1-bin.tar.gz注：根据官方文档显示spark-2.4.2编译需要Java8、Maven-3.5.4及以上版本配置环境 解压jdk，并配置Java环境变量 解压Maven，配置Maven环境变量 ...
2019-05-01 19:55:28
524
原创 shell基础学习
打印一句话#!/bin/bashecho "shell"使用debug模式#!/bin/bash -x# -x 参数我开启debug模式，已”+“开始的为执行命令，没有+的为命令结果echo debug shell变量定义#!/bin/bashTEST1=定义了一个变量 TEST2="双引号" TEST3='单引号'COMMAND=`ls` #反引号中是...
2019-04-15 00:39:42
78
原创 Hadoop HA部署(QJM)
准备 三台Linux虚拟机(这里是centos7.5，我将其分别命名为hadoop001、hadoop002、hadoop003) jdk1.8.0_151 hadoop-2.6.0-cdh5.7.0 zookeeper-3.4.6创建hadoop用户 在三虚拟机上创建hadoop用户：systemctl stop firewalld.s...
2019-04-08 03:27:47
584
原创 Hadoop YARN HA架构
YARN架构 ZKFC： zkfc在yarn中作为一个线程，处理RM的状态切换，并定期想zk发送心跳。 一直监控lock文件，当文件不存在时，尝试写入，成功则为Active状态，失败则是Standby状态。 RMStateStore： 存储NM中app的信息，在HA中默...
2019-04-07 01:05:50
290
原创 HDFS HA(Quorum Journal Manager) 架构解析
HDFS 集群介绍 hdfs采用master-slave架构。集群中主要由NameNode、DataNode、Secondary NameNode、fsimage、editslog等5个部分组成。 NameNode：存储hdfs中的元数据信息（如：命名空间、副本数、Blok块分布、文件名，文件大小，文件位置等），接收DataNode的心跳包和块报告，管理所有的DataN...
2019-04-06 21:10:01
477
原创 修改vue的数据后没有对dom进行重新渲染
记录下开发时遇到的vue的一个问题。前端使用的是layer(2.3.0) + vue.js(2.5.16) 。正常情况，用vue对input框进行了双向绑定后，对vue的数据进行修改，vue会对被修改数据对应的input框进行重新渲染。而我需要的情况是： 在js中对vue的数据进行修改后，只有在特定条件下vue才会进行重新渲染，否则input框中还是显示修改之前的数据。通...
2018-07-29 10:31:49
22175
原创 windows下mysql解压版安装
下载： 官网下载地址：https://www.mysql.com/downloads/安装： 1、解压版安装(Windows (x86, 64-bit), ZIP Archive)： (1)、解压，然后查看mysql根目录下是否存在data(用于数据库的数据存放)这个目录，不存在则在根目录下新建一个data目录。（mysql-5...
2018-02-23 00:38:26
331
原创 Java消息中间件——笔记
消息中间件介绍： 专注于数据的发布和接收、利用高效可靠的异步消息传递机制集成分布式系统 协议规范： JMS介绍： Java消息服务（Java Message Server） 及JMS，是一个Java平台中关于面向消息中间件的API，用于在两个应用程序之间或分布式系统中发送消息，进行异步通信。（总结，就是Java中关于消息中间件的一个API规范...
2018-02-22 23:29:15
1153
原创 JMS规范——笔记
JMS介绍： Java消息服务（Java Message Server） 及JMS，是一个Java平台中关于面向消息中间件的API，用于在两个应用程序之间或分布式系统中发送消息，进行异步通信。（总结，就是Java中关于消息中间件的一个API规范）。JSM的定义： JavaAPI。不支持跨语言，并提供了两种消息模型（p2p、pub/sub），有如下消息类型（TextMessa...
2018-02-22 23:05:21
3861
原创 ActiveMQ——笔记
AMQP介绍： AMQP（advanced message queuing protocol）是一个提供统一消息服务的应用层标准协议，基于此协议的客户端与消息中间件可传递消息，并不受客户端/中间件不同产品，不同开发语言等条件的限制。（总结，一个应用层的数据传输协议）。 AMQP的定义：Wire-protocol。可跨语言，并提供了5种消息模型（direct、fanout、t...
2018-02-22 20:14:52
550
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人