- 博客(82)
- 收藏
- 关注
原创 K8s部署在Centos上
一、集群规划集群类型选择: 本次搭建采用一主多从的方式搭建, 这种方式比较简单集群的安装方式:本次采用kubeadm 安装, 这是一个快速搭建k8s集群的工具主机规划:作用IP地址操作系统配置k8s-master192.168.186.101Centos7 基础设施服务器2颗CPU 8G内存 100G硬盘k8s-node1192.168.186.102Centos7基础设施服务器2颗CPU 8G内存 100G硬盘k8s-node1192.168.18
2022-05-07 12:44:35
734
原创 Mac安装Kafka
Mac 系统安装kafka1.安装zookeeper源代码安装指令:brew install --build-from-source zookeeper我安装的 brew 位置在 /opt/homebrew下/opt/homebrew/Cellar/zookeeper启动文件位置:/opt/homebrew/Cellar/zookeeper/3.7.0_1/bin配置文件位置:/opt/homebrew/etc/zookeeper启动zk服务:brew services sta
2021-07-07 09:29:13
382
原创 Clickhouse 安装记录(附录-异常)
现象~ » sudo clickhouse-server --config-file=/etc/clickhouse-server/config.xml atguigu@hadoop162Processing configuration file '/etc/clickhouse-serv
2020-12-15 10:07:17
1040
原创 maxmall安装实录
1. 安装前准备工作(1) 设置密码权限校验规则set global validate_password_policy=0;set global validate_password_length=4;(2) 在mysql中创建一个数据库, 用于存储maxwell的元数据create database `maxwell` character set 'utf8' collate 'utf8_general_ci';(3) 创建一个maxwell用户grant all on maxwell.*
2020-12-09 11:53:45
170
原创 Redis主从复制配置实录
Redis 主从复制1. 主从简介配置多台Redis 服务器,以主机和备机的身份分开。主机数据更新后,根据配置和策略,自动同步到备机的 master/slaver 机制,Master以写为主,Slaver 以读为主,二者之间自动同步数据。1.1 配置主从的目的:读写分离时为了提高Redis性能避免单点故障,容灾快速恢复1.1 配置主从的原理:每次从机联通后,都会给主机发送sync指令,主机立刻进行存盘操作,发送RDB文件,给从机从机收到RDB文件后,进行全盘加载。之后每次主机的写操作命令,都
2020-12-01 19:11:03
153
原创 Ubuntu 安装Redis实录
(1)下载Redis源码包下载地址https://redis.io/download(2)检查gcc && g++ 环境ubuntu上用apt安装,centos使用yum安装即可sudo apt-get install -y gccsudo apt-get install -y g++(3)编译安装tar -zxvf redis-6.0.9.tar.gz -C /opt/modulecd /opt/module/redis-6.0.9/src /opt/module
2020-11-30 14:15:07
115
原创 Ubuntu 安装 gcc 与 g++环境
(1)检查是否已经存在环境了gcc --version g++ --version(1) 检查gcc 和 g++ 版本(2)安装gccsudo apt-get install -y gccsudo apt-get install -y g++(3) 再次检查gcc 和 g++ 版本gcc --version g++ --version
2020-11-30 11:48:28
646
原创 Zabbix安装实录
1)浏览器访问http://hadoop102/zabbix2)检查配置3)配置数据库4)配置zabbix-server5)再次确认配置5)点击完成
2020-11-23 21:31:09
149
原创 Error while instantiating ‘org.apache.spark.sql.internal.SessionState‘
(1) 现象截图(2) 错误堆栈信息(文本)D:\developments\java-tools\jdk1.8.0_144\bin\java.exe -ea -Didea.test.cyclic.buffer.size=1048576 -javaagent:D:\developments\dev-software\IntelliJIDEA2020\lib\idea_rt.jar=51029:D:\developments\dev-software\IntelliJIDEA2020\bin -Dfile
2020-10-05 09:40:09
1422
原创 随笔1-kafka集群安装
1. 主机与服务规划1.1 主机规划主机IPHostNameCPUMEMERYUSERPWDhadoop181192.168.207.181hadoop1814 CORE8Ghadoophadoophadoop182192.168.207.182hadoop1824 CORE8Ghadoophadoophadoop183192.168.207.183hadoop1834 CORE8Ghadoophadoop注意: 集群
2020-09-25 15:43:32
120
原创 kafka 群起小脚本工具
(1) 用户家目录中创建脚本文件目录 binmkdir -p ~/bin(2) 新目录中创建脚本文件cd ~/binvim kakfa-cluster(3)脚本内容如下#!/bin/bash# 1. 环境变量配置# HADOOP和JDK的位置export HADOOP_HOME=/home/hadoop/hadoop-3.1.3export JAVA_HOME=/home/hadoop/jdk1.8.0_144export KAFKA_HOME=/home/hadoop/apa
2020-09-25 15:36:24
155
1
原创 随笔1-FLUME简介
Apache-Flume1. 概述Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的工具Flume 的核心是把数据从数据源(source)收集过来,再将收集到的数据送到指定的目的地(Sink)。 为了保证输送的过程一定成功,再送到目的地(Sink)之前,会先缓存数据(Channel),待数据真正到达目的地(Sink)后,flume 在删除自己缓存的数据。Flume 支持定制各类数据发送方,用于收集各类型数据;同时Flume 支持定制各种数据接收方,用于
2020-09-24 20:15:48
126
原创 随笔3-Flume入门案例
1. 监控端口数据官方案例需求:使用Flume监听一个端口,收集该端口数据,并打印到控制台。步骤实现(1) 在flume目录下创建work工作目录[hadoop@hadoop181 apache-flume]$ mkdir -p work[hadoop@hadoop181 apache-flume]$ cd work(2) 创建flume Agent配置文件[hadoop@hadoop181 work]$ vim flume-netcat-logger.conf(3) 配置文件内容
2020-09-24 20:14:52
123
原创 随笔2-Flume安装部署实录
Flume 安装部署1. 下载Flume(1) 下载地址http://flume.apache.org/download.html(2) 下载文件(3) 上传到用户目录2. 解压安装包(1) 解压[hadoop@hadoop181 ~]$ tar -zxvf apache-flume-1.9.0-bin.tar.gz(2) 改一个简单的名字[hadoop@hadoop181 ~]$ mv apache-flume-1.9.0-bin apache-flume3. 修改flume-
2020-09-24 16:41:12
120
原创 HIVE的查询语句实例(基础版)
1. 准备测试数据1.1 准备测试文件(1) 创建数据目录[hadoop@hadoop181 ~]$ mkdir -p /home/hadoop/data/hive[hadoop@hadoop181 ~]$ cd /home/hadoop/data/hive(2) 创建部门表测试数据文件[hadoop@hadoop181 hive]$ vi tbl_dept.txt[hadoop@hadoop181 hive]$ cat tbl_dept.txt10,ACCOUNTING,170020,
2020-09-18 14:44:28
429
原创 HIVE安装实录
1. 主机与服务规划1.1 主机规划安装hive 还需要mysql 与 hadoop 支持,我这里已经搭建好了hadoop集群主机IPHostNameCPUMEMERYUSERPWDhadoop180192.168.207.180hadoop1802 CORE4Grootroothadoop181192.168.207.181hadoop1814 CORE8Ghadoophadoophadoop182192.168.207.182
2020-09-15 18:44:58
232
原创 MapReduce自定义WordCount实现案例 (入门)
1. 准备工作1.1 远程文件准备(1) 创建数据文件[hadoop@hadoop181 ~]$ mkdir mapreduce[hadoop@hadoop181 ~]$ cd mapreduce/# 创建文件[hadoop@hadoop181 mapreduce]$ vim wordcount.txt# 新增文件内容[hadoop@hadoop181 mapreduce]$ cat wordcount.txt hello,world,hadoophive,sqoop,flume,h
2020-09-12 11:03:22
233
原创 HDFS的SHELL客户端高级操作
1. 文件限额2. 管理员操作命令2.1 dfsadmin 工具这个工具用途比较广泛, 可以查看HDFS 状态信息, 也能执行管理操作2.1.1 安全模式(1) 查看是否处于安全模式[hadoop@hadoop181 ~]$ hdfs dfsadmin -safemode get Safe mode is OFF in hadoop181/192.168.207.181:9000Safe mode is OFF in hadoop182/192.168.207.182:9000Safe
2020-09-11 11:31:21
2378
原创 随笔7(maven的推荐配置)
maven推荐配置1. 设置maven_opts 环境变量(1) 运行mvn 命令实际上是在执行java命令,既然是java,name运行java命令可用的参数当人也是可以在运行mvn 命令时可用. 这个时候,MAVEN_OPTS环境变量就能派上用场了.(2) 通常来说我们会设置 MAVEN_OPTS的值为 -Xms128m -Xmx512m. 通常来说java默认的最大可用内存往往不能满足我们的需求,如果项目比较大的时候,使用maven生成项目需要占用大量的内存,如果不自己配置,很容易oom例如
2020-09-10 23:12:14
157
原创 随笔5(maven的私有仓库)
1. 私有仓库搭建本次安装以 nexus-2.14.3-02-bundle.tar.gz 为演示版本1. 1. 需要上传安装文件本次安装使用 nexus-2.14.3-02-bundle.tar.gz 安装包1. 2. 解压压缩文件tar -zxvf nexus-2.14.3-02-bundle.tar.gz1. 3. 解压后的文件说明(1) nexus-2.11.4-01 文件夹里面是nexus的运行环境和应用程序。(2) sonatype-work 文件夹里面是我们后面
2020-09-10 23:00:32
153
原创 apache版本的hadoop源码编译(添加snappy的支持)
1. 虚拟机准备(1) 硬件要求硬件大小CPU没啥要求内存> 4G磁盘> 40G(2) 软件要求我用的是CentOS7,要求是64位操作系统软件大小系统64位2. 编译环境的准备2.1 准备linux 环境2.2 虚拟机网络配置(1) 配置联网模式要求虚拟机可以连接外网(2) 配置ip地址# 修改ip地址vim /etc/sysconfig/network-scripts/ifcfg-en
2020-09-10 19:38:27
237
原创 HDFS之JAVA客户端操作
1. HDFS 客户端准备(1)准备hadoop 的 安装包 , 我这里用的hadoop-2.7.2 的版本(2)需要配置的环境变量 有 HADOOP_HOME 和 PATH 变量(2)配置hadoop 的 HADOOP_HOME 路径(3)配置PATH路径2. 创建工程(1) 创建maven模块我这里创建了 hdfs-core(2)增加pom依赖 <dependencies> <dependency> <g
2020-09-08 23:54:29
314
原创 org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation
(1)报错截图(2)报错信息内容SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category WRITE is not supported in state standby. Visit https://s.apache.org/sb
2020-09-08 20:44:41
2986
原创 HDFS的SHELL操作
1. HDFS 常用命令1.1 基本格式(1)hadoop fs命令的方式执行hadoop fs 具体还是会调用hdfs的相关命令的,等同于hadoop dfs# 使用fs 命令不会有警告[hadoop@hadoop181 ~]$ hadoop fs -ls /Found 4 itemsdrwxr-xr-x - hadoop supergroup 0 2020-09-05 11:34 /datadrwxr-xr-x - hadoop supergroup
2020-09-08 14:50:37
283
原创 zookeeper集群群起小脚本
1. 代码(1) 创建脚本目录mkdir -p ~/bin(2) 创建脚本文件touch ~/bin/zookeeper-cluster(3) 给脚本文件执行权限chmod u+x zookeeper-cluster(4) 向加入脚本文件中增加脚本内容#!/bin/bash# 1. 环境变量配置# HADOOP和JDK的位置export HADOOP_HOME=/home/hadoop/hadoop-3.1.3export JAVA_HOME=/home/hadoop/jd
2020-09-07 18:40:56
383
原创 hadoop集群群起小脚本
1. 代码(1) 创建脚本目录mkdir -p ~/bin(2) 创建脚本文件touch ~/bin/hadoop-cluster(3) 给脚本文件执行权限chmod u+x hadoop-cluster(4) 向加入脚本文件中增加脚本内容#!/bin/bash# 1. 环境变量配置# HADOOP和JDK的位置HADOOP_HOME=/home/hadoop/hadoop-3.1.3JAVA_HOME=/home/hadoop/jdk1.8.0_144# 需要操作的主
2020-09-07 10:24:51
206
原创 随笔3(条件判断 test 命令)
1. 简介1.1 基本格式(1)格式1(这种方式比较常用)[-e condition](2)格式2test -e condition1.2 条件判断分类(1)文件类型选项(2)文件权限选项(3)文本比较选项(4)文件比较选项(5)整数比较选项(6)字符串的判断1.3 测试选项(1)or格式条件1 -o 条件2(2)and格式条件1 -a 条件2(3)!2. 选项说明2.1 文件类型选项(1) 清单选项描述选项 -b判断该文件是否
2020-09-07 09:26:05
199
原创 随笔2(字符操作相关命令)
1.列提取命令 ( cut )1.1(1) cut -f 列号提取第几列(2) cut -d 分隔符按照指定分隔符分割列, 注意不能使用空格(3) cut -c 字符范围范围描述n-从第几个字符到行尾n-m从第n个字符到第m个字符-m从第一个字符到第m个字符2.2 示例cut -d : -f 1 /etc/passwdcut -d : -f 1,5 /etc/passwd2.格式化字符串命令 ( printf )2.1 输出类型
2020-09-07 08:41:35
121
原创 随笔4 (maven打包进阶通过assembly 插件)
1. 假设场景有公司自己的项目jar包, 也有很多第三方的jar包。 我需要将打包后的内容分别放到不同的 jar包目录中, 最后打成一个linux 下的 tar.gz 文件, 打开之后通过脚本文件能直接启动2. 演示工程2.1 idea 中创建父工程父工程中可以定义, 子模块中需要的包的版本信息(1) pom 文件如下 (创建过程省略)<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.
2020-09-06 22:32:00
491
原创 随笔3 (按照需要的环境选择配置文件)
简介每次我们将软件部署到不同的环境时,都需要修改相应的配置文件,这样来回修改,很容易出错,而且繁琐。还好 maven 也提供了一种更加灵活的解决方案,就是profile功能。spring boot等也为我们提供了相应的解决方案,这里主要记录maven的解决方案演示工程假设场景, 我有一个web工程, 有dev, sit, uat, prod 四套环境, 每次打包的时候需要使用不同的配置文件比如, 我需要将三套环境分别连接不同的数据库(1)数据源配置表环境驱动程序连接url
2020-09-06 21:42:32
200
原创 随笔1(初识shell)
1. shell 简介(1) shell 是什么?Shell是一个命令解释器,它为用户提供了一个向linux内核发送请求以运行程序的界面系统级程序,用户可以用shell来启动,挂起,停止,甚至是编写一些程序. 主要的特点是 直来直去 会用命令就会写脚本简单而言SHELL 是一个能实现人机交互的命令解释器(2) 如何查看linux 支持的shell 种类呢?[hadoop@hadoop181 ~]$ cat /etc/shells/bin/sh/bin/bash/usr/bin/sh
2020-09-05 16:44:23
111
原创 随笔2(maven的基本使用)
1. 安装配置本次安装 maven 3.5.4 为例(1)检查java环境是否安装完成检查Java环境变量(maven是java开发的)java -version(2)解压安装包解压 apache-maven-3.3.9-bin.zip 到一个非中文无空格的目录下(3)配置环境变量M2_HOME(4)配置环境变量MAVEN_HOME(4)配置环境变量PATH(5) 检查是否成功 mvn -v2. POM 坐标和依赖MAVEN 的核心就是通过pom.xml
2020-09-05 00:24:58
652
原创 随笔1(初识maven)
1. MAVEN 简介(1)什么是mavenmaven 是一个软件开发的管理工具,它主要的工作是 : 依赖管理,项目构建(2)使用Maven的好处能够集中管理jar包,并提供一键构建(3)maven的常用命令命令描述compiletestpackageinstalldeploycleansite(4)maven 工程目录结构(5)maven的依赖范围依赖范围对编译classpath 有效对测试c
2020-09-04 23:36:06
162
原创 YARN HA 环境搭建
1. 主机与服务规划1.1 主机规划主机IPHostNameCPUMEMERYUSERPWDhadoop181192.168.207.181hadoop1814 CORE8Ghadoophadoophadoop182192.168.207.182hadoop1824 CORE8Ghadoophadoophadoop183192.168.207.183hadoop1834 CORE8Ghadoophadoop1.2 服务规
2020-09-04 11:56:56
379
原创 HDFS HA 集群搭建实录
1. 主机与服务规划1.1 主机规划主机IPHostNameCPUMEMERYUSERPWDhadoop181192.168.207.181hadoop1814 CORE8Ghadoophadoophadoop182192.168.207.182hadoop1824 CORE8Ghadoophadoophadoop183192.168.207.183hadoop1834 CORE8Ghadoophadoop1.2 服务规
2020-09-03 16:34:14
655
原创 zookeeper集群搭建实录
1. ZOOKEEPER 主机准备1.1 主机规划主机IPHostNameCPUMEMERYUSERPWDhadoop181192.168.207.181hadoop1814 CORE8Ghadoophadoophadoop182192.168.207.182hadoop1824 CORE4Ghadoophadoophadoop183192.168.207.183hadoop1834 CORE4Ghadoophadoop
2020-09-03 00:50:04
177
原创 hadoop集群搭建实录
1. 主机准备1.1 主机规划主机IPHostNameCPUMEMERYUSERPWDhadoop181192.168.207.181hadoop1814 CORE8Ghadoophadoophadoop182192.168.207.182hadoop1824 CORE4Ghadoophadoophadoop183192.168.207.183hadoop1834 CORE4Ghadoophadoop1.2 主机初始化
2020-09-02 19:21:29
181
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人