- 博客(82)
- 收藏
- 关注
RSS订阅原创 K8s部署在Centos上
一、集群规划集群类型选择： 本次搭建采用一主多从的方式搭建， 这种方式比较简单集群的安装方式：本次采用kubeadm 安装， 这是一个快速搭建k8s集群的工具主机规划：作用IP地址操作系统配置k8s-master192.168.186.101Centos7 基础设施服务器2颗CPU 8G内存 100G硬盘k8s-node1192.168.186.102Centos7基础设施服务器2颗CPU 8G内存 100G硬盘k8s-node1192.168.18
2022-05-07 12:44:35
703
原创 Mac安装Kafka
Mac 系统安装kafka1.安装zookeeper源代码安装指令：brew install --build-from-source zookeeper我安装的 brew 位置在 /opt/homebrew下/opt/homebrew/Cellar/zookeeper启动文件位置：/opt/homebrew/Cellar/zookeeper/3.7.0_1/bin配置文件位置：/opt/homebrew/etc/zookeeper启动zk服务：brew services sta
2021-07-07 09:29:13
350
原创 Clickhouse 安装记录(附录-异常)
现象~ » sudo clickhouse-server --config-file=/etc/clickhouse-server/config.xml atguigu@hadoop162Processing configuration file '/etc/clickhouse-serv
2020-12-15 10:07:17
986
原创 maxmall安装实录
1. 安装前准备工作(1) 设置密码权限校验规则set global validate_password_policy=0;set global validate_password_length=4;(2) 在mysql中创建一个数据库, 用于存储maxwell的元数据create database `maxwell` character set 'utf8' collate 'utf8_general_ci';(3) 创建一个maxwell用户grant all on maxwell.*
2020-12-09 11:53:45
154
原创 Redis主从复制配置实录
Redis 主从复制1. 主从简介配置多台Redis 服务器，以主机和备机的身份分开。主机数据更新后，根据配置和策略，自动同步到备机的 master/slaver 机制，Master以写为主，Slaver 以读为主，二者之间自动同步数据。1.1 配置主从的目的：读写分离时为了提高Redis性能避免单点故障，容灾快速恢复1.1 配置主从的原理：每次从机联通后，都会给主机发送sync指令，主机立刻进行存盘操作，发送RDB文件，给从机从机收到RDB文件后，进行全盘加载。之后每次主机的写操作命令，都
2020-12-01 19:11:03
141
原创 Ubuntu 安装Redis实录
（1）下载Redis源码包下载地址https://redis.io/download（2）检查gcc && g++ 环境ubuntu上用apt安装，centos使用yum安装即可sudo apt-get install -y gccsudo apt-get install -y g++（3）编译安装tar -zxvf redis-6.0.9.tar.gz -C /opt/modulecd /opt/module/redis-6.0.9/src /opt/module
2020-11-30 14:15:07
104
原创 Ubuntu 安装 gcc 与 g++环境
（1）检查是否已经存在环境了gcc --version g++ --version(1) 检查gcc 和 g++ 版本（2）安装gccsudo apt-get install -y gccsudo apt-get install -y g++(3) 再次检查gcc 和 g++ 版本gcc --version g++ --version
2020-11-30 11:48:28
564
原创 Zabbix安装实录
1）浏览器访问http://hadoop102/zabbix2）检查配置3）配置数据库4）配置zabbix-server5）再次确认配置5）点击完成
2020-11-23 21:31:09
143
原创 Error while instantiating ‘org.apache.spark.sql.internal.SessionState‘
(1) 现象截图(2) 错误堆栈信息(文本)D:\developments\java-tools\jdk1.8.0_144\bin\java.exe -ea -Didea.test.cyclic.buffer.size=1048576 -javaagent:D:\developments\dev-software\IntelliJIDEA2020\lib\idea_rt.jar=51029:D:\developments\dev-software\IntelliJIDEA2020\bin -Dfile
2020-10-05 09:40:09
1386
原创 随笔1-kafka集群安装
1. 主机与服务规划1.1 主机规划主机IPHostNameCPUMEMERYUSERPWDhadoop181192.168.207.181hadoop1814 CORE8Ghadoophadoophadoop182192.168.207.182hadoop1824 CORE8Ghadoophadoophadoop183192.168.207.183hadoop1834 CORE8Ghadoophadoop注意： 集群
2020-09-25 15:43:32
111
原创 kafka 群起小脚本工具
（1） 用户家目录中创建脚本文件目录 binmkdir -p ~/bin（2） 新目录中创建脚本文件cd ~/binvim kakfa-cluster（3）脚本内容如下#!/bin/bash# 1. 环境变量配置# HADOOP和JDK的位置export HADOOP_HOME=/home/hadoop/hadoop-3.1.3export JAVA_HOME=/home/hadoop/jdk1.8.0_144export KAFKA_HOME=/home/hadoop/apa
2020-09-25 15:36:24
143
1
原创 随笔1-FLUME简介
Apache-Flume1. 概述Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的工具Flume 的核心是把数据从数据源（source）收集过来，再将收集到的数据送到指定的目的地（Sink）。 为了保证输送的过程一定成功，再送到目的地（Sink）之前，会先缓存数据（Channel），待数据真正到达目的地（Sink）后，flume 在删除自己缓存的数据。Flume 支持定制各类数据发送方，用于收集各类型数据；同时Flume 支持定制各种数据接收方，用于
2020-09-24 20:15:48
97
原创 随笔3-Flume入门案例
1. 监控端口数据官方案例需求:使用Flume监听一个端口，收集该端口数据，并打印到控制台。步骤实现(1) 在flume目录下创建work工作目录[hadoop@hadoop181 apache-flume]$ mkdir -p work[hadoop@hadoop181 apache-flume]$ cd work(2) 创建flume Agent配置文件[hadoop@hadoop181 work]$ vim flume-netcat-logger.conf(3) 配置文件内容
2020-09-24 20:14:52
112
原创 随笔2-Flume安装部署实录
Flume 安装部署1. 下载Flume(1) 下载地址http://flume.apache.org/download.html(2) 下载文件(3) 上传到用户目录2. 解压安装包(1) 解压[hadoop@hadoop181 ~]$ tar -zxvf apache-flume-1.9.0-bin.tar.gz(2) 改一个简单的名字[hadoop@hadoop181 ~]$ mv apache-flume-1.9.0-bin apache-flume3. 修改flume-
2020-09-24 16:41:12
110
原创 HIVE的查询语句实例（基础版）
1. 准备测试数据1.1 准备测试文件(1) 创建数据目录[hadoop@hadoop181 ~]$ mkdir -p /home/hadoop/data/hive[hadoop@hadoop181 ~]$ cd /home/hadoop/data/hive(2) 创建部门表测试数据文件[hadoop@hadoop181 hive]$ vi tbl_dept.txt[hadoop@hadoop181 hive]$ cat tbl_dept.txt10,ACCOUNTING,170020,
2020-09-18 14:44:28
402
原创 HIVE安装实录
1. 主机与服务规划1.1 主机规划安装hive 还需要mysql 与 hadoop 支持,我这里已经搭建好了hadoop集群主机IPHostNameCPUMEMERYUSERPWDhadoop180192.168.207.180hadoop1802 CORE4Grootroothadoop181192.168.207.181hadoop1814 CORE8Ghadoophadoophadoop182192.168.207.182
2020-09-15 18:44:58
210
原创 MapReduce自定义WordCount实现案例 （入门）
1. 准备工作1.1 远程文件准备（1） 创建数据文件[hadoop@hadoop181 ~]$ mkdir mapreduce[hadoop@hadoop181 ~]$ cd mapreduce/# 创建文件[hadoop@hadoop181 mapreduce]$ vim wordcount.txt# 新增文件内容[hadoop@hadoop181 mapreduce]$ cat wordcount.txt hello,world,hadoophive,sqoop,flume,h
2020-09-12 11:03:22
223
原创 HDFS的SHELL客户端高级操作
1. 文件限额2. 管理员操作命令2.1 dfsadmin 工具这个工具用途比较广泛, 可以查看HDFS 状态信息, 也能执行管理操作2.1.1 安全模式(1) 查看是否处于安全模式[hadoop@hadoop181 ~]$ hdfs dfsadmin -safemode get Safe mode is OFF in hadoop181/192.168.207.181:9000Safe mode is OFF in hadoop182/192.168.207.182:9000Safe
2020-09-11 11:31:21
2312
原创 随笔7（maven的推荐配置）
maven推荐配置1. 设置maven_opts 环境变量(1) 运行mvn 命令实际上是在执行java命令,既然是java,name运行java命令可用的参数当人也是可以在运行mvn 命令时可用. 这个时候,MAVEN_OPTS环境变量就能派上用场了.(2) 通常来说我们会设置 MAVEN_OPTS的值为 -Xms128m -Xmx512m. 通常来说java默认的最大可用内存往往不能满足我们的需求,如果项目比较大的时候,使用maven生成项目需要占用大量的内存,如果不自己配置,很容易oom例如
2020-09-10 23:12:14
138
原创 随笔5（maven的私有仓库）
1. 私有仓库搭建本次安装以 nexus-2.14.3-02-bundle.tar.gz 为演示版本1. 1. 需要上传安装文件本次安装使用 nexus-2.14.3-02-bundle.tar.gz 安装包1. 2. 解压压缩文件tar -zxvf nexus-2.14.3-02-bundle.tar.gz1. 3. 解压后的文件说明(1) nexus-2.11.4-01 文件夹里面是nexus的运行环境和应用程序。(2) sonatype-work 文件夹里面是我们后面
2020-09-10 23:00:32
138
原创 apache版本的hadoop源码编译(添加snappy的支持)
1. 虚拟机准备(1) 硬件要求硬件大小CPU没啥要求内存> 4G磁盘> 40G(2) 软件要求我用的是CentOS7,要求是64位操作系统软件大小系统64位2. 编译环境的准备2.1 准备linux 环境2.2 虚拟机网络配置(1) 配置联网模式要求虚拟机可以连接外网(2) 配置ip地址# 修改ip地址vim /etc/sysconfig/network-scripts/ifcfg-en
2020-09-10 19:38:27
228
原创 HDFS之JAVA客户端操作
1. HDFS 客户端准备（1）准备hadoop 的 安装包 ， 我这里用的hadoop-2.7.2 的版本（2）需要配置的环境变量 有 HADOOP_HOME 和 PATH 变量（2）配置hadoop 的 HADOOP_HOME 路径（3）配置PATH路径2. 创建工程（1） 创建maven模块我这里创建了 hdfs-core（2）增加pom依赖 <dependencies> <dependency> <g
2020-09-08 23:54:29
281
原创 org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation
（1）报错截图（2）报错信息内容SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.ipc.StandbyException): Operation category WRITE is not supported in state standby. Visit https://s.apache.org/sb
2020-09-08 20:44:41
2939
原创 HDFS的SHELL操作
1. HDFS 常用命令1.1 基本格式（1）hadoop fs命令的方式执行hadoop fs 具体还是会调用hdfs的相关命令的,等同于hadoop dfs# 使用fs 命令不会有警告[hadoop@hadoop181 ~]$ hadoop fs -ls /Found 4 itemsdrwxr-xr-x - hadoop supergroup 0 2020-09-05 11:34 /datadrwxr-xr-x - hadoop supergroup
2020-09-08 14:50:37
266
原创 zookeeper集群群起小脚本
1. 代码(1) 创建脚本目录mkdir -p ~/bin(2) 创建脚本文件touch ~/bin/zookeeper-cluster(3) 给脚本文件执行权限chmod u+x zookeeper-cluster(4) 向加入脚本文件中增加脚本内容#!/bin/bash# 1. 环境变量配置# HADOOP和JDK的位置export HADOOP_HOME=/home/hadoop/hadoop-3.1.3export JAVA_HOME=/home/hadoop/jd
2020-09-07 18:40:56
366
原创 hadoop集群群起小脚本
1. 代码(1) 创建脚本目录mkdir -p ~/bin(2) 创建脚本文件touch ~/bin/hadoop-cluster(3) 给脚本文件执行权限chmod u+x hadoop-cluster(4) 向加入脚本文件中增加脚本内容#!/bin/bash# 1. 环境变量配置# HADOOP和JDK的位置HADOOP_HOME=/home/hadoop/hadoop-3.1.3JAVA_HOME=/home/hadoop/jdk1.8.0_144# 需要操作的主
2020-09-07 10:24:51
193
原创 随笔3(条件判断 test 命令)
1. 简介1.1 基本格式（1）格式1（这种方式比较常用）[-e condition]（2）格式2test -e condition1.2 条件判断分类（1）文件类型选项（2）文件权限选项（3）文本比较选项（4）文件比较选项（5）整数比较选项（6）字符串的判断1.3 测试选项（1）or格式条件1 -o 条件2（2）and格式条件1 -a 条件2（3）！2. 选项说明2.1 文件类型选项(1) 清单选项描述选项 -b判断该文件是否
2020-09-07 09:26:05
170
原创 随笔2(字符操作相关命令)
1.列提取命令 （ cut ）1.1（1） cut -f 列号提取第几列（2） cut -d 分隔符按照指定分隔符分割列, 注意不能使用空格（3） cut -c 字符范围范围描述n-从第几个字符到行尾n-m从第n个字符到第m个字符-m从第一个字符到第m个字符2.2 示例cut -d ： -f 1 /etc/passwdcut -d ： -f 1，5 /etc/passwd2.格式化字符串命令 （ printf ）2.1 输出类型
2020-09-07 08:41:35
105
原创 随笔4 (maven打包进阶通过assembly 插件)
1. 假设场景有公司自己的项目jar包， 也有很多第三方的jar包。 我需要将打包后的内容分别放到不同的 jar包目录中， 最后打成一个linux 下的 tar.gz 文件， 打开之后通过脚本文件能直接启动2. 演示工程2.1 idea 中创建父工程父工程中可以定义， 子模块中需要的包的版本信息（1） pom 文件如下 （创建过程省略）<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.
2020-09-06 22:32:00
467
原创 随笔3 (按照需要的环境选择配置文件)
简介每次我们将软件部署到不同的环境时，都需要修改相应的配置文件，这样来回修改，很容易出错，而且繁琐。还好 maven 也提供了一种更加灵活的解决方案，就是profile功能。spring boot等也为我们提供了相应的解决方案，这里主要记录maven的解决方案演示工程假设场景， 我有一个web工程， 有dev， sit， uat， prod 四套环境， 每次打包的时候需要使用不同的配置文件比如， 我需要将三套环境分别连接不同的数据库（1）数据源配置表环境驱动程序连接url
2020-09-06 21:42:32
176
原创 随笔1(初识shell)
1. shell 简介(1) shell 是什么?Shell是一个命令解释器,它为用户提供了一个向linux内核发送请求以运行程序的界面系统级程序,用户可以用shell来启动,挂起,停止,甚至是编写一些程序. 主要的特点是 直来直去 会用命令就会写脚本简单而言SHELL 是一个能实现人机交互的命令解释器(2) 如何查看linux 支持的shell 种类呢?[hadoop@hadoop181 ~]$ cat /etc/shells/bin/sh/bin/bash/usr/bin/sh
2020-09-05 16:44:23
102
原创 随笔2（maven的基本使用）
1. 安装配置本次安装 maven 3.5.4 为例（1）检查java环境是否安装完成检查Java环境变量(maven是java开发的)java -version（2）解压安装包解压 apache-maven-3.3.9-bin.zip 到一个非中文无空格的目录下（3）配置环境变量M2_HOME（4）配置环境变量MAVEN_HOME（4）配置环境变量PATH(5) 检查是否成功 mvn -v2. POM 坐标和依赖MAVEN 的核心就是通过pom.xml
2020-09-05 00:24:58
625
原创 随笔1（初识maven）
1. MAVEN 简介（1）什么是mavenmaven 是一个软件开发的管理工具,它主要的工作是 : 依赖管理,项目构建（2）使用Maven的好处能够集中管理jar包,并提供一键构建（3）maven的常用命令命令描述compiletestpackageinstalldeploycleansite（4）maven 工程目录结构（5）maven的依赖范围依赖范围对编译classpath 有效对测试c
2020-09-04 23:36:06
149
原创 YARN HA 环境搭建
1. 主机与服务规划1.1 主机规划主机IPHostNameCPUMEMERYUSERPWDhadoop181192.168.207.181hadoop1814 CORE8Ghadoophadoophadoop182192.168.207.182hadoop1824 CORE8Ghadoophadoophadoop183192.168.207.183hadoop1834 CORE8Ghadoophadoop1.2 服务规
2020-09-04 11:56:56
363
原创 HDFS HA 集群搭建实录
1. 主机与服务规划1.1 主机规划主机IPHostNameCPUMEMERYUSERPWDhadoop181192.168.207.181hadoop1814 CORE8Ghadoophadoophadoop182192.168.207.182hadoop1824 CORE8Ghadoophadoophadoop183192.168.207.183hadoop1834 CORE8Ghadoophadoop1.2 服务规
2020-09-03 16:34:14
623
原创 zookeeper集群搭建实录
1. ZOOKEEPER 主机准备1.1 主机规划主机IPHostNameCPUMEMERYUSERPWDhadoop181192.168.207.181hadoop1814 CORE8Ghadoophadoophadoop182192.168.207.182hadoop1824 CORE4Ghadoophadoophadoop183192.168.207.183hadoop1834 CORE4Ghadoophadoop
2020-09-03 00:50:04
167
原创 hadoop集群搭建实录
1. 主机准备1.1 主机规划主机IPHostNameCPUMEMERYUSERPWDhadoop181192.168.207.181hadoop1814 CORE8Ghadoophadoophadoop182192.168.207.182hadoop1824 CORE4Ghadoophadoophadoop183192.168.207.183hadoop1834 CORE4Ghadoophadoop1.2 主机初始化
2020-09-02 19:21:29
165
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人