安装
午饭有鱼有虾9
这个作者很懒,什么都没留下…
展开
-
Kafka安装以及配置
大数据技术之Kafka 版本:V3.0 第2章 Kafka快速入门 2.1 安装部署 2.1.1 集群规划 hadoop102 hadoop103 hadoop104 zk zk zk kafka kafka kafka 2.1.2 jar包下载 http://kafka.apache.o...原创 2021-05-09 13:53:09 · 229 阅读 · 1 评论 -
Kafka启动脚本
#!/bin/bash case $1 in "start"){ for i in hadoop102 hadoop103 hadoop104 do echo " --------启动 $i Kafka-------" ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties " don...原创 2021-05-09 13:50:05 · 182 阅读 · 0 评论 -
zookeeper启动脚本
#! /bin/bash #1.判断参数是否传入 if [ $# -lt 1 ] then echo"必须传入参数...." exit fi #2.根据参数匹配动作 case $1 in "start") for host in hadoop102 hadoop103 hadoop104 do echo "================启动$host zookeeper===================" ...原创 2021-05-08 19:07:17 · 57 阅读 · 0 评论 -
查看进程脚本
#! /bin/bash #1、判断参数是否输入 if [ $# -lt 1 ] then echo "必须输入一个待执行的命令..." exit fi #2、执行指令 #xcall.sh mkdir -p /opt/module/xxx for host in hadoop102 hadoop103 hadoop104 do echo "======================$host=========================" ssh $host "$*" ...原创 2021-05-08 19:05:58 · 147 阅读 · 0 评论 -
Hadoop启动脚本
#! /bin/bash #1、判断参数是否传入 if [ $# -lt 1 ] then echo "必须传入一个参数..." exit fi #2、匹配参数执行逻辑 case $1 in "start") echo "=============================启动HDFS======================" ssh hadoop102 "start-dfs.sh" echo "=============================启动...原创 2021-05-08 19:05:22 · 70 阅读 · 0 评论 -
数据生成脚本
#! /bin/bash for host in hadoop102 hadoop103 do echo "====================开始生成$host的日志数据======================" #&: 后台执行,ssh断开的时候,程序会终止 #nohup: 免挂断,ssh断开的时候,程序不会终止 #0: 标准输入 #1: 标准输出 #2: 错误输出 #ssh远程使用nohup指令的时候必须使用标准输出与错误输出 ...原创 2021-05-08 19:04:18 · 93 阅读 · 0 评论 -
数据同步脚本
常用脚本 #! /bin/bash #1、判断参数是否输入 #xsync aa bb.txt #$#: 获取参数个数 #$*: 获取所有参数,并且所有参数当做一个整体 #$@: 获取所有参数,并且每个参数当做一个个单独的个体 if [ $# -lt 1 ] then echo "必须传入一个文件或者目录..." exit fi #2、遍历输入的参数 for f in $@ do #3、判断文件/目录是否存在,如果存在则同步 #-e: 判断文件/目录是否存在 #-d: 判断是否为目录 #-...原创 2021-05-08 19:03:22 · 231 阅读 · 0 评论 -
hadoop安装以及配置
大数据技术之Hadoop(入门) 版本:V3.0 第1章 完全分布式运行模式(开发重点) 分析: 1)准备3台客户机(关闭防火墙、静态IP、主机名称) 2)安装JDK 3)配置环境变量 4)安装Hadoop 5)配置环境变量 6)配置集群 7)单点启动 8)配置ssh 9)群起并测试集群 1.1 Hadoop部署 1)集群部署规划 注意:Name...原创 2021-05-08 18:07:42 · 997 阅读 · 0 评论 -
虚拟机VMware准备以及Hadoop准备
大数据技术之Hadoop(入门) 版本:V3.0 第1章 虚拟机环境准备 1)准备三台虚拟机,虚拟机配置要求如下: (1)单台虚拟机:内存4G,硬盘50G (2)修改克隆虚拟机的静态IP [root@hadoop102 ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33 改成 DEVICE=ens33 TYPE=Ethernet ONBOOT=yes BOOTPROTO=static NAME="ens33" PR...原创 2021-05-08 12:21:41 · 120 阅读 · 0 评论