![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
bigdata_配置&脚本
配置文件、常用脚本
最佳第六六六人
一只威武的大数据架构攻城狮
展开
-
azkaban集群启动命令和脚本
zakaban启动分为Executor Server和Web Server启动ExecutorServer端启动命令:[atguigu@hadoop102 azkaban-exec]$ bin/start-exec.sh[atguigu@hadoop103 azkaban-exec]$ bin/start-exec.sh[atguigu@hadoop104 azkaban-exec]$ bin/start-exec.sh然后是ExecutorServer的激活#!/bin/bashf原创 2021-02-03 09:49:06 · 1060 阅读 · 0 评论 -
Maxwell启动脚本
#!/bin/bashcase $1 in "start" ){ /opt/module/maxwell/bin/maxwell --config /opt/module/maxwell/config.properties > /dev/null 2>&1 &};; "stop" ){ ps -ef | grep maxwell | grep -v grep |awk '{print $2}' | xargs k原创 2021-02-03 09:43:08 · 803 阅读 · 0 评论 -
elastic search集群脚本(集成kibana)
#!/bin/bashes_home=/opt/module/elasticsearchkibana_home=/opt/module/kibanacase $1 in "start") { for i in hadoop102 hadoop103 hadoop104; do echo "=============== $i starting ES ===============" ssh原创 2021-02-03 09:41:06 · 212 阅读 · 0 评论 -
zookeeper集群脚本
#! /bin/bashcase $1 in "start" ){ for i in hadoop102 hadoop103 hadoop104; do echo "----------- zookeeper $i 启动 -----------" ssh $i "/opt/module/zookeeper/bin/zkServer.sh start" done };;原创 2021-02-03 09:39:43 · 180 阅读 · 0 评论 -
集群关机脚本
集群关机脚本# /bin/bashfor i in hadoop104 hadoop103 hadoop102do ssh $i "sudo shutdown -h now" sleep 1s;done原创 2021-02-03 09:37:59 · 458 阅读 · 0 评论 -
操作集群命令xcall
#! /bin/bashfor i in hadoop102 hadoop103 hadoop104do echo "---------- $i ----------" ssh $i "$*"done原创 2021-02-03 09:35:33 · 212 阅读 · 0 评论 -
hadoop群起脚本
hadoop群起脚本#!/bin/bashif [ $# -lt 1 ]then echo "No Args Input..." exit ;ficase $1 in"start") echo " =================== 启动 hadoop集群 ===================" echo " --------------- 启动 hdfs ---------------" ssh hadoop102 "/o原创 2020-11-06 17:07:16 · 641 阅读 · 0 评论 -
查看服务器java进程脚本
查看服务器java进程脚本:jpsall$@的作用#!/bin/bashfor host in hadoop102 hadoop103 haoop104do echo "============== $host ===================" ssh $host jps $@ | grep -v Jpsdone原创 2020-11-03 00:22:35 · 276 阅读 · 0 评论 -
kafka群起脚本
kafka群起脚本#!/bin/bashcase $1 in "start"){ for i in hadoop102 hadoop103 hadoop104 do echo "========== $i starting kafaka ==========" ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties" done}原创 2020-11-02 21:23:38 · 115 阅读 · 0 评论 -
Hive-beeline启动脚本
每次登录beeline要输入这么多太麻烦了,可以写一个脚本。vim $HIVE_HOME/bin/beeline.sh#!/bin/bashbeeline -u jdbc:hive2://hadoop102:10000 -n atguigu原创 2020-10-22 16:09:41 · 1228 阅读 · 4 评论 -
hive服务启动的脚本
hive服务启动的脚本启动metastore和hiveserver2#!/bin/bashHIVE_LOG_DIR=$HIVE_HOME/logsmkdir -p $HIVE_LOG_DIR#检查进程是否运行正常,参数1为进程名,参数2为进程端口function check_process(){ pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}') ppid=$(netstat原创 2020-10-22 15:58:38 · 1414 阅读 · 0 评论 -
大数据2_03_hadoop3.x配置远程同步脚本xsync
3 配置远程同步脚本xsync远程分发指令有:scp (secure copy)之前都是sudo scp /opt/hello.txt atguigu@hadoop103:/opt/也可以:sudo scp /opt/hello.txt hadoop103:/opt/rsync主要用于备份和镜像,速度快,只对差异文件更新。sudo rsync -av hadoop hadoop:/opt/步骤1:在/bin目录下创建一个xsync文件,在里面编写脚本#!/bin/bas原创 2020-10-10 17:52:16 · 183 阅读 · 0 评论 -
HA集群配置文件
步骤3:修改配置文件core-siet.xml<configuration> <!-- 指定NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value> </property><!-- 指定hadoop数据的存储目录 --> <原创 2020-10-20 20:30:46 · 274 阅读 · 0 评论 -
客户端MR中的配置信息
步骤1:创建Maven工程,导入依赖<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> </dependency> <dependency>原创 2020-10-16 23:11:52 · 242 阅读 · 0 评论