电商数仓
chnhbhndchngn
这个作者很懒,什么都没留下…
展开
-
zookeeper群起和群关
#!/bin/bashcase $1 in"start"){ for i in node2 node3 node4 do echo ---------- zookeeper $i 启动 ------------ ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start" done};;"stop"){ for i in node2 node3 node4 do echo ---------- .原创 2022-04-04 19:42:37 · 1662 阅读 · 0 评论 -
yarn 正规关闭一些正在进行的MR
首先在终端查看正在执行的任务:yarn application -list会显示正在执行的任务, 选择需要终止的任务的applicationId, 然后执行以下命令yarn application -kill application_1620526042553_0007结果如下:...原创 2022-04-04 16:54:06 · 513 阅读 · 0 评论 -
mapred-site.xml
<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration> <!-- 指定 MapReduce 程序运行在 Yarn 上, 默认是local 就是本地模式 --> <property> <name>mapreduce.framework.name</name> .原创 2022-04-04 15:22:49 · 826 阅读 · 0 评论 -
yarn-site.xml
<?xml version="1.0"?><configuration> <!-- 指定 MR 要进行 shuffle --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> &l.原创 2022-04-04 15:08:28 · 381 阅读 · 0 评论 -
hdfs-site.xml配置文件
<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration> <!-- namenode web 端访问地址--> <property> <name>dfs.namenode.http-address</name> <value>.原创 2022-04-04 14:45:40 · 1561 阅读 · 0 评论 -
集群批量执行某个命令
查看Linux 所有java相关进程的脚本, 创建脚本文件 /home/xxx/bin/xcall.sh#! /bin/bashfor i in hadoop102 hadoop103 hadoop104do echo --------- $i ---------- ssh $i "$*"done添加可执行的权限:chmod u+x xcall.sh执行命令 如:xcall jps...原创 2022-04-04 14:16:58 · 2476 阅读 · 0 评论 -
大数据的环境变量设置
创建 /etc/profile.d/myenv.sh 文件, 内部填写一下内容# JAVA_HOMEexport JAVA_HOME=/opt/module/jdk1.8.0export PATH=$PATH:$JAVA_HOME/bin# hadoopexport HADOOP_HOME=/opt/module/hadoop-3.1.3export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin#hiveexport HIVE_HOM原创 2022-04-04 14:02:37 · 1431 阅读 · 0 评论 -
core-site.xml配置文件
<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration> <!-- 指定 NameNode 的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://node2:80.原创 2022-04-04 14:40:25 · 2445 阅读 · 1 评论