生产环境下hadoop集群配置之awk生成hadoop拷贝脚本

最新推荐文章于 2024-04-18 03:23:45 发布

RichardLeeH

最新推荐文章于 2024-04-18 03:23:45 发布

阅读量1.7k

点赞数

分类专栏： hadoop学习之

本文链接：https://blog.csdn.net/LIHUINIHAO/article/details/17467753

版权

hadoop学习之专栏收录该内容

27 篇文章 1 订阅

订阅专栏

一、实验环境：

Mac os 下VirtualBox中三台安装centos 6.3虚拟机

主机名	别名	IP地址	系统版本	角色
lhmaster	lhmaster.lihui.hadoop	192.168.1.4	Centos 6.3	服务器
lhslave01	lhslave01.lihui.hadoop	192.168.1.5	Centos 6.3	客户端
lhslave02	lhslave02.lihui.hadoop	192.168.1.6	Centos 6.3	客户端

二、修改hadoop 下 /conf/slaves 文件将客户端添加到文件中，每行一个

三、生成拷贝脚本

执行如下命令生成拷贝脚本：

cat slaves | awk '{print "scp -rp /home/lihui/hadoop/hadoop-1.2.1 lihui@"$1":/home/lihui/hadoop"}' > scp.sh

至此：批量复制脚本生成成功，等hadoop的其他配置完成，即可执行此脚本将配置好的hadoop 复制到客户端结点上

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

RichardLeeH

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Hadoop Streaming 之 awk实现Map/Reduce

why俺不是悟空

12-03

346

//TODO 说明 [xxuser@xxhost ~]$ hadoop jar $HADOOP_STREAMING_JAR \ > -input /test/ylb/mock_data/cv-pt-demo.txt \ > -output /test/ylb/mock_data/output/cv-pt-demo-10 \ > -mapper...

Hadoop | 集群配置（一）使用Shell脚本解决完全分布式集群节点之间的文件传输问题 | scp命令 | rsync命令

希望每天都能进步一点点

01-15

1455

文章目录参考资料一、前言二、rsync 远程同步工具三、使用 shell 编写分发脚本四、总结参考资料视频链接 Linux scp命令一、前言在Hadoop完全分布式集群环境下，里面的各个节点都是通过 SSH免密登陆连接的，比如现有三台集群节点，分别是 hadoop101、hadoop102、hadoo103。 hadoop101节点可以通过 ssh命令连接到hadoop102，即： ssh hadoop102 那么，除了远程登陆以外，还有其他的作用吗？当然有的，比如远程传输文件：sc

参与评论您还未登录，请先登录后发表或查看评论

Hadoop Streaming和awk

chigui2571的博客

09-10

366

Hadoop streaming类似于Unix管道数据流，从标准输入(STDIN)输入，输出到标准输出(STDOUT)，数据必须是基于文本的，文本的每一行被认为是一条记录。这也是很多Unix命令，例如：awk的工作方式。在Hadoop streaming中整个数据流就像是一个管道(P...

awk编写hadoop streaming 总结

fuyangchang的专栏

01-20

4315

hrmr $hdp/test/query hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-0.19.1-streaming.jar / -D mapred.reduce.tasks=0 / -mapper "awk -F'/t' '{print /$1}'" / -input $path / -output $hdp/test/query 1.awk调用的时候$符号需要转义成/$

Hadoop连接服务器拷贝文件,hadoop完全分布式- - - - - -scp 、rsync 和 xsync 命令工具讲解...

weixin_34255327的博客

08-12

437

(1)需求：循环复制文件到所有节点的相同目录下(2)需求分析：(a)rsync命令原始拷贝：rsync -rvl /opt/software root@hadoop103:/opt/(b)期望脚本：xsync要同步的文件名称(c)说明：在/home/hadoop/bin这个目录下存放的脚本，hadoop用户可以在系统任何地方直接执行。(3)脚本实现(a)在/home/hadoop目...

awk and hadoop之mapper

slow is fast

08-07

143

1. 在awk 中mapper的时候我们经常会合并不同的文件，取我们想要的不同的字段。 awk -F "\t" ' { filename = ENVIRON["mapreduce_map_input_file"]; if (index(filename, "xxxx") > 0) { // xxx } else { //xxxx ...

Hive在hadoop集群中的搭建

BXMMJ的博客

01-30

779

hive的安装、部署，mysql的安装，hive元数据存储到MySQL，配置文件的修改，hive启动停止脚本的编写

搭建5个节点的hadoop集群环境（CDH5）

热门推荐

陌上花开

05-18

5万+

搭建一个分布式的hadoop集群环境，下面是详细步骤，使用cdh5 。提示：如果还不了解Hadoop的，可以下查看这篇文章Hadoop生态系统，通过这篇文章，我们可以首先大致了解Hadoop及Hadoop的生态系统中的工具的使用场景。一、硬件准备基本配置: 操作系统 64位 CPU (英特尔)Intel(R) I3处理器内存 8.00 GB ( 1600 MHz) 硬盘剩余空间 50G 流畅配置: 操作系统 64位

VM虚拟机 - Docker - CentOS 7 - 快速使用Docker从零搭建Hadoop完全分布式集群详细教程（亲测有效，※吐血推荐※）（内含快速启动容器脚本）

H_X_P_的博客

11-06

2298

“想要用docker搭建Hadoop集群吗？想要的话可以看我这篇博客！我把好多坑都走了，尽情复制吧！”

Hadoop分布式集群搭建

czdn123的博客

12-23

435

1 资源 2 环境 3 安装zookeeper集群 4 部署hadoop集群 5 初始化集群 6 集群管理 7 Hadoop的几个Web页面

linux awk命令详解

SunWuKong_Hadoop的博客

12-22

273

史上最好用简介 awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。 awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。 awk其名称得自于它

awk and hadoop 之reducer

slow is fast

11-07

154

配合上面一篇 mapper篇，这篇主要讲在reducer的时候怎么处理两个文件中的内容，在mapper中我们给每个文件中的内容打了 tag ，在第二个字段，然后就能处理了，只要key一样，就可以弄到一个文件中去。 awk -F '\t' '{ id = $1; tag = $2; if (0 == tag){ idPre = $1; }else (1 == t...

hadoop集群搭建完整教程jdk，Linux awk命令详解

最新发布

2401_84408058的博客

04-18

752

在这里，由于面试中MySQL问的比较多，因此也就在此以MySQL为例为大家总结分享。但是你要学习的往往不止这一点，还有一些主流框架的使用，Spring源码的学习，Mybatis源码的学习等等都是需要掌握的，我也把这些知识点都整理起来了《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！**如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

awk合并文件实例以及命令解释

zhoucheng05_13的博客

09-04

1413

一、awk合并文件 1.1 实例 [root@tech tmp]# cat account a|000002 b|000001 c|000003 d|000004 [root@tech tmp]# cat cdr 000001|20 000002|45 000003|25 000004|60 要合并这两个文件，可以使用如下命令： awk -F | ‘NR==FNR { a[$1]=$2; next...

awk学习笔记

weixin_34006965的博客

04-30

5137

不错的学习链接：所以拷贝下来了http://sebug.net/paper/books/awk/ awk是行处理器: 相比较屏幕处理的优点，在处理庞大文件时不会出现内存溢出或是处理缓慢的问题，通常用来格式化文本信息awk处理过程:依次对每一行进行处理，然后输出awk命令形式:awk [-F|-f|-v] ‘BEGIN{} //{command1; command2} END...

hadoopt -cat 命令查看_Linux: Cat命令这些功能你可能还不知道，快来查缺补漏吧

weixin_42531128的博客

01-21

949

cat命令，你还不知道的使用方法零、背景 cat命令是初学者都知道的命令，但是他还有一些功能也许你还不知道。今天我们将全面的介绍cat命令。一、介绍 cat命令在linux系统中使用的非常普遍，cat命令能够帮助我们创建、查看、连接(多个文件合成一个)文件等操作。本文主要讲述cat命令的使用方法。二、使用方法 2.1 语法cat [OPTION]... [FILE]... 如果cat后面没有跟文件...

Hadoop环境搭建（6） -- 克隆

m0_64776466的博客

12-11

1651

克隆两台虚拟机，更改主机名和IP地址，连接MobaXterm，为群起配置做准备

Hadoop之文件复制scp和同步rsync

柳小葱的博客

04-17

2780

众所周知，Hadoop主要有三种运行模式单机模式（服务器一台，数据由linux管理）伪分布式模式（服务器一台，数据由HDFS管理）完全分布式模式（服务器节点很多，数据分布在多台设备HDFS管理）目前博主主要学习完全分布式模式。配置完全分布式的步骤如下： #mermaid-svg-2jDEV08LsJQdibTr .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill

大数据中经常用到的linux awk的基本使用

大数据ING的博客

07-17

529

awk的工作原理 awk 'BEGIN{ commands } pattern{ commands } END{ commands }' 第一步：执行BEGIN{ commands }语句块中的语句；第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{ commands }语句块，它逐行扫描文件，从第一行到最后一行重复这个过程，直到文件全部被读取完毕。第三步：当读...