关闭

hadoop集群的搭建脚本及构思(二):程序文件的管理思路

标签: hadoop集群结构脚本管理
927人阅读 评论(0) 收藏 举报
分类:

安装了几次hadoop系统后终于开始有了一点感觉,对程序文件的管理有了一点想法,这里先记着。等搞完了再仔细地总结一下。

  • 网络上的基本教程都是从0开始,建用户,建目录,拷贝压缩包,然后再解压,再修改配置文件,再修改系统配置文件;然后从一个机器(基本是master node)同步到其他的nodes上去,再统一启动。
  • 整个过程中,其实除了很少的一些配置不一样(比如zookeeper里面的id文件内容不一样),其他的东西都是一样的,而且系统的配置也都一样。
  • 我原来的部署脚本都是按照从0开始的动作来编写的,每个机器都要跑一遍。完成一台机器,然后同步到其他机器上去。碰到配置不同的,还需要单独手工来一条命令一条命令的运行。
基于上面对于这些程序的安装理解,其实整个集群的配置可以这样来实现。
  • 设置一个文件服务器(可以考虑主备两台),用来存放程序源文件,以及按照实际软件的安装结构已经解压缩的文件,包括配置文件。
  • 部署脚本根据每个软件编写,基本思路是:
    1. 在每个需要安装软件的节点运行;
    2. 检查节点是否按照软件的需要建立起了合适的基础目录结构以及目录权限;
    3. 从文件服务器上远程scp整个软件的目录结构和文件到本节点
    4. 根据节点的属性,动态的设定配置,比如id数等。
  • 安装部署过程就变成了远程拷贝和本地配置两个部分。

目前看,对于hadoop/yarn以及spark集群,只需要同步即可文件目录即可。配置文件无需修改。zookeeper还要加单独配置每个journalnode的id。

另外,由于有些软件还有dependency,比如Java是几乎所有系统都需要的。那么就必须有一个安装的先后顺序。


不过,最近流行的Docker技术可能就会改变这个思路,不过对于物理机和虚拟机系统,上述的思路还是可以使用的。

0
0
查看评论

Ambari——大数据平台的搭建利器(利用 Ambari 管理 Hadoop 集群)

我们来看看如何通过 Ambari 管理 Hadoop 的集群。 Service Level Action(服务级别的操作) 首先我们进到 Ambari 的 GUI 页面,并查看 Dashboard。在左侧的 Service 列表中,我们可以点击任何一个您想要操作的 Ser...
  • kkx1988
  • kkx1988
  • 2017-09-19 16:22
  • 247

hadoop集群的搭建脚本及构思(一):用户和用户权限

打算搞一个复杂的Hadoop 2.6集群,加上Zookeeper来搞HA,再部署上HBase,Hive等一系列的东西。发现机器多了,从建虚机到配置都不能再靠命令行一条一条的敲,需要搞脚本出来自动/半自动执行。 其实想想,这个部署的过程就是一个类似PaaS的任务。完全可以搞成可视化的部署工具。当年搞十...
  • infovisthinker
  • infovisthinker
  • 2015-06-16 12:03
  • 1600

软件测试工程的思路、方法、原则、

测试态度:我们的测试时要发现软件是【不可用的】还是发现软件是【可以工作的】,这是我们的态度。 我们的态度会变化,变化主要取决于下面的关系: 测试的局限性:测试发现一个缺陷就少一个缺陷,测试不是万能的。只能提高质量,不能保证质量。测试的基本原则: 1 显示缺陷的存在 2 穷尽测试时不可能的...
  • ClamReason
  • ClamReason
  • 2015-08-25 11:30
  • 2437

Hadoop2.7.1 集群部署及自动化脚本

实验环境操作系统:ubuntu 14.04 64位 主机名 IP namenode 10.107.12.10 datanode1 10.107.12.20 datanode2 10.107.12.50 datanode3 10.107.12.60 jdk 安装实...
  • ZCF1002797280
  • ZCF1002797280
  • 2015-10-30 00:06
  • 7234

软件测试大概的思路

1、首先向客户提出需求,产品经理、开发人员、测试人员一起参加需求的评审,依据当前项目、人员、工期的实际情况,评估需求点的可行性。 2、需求评审完之后,测试人员需要做测试分析,在做测试分析的时候,多与客户、产品经理、开发人员沟通,分析需求 档。如果是优化系统,则对现有的系统进行分析,了解业...
  • u012938881
  • u012938881
  • 2015-03-30 11:55
  • 1134

Hadoop自动化安装脚本

参考资料和说明参考资料: hadoop-2.3.0详细安装过程 码云GIT: hadoop-2.4.0家族自动化安装脚本 》》》 获取邀请码 版本信息: hadoop-2.4.0-x64、hive-1.2.1、Zookeeper-3.4.5、Hbase-0.98.21 你没看错,这就是2.4....
  • whylazy
  • whylazy
  • 2016-09-29 14:51
  • 738

[hadoop]成功搭建Hadoop集群后简单实验

1>  检查对HDFS的访问(在namenode上操作)        #./hadoop-0.20.2/bin/hadoop fs -ls 2>  hadoop中的文件系统操作       ...
  • kakane
  • kakane
  • 2013-02-22 14:04
  • 3327

C++考试小程序编程思路和简单设计

//求某一年是闰年 (1)书上源程序 #include using namespace std; int main() { int year; bool leap; cout cin>>year; if(year%4==0) { if(year%100==0) ...
  • double_happiness
  • double_happiness
  • 2016-06-15 10:47
  • 1104

Hadoop集群实践-完整Hadoop分布式集群部署ubuntu-16.04.1+hadoop-2.7.3

超详细记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含,Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Hadoop格式化、Hadoop启动。 Hadoop欢迎页面: 集群规划: 主机名/hostn...
  • u014677702
  • u014677702
  • 2016-11-22 19:09
  • 2319

使用docker搭建部署hadoop分布式集群

http://blog.csdn.net/xu470438000/article/details/50512442 使用docker搭建部署hadoop分布式集群 标签: dockerhadoop集群 2016-01-13 18:16 2005人阅读 评论(1) ...
  • hnhbdss
  • hnhbdss
  • 2016-01-17 11:58
  • 2041
    个人资料
    • 访问:48459次
    • 积分:677
    • 等级:
    • 排名:千里之外
    • 原创:15篇
    • 转载:1篇
    • 译文:2篇
    • 评论:26条
    最新评论