![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
环境与软件
湘笑
生活,一半回忆,一半继续
展开
-
Linux下 jdk1.8安装
jdk1.8安装下载地址: http://www.oracle.com/technetwork/cn/java/javase/downloads/index.html解压tar -zxvf jdk-8u11-linux-x64.tar.gz新建安装目录,将jdk移过去sudo mkdir /usr/lib/jvmsudo mv jdk1.8.0_11/ /usr/lib/jvm/设置原创 2016-08-16 16:05:17 · 374 阅读 · 0 评论 -
MobaXterm中运行脚本出现command not found
由于笔者习惯使用MobaXterm管理操作服务器,所以经常在目录中直接右键可视化创建文本。运行脚本出现command not found, 但是明明复制命令在终端运行是完全没问题的, 脚本就是无法运行。问题就在于下图上图中,图一文件就是出错的脚本,图二的脚本是正常运行的脚本。图一是DOS格式的文本,图二是UNIX格式的文本。所以使用MobaXterm手动创建的是DOS格式的文件,运行出错。解决方案:原创 2017-06-25 15:46:55 · 10380 阅读 · 1 评论 -
自动化脚本腾讯云配置集群(一)挂载磁盘
具体挂载步骤见网址:https://www.qcloud.com/document/product/213/2974构建自动化脚本需要 linux 上的服务器交互工具 expect, 简要用法和原理了解见 http://blog.csdn.net/leexide/article/details/17485451配置集群的思路挂载master机器上的硬盘,再通过expect在master上操作挂载sl原创 2017-07-19 18:23:05 · 931 阅读 · 0 评论 -
自动化脚本腾讯云配置集群(二)大集群SSH免密登录
大型集群下进行批量SSH免密登录时,笔者采用自动化脚本的方式进行批量配置,这样大规模(16,32,64,128等规模的)集群的配置更有效率。当然集群越大,出错的可能性也会增大,建议先在小集群上将以下的介绍的功能脚本运行无误后,再在大集群上配置。笔者在128集群上进行配置,自动化脚本总运行时间不超过1小时。以下将介绍两个配置过程所需要的脚本:1. ssh.sh ssh.sh 该脚本在master节原创 2017-09-02 20:23:55 · 499 阅读 · 0 评论 -
自动化脚本腾讯云配置集群(三)批量修改host
在搭建hadoop或者spark集群之前,可能需要对集群中节点的别名重新命名,方便集群的管理。例如hosts文件中,将节点的IP对应成master和slave1等。如下# hosts127.0.0.1 localhost localhost.localdomain10.135.72.89 master10.135.82.197 slave110.104.73.51 sla原创 2017-09-02 22:43:27 · 1775 阅读 · 0 评论 -
自动化脚本腾讯云配置集群(四)自动化安装从节点的JDK+Hadoop
在大规模集群中直接自动化安装软件JDK和Hadoop,效率是可想而知的。 这一部分紧接之前3个部分的环境配置,完成jdk和hadoop的安装,这样hadoop大规模集群算是完成了。本小节的步骤较多,但并不复杂:》首先准备好要分发到从节点的文件,包含以下三个文件: 软件包(*tar.gz)+环境变量设置文本(*env)+从节点上执行的脚本(.sh) 脚本文件会在各个从节点上运行,其功能主要是解压原创 2017-09-02 23:07:56 · 442 阅读 · 0 评论