湘笑-CSDN博客

原创自动化脚本腾讯云配置集群（四）自动化安装从节点的JDK+Hadoop

在大规模集群中直接自动化安装软件JDK和Hadoop，效率是可想而知的。这一部分紧接之前3个部分的环境配置，完成jdk和hadoop的安装，这样hadoop大规模集群算是完成了。本小节的步骤较多，但并不复杂：》首先准备好要分发到从节点的文件，包含以下三个文件：软件包(*tar.gz)+环境变量设置文本（*env）+从节点上执行的脚本(.sh) 脚本文件会在各个从节点上运行，其功能主要是解压

2017-09-02 23:07:56 434

原创自动化脚本腾讯云配置集群（三）批量修改host

在搭建hadoop或者spark集群之前，可能需要对集群中节点的别名重新命名，方便集群的管理。例如hosts文件中，将节点的IP对应成master和slave1等。如下# hosts127.0.0.1 localhost localhost.localdomain10.135.72.89 master10.135.82.197 slave110.104.73.51 sla

2017-09-02 22:43:27 1757

原创自动化脚本腾讯云配置集群（二）大集群SSH免密登录

大型集群下进行批量SSH免密登录时，笔者采用自动化脚本的方式进行批量配置，这样大规模（16,32,64,128等规模的）集群的配置更有效率。当然集群越大，出错的可能性也会增大，建议先在小集群上将以下的介绍的功能脚本运行无误后，再在大集群上配置。笔者在128集群上进行配置，自动化脚本总运行时间不超过1小时。以下将介绍两个配置过程所需要的脚本：1. ssh.sh ssh.sh 该脚本在master节

2017-09-02 20:23:55 491

具体挂载步骤见网址：https://www.qcloud.com/document/product/213/2974构建自动化脚本需要 linux 上的服务器交互工具 expect, 简要用法和原理了解见 http://blog.csdn.net/leexide/article/details/17485451配置集群的思路挂载master机器上的硬盘，再通过expect在master上操作挂载sl

2017-07-19 18:23:05 906

原创 linux /hadoop 运行java 程序

linux / hadoop 运行java程序单个java文件 javac编译生成.class文件 java 命令运行程序 javac Hello.javajava Hello 多个java文件 javac编译生成.class文件 jar命令生成jar包 java命令运行程序 cd classes //首先进入根目录，否则打包会有问题to

2017-07-19 17:34:49 4695

原创 linux 命令行使用hanlp

本文主要工作是在linux服务器上使用hanlp，测试源码主要是hanlp源码中的HanLP-1.3.1\src\test\java\com\hankcs\demo\DemoKeyword.java1. 文件内容结构介绍本人的工作目录命名为hanlp，该目录下主要由以下文件： META-INF 存放文件MANIFEST.MF文件Manifest-Version: 1.0Main-Class:

2017-07-03 22:25:55 1297

原创 MobaXterm中运行脚本出现command not found

由于笔者习惯使用MobaXterm管理操作服务器，所以经常在目录中直接右键可视化创建文本。运行脚本出现command not found，但是明明复制命令在终端运行是完全没问题的，脚本就是无法运行。问题就在于下图上图中，图一文件就是出错的脚本，图二的脚本是正常运行的脚本。图一是DOS格式的文本，图二是UNIX格式的文本。所以使用MobaXterm手动创建的是DOS格式的文件，运行出错。解决方案：

2017-06-25 15:46:55 10167 1

原创腾讯云hadoop集群搭建步骤，namenode/datanode启动问题

腾讯云hadoop集群搭建步骤及注意的相关问题步骤：防火墙处理/关闭防火墙【仅在服务器安全级别要求不高的环境下进行】配置完全分布式hadoop集群namenode/ datanode 启动问题1. 防火墙处理最直接的方式，关闭防火墙，简单省事。当然这也是笔者本人作为新手处理服务器比较简单粗暴的方式。sudo ufw disable2. 配置完全分布式hadoop集群集群的搭建详细步骤可参见3

2017-06-13 15:40:35 1685

原创 MySQL常用脚本

常用脚本登录 : mysql -u root -p退出： exit添加用户：use mysql;INSERT INTO user (host, user, password, select_priv, insert_priv, update_priv) VALUES ('localhost', 'guest', PASSWORD('guest123'), 'Y', 'Y', 'Y');FLUSH P

2017-01-07 14:01:54 485

原创 Linux下 jdk1.8安装

jdk1.8安装下载地址： http://www.oracle.com/technetwork/cn/java/javase/downloads/index.html解压tar -zxvf jdk-8u11-linux-x64.tar.gz新建安装目录，将jdk移过去sudo mkdir /usr/lib/jvmsudo mv jdk1.8.0_11/ /usr/lib/jvm/设置

2016-08-16 16:05:17 368

原创 NLP初级选手ubuntu 下安装google SyntaxNet

SyntaxNet: Neural Models of SyntaxNLP初级选手ubuntu 下安装google SyntaxNet初级选手安装走了很多弯路，但是也收获不少经验，特别是熟悉了环境搭建过程中涉及到的框架工具。可能目前对这些框架工具理解和使用都欠缺，但是并不影响成功搭建SyntaxNet的工作环境。本人所有安装步骤参考github上给出的SyntaxNet的教程介绍1。python

2016-05-23 00:28:38 4815 1

转载初识 Spatial Pyramid Matching

SPM [1]全称是Spatial Pyramid Matching，出现的背景是bag of visual words模型被大量地用在了Image representation中，但是BOVW模型完全缺失了特征点的位置信息。文章被引用了3400多次。文章的贡献，看完以后觉得其实挺简单的，和分块直方图其实是一个道理------将图像分成若干块(sub-regions)，分别统计每一子块的特征，最后

2016-01-05 18:38:31 622

精点之家