语旅-CSDN博客

原创 elasticsearch集群一键部署安装

1.前提条件机器已经配置ssh无密码登录2.配置文件elasticsearch.yml 把所有的都注释掉，只保留下面几个，不知道为何，请在每行前面加上一个空格。 cluster.name: bluedon node.name: C05 path.data: /data/es1 network.host: C05 discovery.zen.ping.

2017-02-18 09:18:20 2657

原创 spark2.x shell 客户端操作sparkSQL

1.客户端启动shell进入spark安装目录bin/spark-shell --master spark://IP:7077 --executor-memory 1g2.scala操作（1）把HDFS上的文件映射为表启动sparkSession对象：val spark = org.apache.spark.sql.SparkSession.builder().

2017-01-07 14:04:36 4764

原创 greenplum编译安装

（该操作是在联网的情况下进行的，如果在安装某些依赖时无法进行安装，请尝试离线方式安装）1.下载源码：（如果在WINS系统下载该源码，会导致配置文件出现编码问题，建议直接在LINUX上下载）git clone https://github.com/greenplum-db/gpdb2.安装依赖：yum install curl-devel bzip2-devel python-dev

2016-07-20 13:48:43 1146

原创 vsftpd安装遇到问题及解决办法

1.设置被动模式pasv_min_port=10050 （设置被动模式的端口范围）pasv_max_port=10060（设置被动模式的端口范围）2.无法连接：防火墙设置-A INPUT -m state --state NEW -m tcp -p tcp --dport 21 -j ACCEPT-A INPUT -m state --state NEW

2016-06-27 17:52:48 791

原创 window下mysql安装以及问题解决方法

1.解压安装包在根目录下添加文件my.ini内容如下：[mysql]# 设置mysql客户端默认字符集default-character-set=utf8 [mysqld]#设置3306端口port = 3306 # 设置mysql的安装目录basedir=D:\mysql-5.7.12-winx64# 设置mysql数据库的数据的存放目录datad

2016-06-27 17:49:37 344

原创 FastDFS5.05集群安装部署

操作系统：redhat6.5 64位安装用户：root软件环境：安装gcc和make需要安装包：libfastcommon-master.tar.gz和fastdfs-5.05.tar.gz安装后配置文件路径：/etc/fdfs/服务器2台：tracker节点：192.168.10.12storage节点：192.168.10.13安装步骤：

2015-02-28 10:01:38 1213

原创 redis-2.8.12安装部署

操作系统：redhat6.5 64位安装用户：root软件环境：安装有make和gcc配置文件路径：/etc/redis.conf安装步骤：1.下载安装包redis-2.8.12.tar.gz。例如安装包在/home/root/中2.拷贝安装包到/usr/local/ 命令：cp /home/root/redis-2.8.12.

2015-02-28 09:48:37 1328

原创 spark1.0.2分布式集群安装

环境配置:安装路径/usr/local/已经搭建好hadoop集群，也可以不用搭建HADOOP集群，搭建HADOOP集群是为了利用HDFS系统版本：ubuntu14.04jdk版本：1.8scala版本：2.11.4hadoop版本：2.2.0附：scala2.11.4的安装方法1.到官网下载scala2.11.4的安装包2.解压安装包到目录/usr/l

2014-12-31 16:22:28 541

原创 sqoop1.99.4的安装和使用

一.环境介绍：sqoop版本:1.99.4-hadoop200hadoop版本:hadoop2.2.0安装路径是/usr/local/sqoop二.sqoop1.99.4安装1.解压安装文件到/usr/local/sqoop目录2.修改环境变量 sudo vi /etc/profileexport SQOOP_HOME=/usr/local/sqoop exp

2014-12-18 09:40:44 2303 2

原创 hadoop分布式集群配置之多台机器ssh无密码登录

系统默认没有安装ssh如果直接sudo apt-get install ssh安装，可能会提示没有找到软件包或者软件包过期。如果真的是这样，请尝试下面命令sudo apt-get updatesudo apt-get install ssh系统会自动安装，安装完成后输入ssh localhost，如果提示输入登录密码，说明成功ssh无密码登录输入ssh-

2014-08-29 08:54:03 707