2018年03月_haolifengwang

12月 08月 05月 04月 03月

原创 golang 开发环境搭建

1. 操作系统以及golang安装使用操作系统redhat7.2 x86_64为，将golang解压后拷贝到/usr/local/目录下，通常目录将是这个样子：/usr/local/go/bin在~/.bash_profile中添加export GOROOT=/usr/local/goexport PATH=$PATH:$GOROOT/bin2 gocode下载安装golang的安装目录中自带了g...

2018-03-09 17:53:39 876

原创 Spark集群安装

Spark集群安装1 环境准备网上的资料真的是太混乱了，写的都是乱七八糟。还得自己动手1.1 机器环境使用vmware准备三台机器192.167.2.10 Master192.167.2.11 Slave1192.167.2.12 Slave2注意一定要在/etc/sysconfig/network和hosts中修改主机名称和ip映射。在spark中是通过主机名称来找master。 ...

2018-03-01 17:11:39 183

原创 spark集群安装

spark集群安装1 集群规划Hadoop-master1 192.168.2.100 Spark主 Hadoop-master2 192.168.2.101 Spark备 Hadoop-slave1 192.168.2.102 Zookeeper Hadoop-slave2 192.168.2.103 Zookeeper Hadoop-slave3 192.168.2...

2018-03-01 17:03:58 160

原创 hive安装

hive安装1 集群规划1.1 软件包mysqlapache-hive-2.1.1-bin.tar.gzmysql-connector-java-5.1.40.zip1.2 物理部署Hadoop-master1 192.168.2.100 Mysql/hive 2 mysql设置2.1 root用户设置在安装之初，root用户没有密码。为了安全起...

2018-03-01 16:49:25 119

原创 hbase集群安装

hbase集群安装1 集群规划Hadoop-master1 192.168.2.100 Hbase主 Hadoop-master2 192.168.2.101 Hbase被 Hadoop-slave1~hadoop-slave2 Zookeeper集群 2 linux内核调整2.1 用户限制vim /etc/security/limits.confroot...

2018-03-01 14:11:52 188

原创 zookeep集群安装

Zookeeper集群安装1 集群规划构建高可用的大数据集群需要使用zookeeper实现hdfs和hbase的自动切换。所以第一步首先是安装zookeeper，我采用了数据与安装程序分离的策略。zookeeper进程是轻量化进程，安装在datanode中Hadoop-slave1 192.168.2.102 Zookeeper Hadoop-slave2 192.168.2.10...

2018-03-01 14:06:45 262

原创 hadoop集群安装

hadoop集群安装1 集群规划Hadoop-master1 192.168.2.100 Namendoe主 Hadoop-master2 192.168.2.101 Namenode备 Hadoop-slave1 192.168.2.102 Datanode/zookeeper Hadoop-slave2 192.168.2.103 Datanode/zookeeper...

2018-03-01 14:05:04 137