- 博客(6)
- 收藏
- 关注
RSS订阅原创 idc_server_init_datanode
分享一个用fabric远程扩容datanode的另一种方式，主要体现在利用Put方法能够远程上传文件到目标机器并且可以指定目标机密码，不需要先前拷贝好秘钥：代码如下idc_server_init_datanode.py 脚本运行方式： fab -f idc_server_init_datanode.py do_work:datanode_ip=192.168.110.4,hostname=hd1
2017-12-19 15:05:20
359
原创 在线扩容datanode脚本（用fabric）
环境说明： 在扩容之前，我的集群是三台机器，并且已经开启了的 hadoop版本：hadoop-2.7.3 192.168.40.140 hd1 NameNode 192.168.40.144 hd4 即将被扩容的datanode机器 第一步：将NameNode和datanode各自的root用户的秘钥拷贝过去，以免运行脚本时自己输入 生成公钥
2017-10-29 16:47:33
383
原创 hbase与hive的整合
环境说明： apache-hive-1.2.2-bin hbase-1.2.6 zookeeper-3.4.9 hadoop-2.7.3 前期说明： Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive_hbase-handler.jar工具类 注意：以下路径以自己的路径为准 第一步： cp hbase-1.2.6
2017-09-09 20:26:17
240
原创 hbase的安装
前期环境准备： red-hat 6.7 zookeeper-3.4.9 hadoop-2.7.3 hbase-1.2.6-bin 环境说明： 我总共有三台机器 hd1(主) hd2 hd3 备注：运用hbase，必须要依赖于zookeeper,zookeeper的安装，可见我前面的文章 第一步：解压tar包（用root用户） tar -zxvf hbase-1.2.6-bi
2017-09-08 23:21:55
169
原创 hive的安装及hive与mysql的整合
环境说明： red-hat 6.7 hadoop-2.7.3.tar.gz apache-hive-1.2.2-bin.tar.gz 注意：以下路径皆为我自己安装各组件及环境的路径，若有不同，需自己注意 在主节点上安装即可 第一步：解压tar包 tar -zxvf apache-hive-1.2.2-bin.tar.gz -C /home/hadoop 第二步：配置环境变量
2017-09-07 23:12:04
742
原创 搭建高可用hadoop集群
环境说明： red-hat 6.7 hadoop-2.7.3 zookeeper-3.4.9 jdk1.8.0_131 备注：我将所有需要的包，都放置在/usr/local/路径下了 本次环境搭建的机器总共为3台 192.168.40.140 hd1 主节点 192.168.40.141 hd2 主备节点 192.168.40.142 hd3 从节点 若集群安装成功
2017-09-06 23:24:46
276
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人