大数据/云计算
文章平均质量分 82
hellohorizon
这个作者很懒,什么都没留下…
展开
-
Spark环境搭建
1 系统环境系统:CentOS 6.5 32bit。版本:JDK 1.7,Hadoop 2.6.4,Spark 1.6.2,Scala 2.10(Spark1.6.2匹配Scala2.10版本)。2 Hadoop环境搭建 参考《Hadoop环境搭建》进行hadoop环境搭建。3 Scala环境配置3.1 下载Scala 下载合适版原创 2016-07-13 16:23:48 · 539 阅读 · 0 评论 -
Eclipse上Hadoop开发环境搭建
1 安装插件 hadoop-eclipse-plugin-xxx.jar2 插件配置2.1 配置Hadoop Installation Directory 配置首选项里的Map/Reduce项的“hadoop installation directory”配置项,用于指向hadoop安装目录,在windows下只需要把下载到的hadoop原创 2016-07-13 16:56:17 · 433 阅读 · 0 评论 -
Eclipse上Spark开发环境搭建
1 安装插件 http://scala-ide.org/download/current.html2 配置2.1 配置Hadoop环境变量 HADOOP_HOME:%HADOOP_HOME%\bin中需包含winutils.exe文件。 Path:添加%HADOOP_HOME%\bin,注意分号。 winutils.exe下载地原创 2016-07-13 16:58:03 · 4036 阅读 · 0 评论 -
Zookeeper的基本概念和基础使用
1 定义ZooKeeper是Hadoop的开源子项目(Google Chubby的开源实现),它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护与同步、命名服务(在集群所有机器里生成唯一ID)、负载均衡、分布式锁、分布式协调/同步(心跳检测等)、组服务等。Zookeeper的Fast Fail 和 Leader选举特性大大增强了分布式集群的稳定和健壮性,并且解决了M原创 2017-09-15 16:41:00 · 588 阅读 · 0 评论 -
Hadoop环境搭建
1 系统环境CentOS 6.5 32bithadoop-2.6.4.tar.gzjdk-7-linux-i586.rpm2 ip配置2.1 修改配置文件 vi /etc/sysconfig/network-scripts/ifcfg-eth0 配置示例如下:DEVICE=eth0BOOTPROTO=staticBROADCAS原创 2016-07-13 11:34:55 · 977 阅读 · 0 评论 -
Kafka笔记基础概念和安装配置
1 定义Kafka是一个分布式消息队列,是由apache开源的一个消息系统,用scala写成。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类,发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成,每个实例(server)成为broker。原创 2017-09-10 11:31:43 · 376 阅读 · 0 评论 -
Hive的安装配置和使用Java连接
Hadoop集群搭建可参考:http://blog.csdn.net/yanhang0610/article/details/518965451 系统环境系统:CentOS 7.0。版本:JDK 1.8.0_91,Hadoop 2.7.3,Hive 2.1.1。2 Hive安装官网:http://hive.apache.org/安装Hiv原创 2017-09-10 10:38:04 · 2516 阅读 · 0 评论 -
HBase的安装配置和使用Java连接
Hadoop集群搭建可参考:http://blog.csdn.net/yanhang0610/article/details/518965451 系统环境系统:CentOS 7.0。版本:JDK 1.8.0_91,Hadoop 2.7.3,Zookeeper 3.4.9,Hbase 1.2.5。参考:https://wenku.baidu.com/view/b2bd9原创 2017-09-10 10:33:22 · 6504 阅读 · 4 评论