Hadoop
文章平均质量分 91
Sean-Xiao
--
展开
-
MapReduce中,从HDFS读取数据计算后写入HBase
基于上个例子。做一下简单的改造。http://blog.csdn.net/demonxyy/article/details/79320628在原本的例子中,从HDFS中读取数据计算之后再写会HDFS里,现在讲Reducer类改造一下,把计算后的数据。写入到HBase当中,写完之后我们会使用HBase的命令查询一下写入数据。打开原有的Reducer类,代码如下:import org.apache.h...原创 2018-02-26 17:50:47 · 3709 阅读 · 1 评论 -
Mac下CentOS虚拟机装Hadoop集群、zookeeper集群、HBase集群
开工前的资源准备1、电脑安装VMware Fusion,并安装centos 72、下载需要的工具包 jdk-8u161-linux-x64.tar.gz hadoop-2.7.4.tar.gz zookeeper-3.4.9.tar.gz hbase-1.2.6-bin.tar.gz一、虚拟机配置联网3台虚拟机都安装完毕处于原始状态,这个时候虚拟机还是处于不可联网的状态,需...原创 2018-02-11 19:41:09 · 4254 阅读 · 3 评论 -
IDEA下新建一个gradle工程,用kotlin写MapReduce。
话不多说,直接上正餐。首先我们新建一个gradle的项目,把默认的Java前面的勾去掉,然后再kotlin前面打钩后Next:接着设置对应的groupId和artifactId,然后Next:接着一直Next(当然要有什么其他的需求配置就自己选择操作):在这边确认项目名称之后直接finish,然后项目建成,接着让子弹飞一会儿……接着打开build.gradle文件,开始配置gradle项目,在de...原创 2018-02-13 14:55:39 · 2045 阅读 · 2 评论 -
CentOS安装kafka教程,使用外部zookeeper
前置条件: 1、已经装好jdk的机器 2、已经存在了一套zookeeper 3、已经下载好安装包(http://kafka.apache.org/downloads) 4、会敲键盘开始安装: 在这边,我选择的是kafka_2.12的版本,下载好之后是一个tgz的压缩包,传到服务器后用tar命令解压tar -zxvf kafka_2.12-1.0.0.tgz接着把解压后...原创 2018-02-24 16:49:00 · 2514 阅读 · 1 评论