Hadoop
songrj1
当下的结果,是过去决定的。当下的努力,会在未来见效。
展开
-
Linux下Mysql的安装
点击打开链接转载 2018-03-07 18:33:16 · 164 阅读 · 0 评论 -
HBase的java api应用
1、新建一个IDEA的Maven工程2、引入依赖 3、新建测试类 package com.motoon;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbase.TableName;...原创 2018-03-19 15:26:02 · 251 阅读 · 0 评论 -
MapReduce的WordCount应用实例
1、新建一个IDEA的Maven工程2、引入依赖 3、Mapper类 package com.motoon;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.ha...原创 2018-03-19 15:44:23 · 416 阅读 · 0 评论 -
Storm的WordCount实例
1、创建IDEA的Maven工程 2、引入依赖 3、编写类 — CountBolt package com.wordcount;import org.apache.storm.task.OutputCollector;import org.apache.storm.task.TopologyContext;import org.apache.storm.topol...原创 2018-03-19 15:52:15 · 602 阅读 · 0 评论 -
Spark SQL的简单java api应用
1、创建IDEA的Maven工程2、引入依赖 <?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xs...原创 2018-03-19 16:10:25 · 1819 阅读 · 4 评论 -
Spark SQL的jdbc操作
1、创建IDEA的Maven工程2、引入依赖 <?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xs...原创 2018-03-19 16:15:10 · 700 阅读 · 0 评论 -
SparkStreaming 的WordCount实例
1、先检查IDEA中是否安装Scala插件,若无,则先安装。 2、新建一个Maven工程 3、引入依赖 4、把java改成scala 5、新建一个Scala类 6、WordCount类 7、启动hadoop、Spark,使用 nc -lk 9999命令监听9999端口 ...原创 2018-03-19 16:22:23 · 633 阅读 · 0 评论 -
Linux上安装Scala
在安装之前,要确保已经安装jdk。1、下载地址 2、通过FTP上传压缩包至Linux服务器某目录文件下3、解压缩 tar -zxvf scala-2.12.4.tgz4、重命名 mv scala-2.12.4 scala5、配置环境变量 vi /etc/profile export SCALA_HOME=/usr/lcoal/software/scala ...原创 2018-03-13 18:13:40 · 600 阅读 · 0 评论 -
Windows上安装Scala
在安装Scala之前,要先安装jdk。1、下载地址 选择其windows版本 .msi 进行下载2、双击打开scala-2.12.4.msi文件,点击“next”。 3、选择 “I accept the ...”,点击“next”。 4、选择安装位置,点击“next”。 5、点击“Install”进行安装。 6、安装完成,点击“Fini...原创 2018-03-13 18:23:14 · 1075 阅读 · 0 评论 -
Hdfs的Java api应用
1、新建一个IDEA的maven工程2、引入依赖 3、创建测试类HdfsClient package com.motoon;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.junit.Before;import org.junit.Test;...原创 2018-03-19 15:21:40 · 255 阅读 · 0 评论 -
Zookeeper在Java api中的应用
1、新建一个idea的maven工程2、引入依赖 3、新建测试类TestZookeeper.java package com.motoon;import org.apache.zookeeper.*;import org.apache.zookeeper.ZooDefs.Ids;import java.io.IOException;/** * @author rjso...原创 2018-03-19 15:17:30 · 281 阅读 · 0 评论 -
Hive伪分布式的安装
点击打开链接转载 2018-03-07 18:35:04 · 730 阅读 · 0 评论 -
Flume的下载安装
1、下载flume源文件 https://archive.apache.org/dist/flume/1.7.0/2、解压缩 tar -zxvf apache-flume-1.7.0-bin.tar.gz3、重命名 mv apache-flume-1.7.0-bin flume4、配置环境变量 cd /etc/profile export FLUME_...原创 2018-03-08 19:29:38 · 1079 阅读 · 0 评论 -
Hive单机安装(元数据采用derby)
1、下载hive源文件 https://archive.apache.org/dist/hive/hive-2.0.1/2、通过FTP将hive源文件上传到Linux服务器3、解压缩 tar -zxvf apache-hive-2.0.1-bin.tar.gz4、重命名 mv apache-hive-2.0.1-bin hive5、配置环境变量 export H...原创 2018-03-08 19:41:59 · 553 阅读 · 0 评论 -
Linux下Hadoop的安装
1、首先下载Hadoop压缩包 https://archive.apache.org/dist/hadoop/core/2、通过FTP上传到Linux的服务器上3、解压缩hadoop文件,并且重命名 4、通过 vi /etc/profile 命令编辑 /etc/profile文件,保存并更新。 5、编辑hadoop-evh.sh文件 vim $HADOO...原创 2018-03-02 18:37:37 · 4136 阅读 · 0 评论 -
Kafka(单机安装)
在安装Kafka之前要先安装jdk和zookeeper1、下载地址 https://archive.apache.org/dist/kafka/1.0.0/2、通过ftp上传至Linux服务器文件目录下 3、解压缩 tar -zxvf kafka_2.11-1.0.0.tgz.gz4、重命名 mv kafka_2.11-1.0.0 kafka5、配置kafka,...原创 2018-03-12 12:05:52 · 204 阅读 · 0 评论 -
Kafka的java api 操作(一)
1、创建java的maven工程2、引入依赖 3、编写测试类package com.motoon;import kafka.admin.AdminUtils;import kafka.admin.RackAwareMode;import kafka.server.ConfigType;import kafka.utils.ZkUtils;import org.apache.kafk...原创 2018-03-12 13:12:58 · 2806 阅读 · 0 评论 -
Storm安装(单机版)
1、下载地址 https://archive.apache.org/dist/storm/apache-storm-1.0.1/2、通过ftp上传至Linux服务器的目录下3、解压缩 tar -zxvf apache-storm-1.0.1.tar.gz4、重命名 mv apache-storm-1.0.1 storm5、配置环境变量 vi /etc/profil...原创 2018-03-12 19:10:06 · 740 阅读 · 0 评论 -
Storm的WordCount操作
1、创建maven工程 2、引入依赖 3、WordCount类 package com.wordcount;import org.apache.storm.Config;import org.apache.storm.LocalCluster;import org.apache.storm.generated.AlreadyAliveException;import...原创 2018-03-12 19:16:21 · 369 阅读 · 0 评论 -
Spark安装单机版
1、下载地址 https://archive.apache.org/dist/spark/spark-2.1.0/2、通过FTP上传至Linux服务器某目录文件下 3、解压缩 tar -zxvf spark-2.1.0-bin-without-hadoop.tgz.gz4、重命名 mv spark-2.1.0-bin-without-hadoop spark5、...原创 2018-03-14 12:05:07 · 560 阅读 · 0 评论