自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 收藏
  • 关注

原创 Spark搭建与Scala

一、Scala上传解压缩scala-2.11.8.tgztar -zxvf scala-2.11.8.tgz -C /opt/module/配置环境变量vi /etc/profileexport SCALA_HOME=/opt/module/scala-2.12.8export PATH=$SCALA_HOME/bin:$PATH保存并使其立即生效source /etc/profi...

2019-05-26 13:45:02 122

原创 hive与mysql基本配置与wordcount实例

注:虚拟机如果是最小化安装,请先配置yum源。(这里我就不演示了,自行百度)hive是基于Hadoop的,请先配置Hadoop。一、mysql配置若wget不可用,下载安装wget:yum -y install wget安装后wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm解压rpm -ivh m...

2019-05-26 13:26:07 171

转载 NOSQL下的Redis和MongoDB的安装和配置

一、了解Redis和MongoDB1、 redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此...

2019-05-22 18:04:13 161

原创 Centos7上HBase的安装和Eclipse+Maven的配置过程

一、Eclipse+Maven的配置过程1、安装配置JDK在Windows上把JDK环境给配置好2、安装Eclipse3、安装Maven解压Maven压缩包,解压后的文件夹\apache-maven-3.6.0放在eclipse的目录里。配置Maven的环境变量,Path添加Maven的\bin的安装路径,cmd命令行运行mvn -v,查看是否成功安装配置。4、Eclipse配置Ma...

2019-05-22 17:52:04 249

原创 MapReduce的演练

一、 WordCountDriverimport java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text...

2019-05-22 13:13:09 100

原创 hadoop对hdfs的实战

hadoop环境搭建好后,运行第wordcount示例1.首先启动hadoop:start-all.shcd /opt/module/hadoop-2.7.3/share/hadoop/mapreduce 转入wordcount所在路径。创建adir文件夹:hadoop fs -mkdir /adir查看所创建的文件:hadoop fs -ls /运行touch in.txt,创建I...

2019-05-22 12:57:34 167

原创 使用伪分布式搭建hadoop集群

一、先准备需要的工具包二、配置基础环境1、使用CRT工具上传hadoop包2、将hadoop安装上传压缩 tar -zxvf hadoop-2.7.3.tar.gz -C /opt/module3、配置环境变量vi /etc/profile,重新加载/etc/profile,使配置生效source /etc/profile4、输入hadoop,java查看配置是否生效三、Hadoo...

2019-05-22 12:53:03 155

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除