- 博客(7)
- 收藏
- 关注
RSS订阅原创 Spark搭建与Scala
一、Scala上传解压缩scala-2.11.8.tgztar -zxvf scala-2.11.8.tgz -C /opt/module/配置环境变量vi /etc/profileexport SCALA_HOME=/opt/module/scala-2.12.8export PATH=$SCALA_HOME/bin:$PATH保存并使其立即生效source /etc/profi...
2019-05-26 13:45:02
123
原创 hive与mysql基本配置与wordcount实例
注：虚拟机如果是最小化安装，请先配置yum源。（这里我就不演示了，自行百度）hive是基于Hadoop的，请先配置Hadoop。一、mysql配置若wget不可用，下载安装wget：yum -y install wget安装后wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm解压rpm -ivh m...
2019-05-26 13:26:07
171
转载 NOSQL下的Redis和MongoDB的安装和配置
一、了解Redis和MongoDB1、 redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此...
2019-05-22 18:04:13
161
原创 Centos7上HBase的安装和Eclipse+Maven的配置过程
一、Eclipse+Maven的配置过程1、安装配置JDK在Windows上把JDK环境给配置好2、安装Eclipse3、安装Maven解压Maven压缩包,解压后的文件夹\apache-maven-3.6.0放在eclipse的目录里。配置Maven的环境变量，Path添加Maven的\bin的安装路径，cmd命令行运行mvn -v，查看是否成功安装配置。4、Eclipse配置Ma...
2019-05-22 17:52:04
251
原创 MapReduce的演练
一、 WordCountDriverimport java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text...
2019-05-22 13:13:09
100
原创 hadoop对hdfs的实战
hadoop环境搭建好后，运行第wordcount示例1.首先启动hadoop:start-all.shcd /opt/module/hadoop-2.7.3/share/hadoop/mapreduce 转入wordcount所在路径。创建adir文件夹：hadoop fs -mkdir /adir查看所创建的文件：hadoop fs -ls /运行touch in.txt，创建I...
2019-05-22 12:57:34
168
原创 使用伪分布式搭建hadoop集群
一、先准备需要的工具包二、配置基础环境1、使用CRT工具上传hadoop包2、将hadoop安装上传压缩 tar -zxvf hadoop-2.7.3.tar.gz -C /opt/module3、配置环境变量vi /etc/profile，重新加载/etc/profile，使配置生效source /etc/profile4、输入hadoop，java查看配置是否生效三、Hadoo...
2019-05-22 12:53:03
155
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人