- 博客(7)
- 收藏
- 关注
RSS订阅原创 spark搭建伪分布式环境
spark搭建伪分布式环境1.一台Linux虚拟机CentOS-6.6的一个虚拟机，主机名为repo参考在Windows中安装一台Linux虚拟机2.spark安装包下载地址：https://mirrors.aliyun.com/apache/spark/我用的spark-2.2.0-bin-hadoop2.7.tgz要根据自己机器中的hadoop版本选择对应的spark版本(1...
2019-05-26 16:37:20
549
原创 NoSql
NoSql第一步，确定目标:目前的环境是Linux CentOS，安装memcached，然后学习下基本的使用。第二步，下载安装包:由于安装libevent是安装memcached的前提，所以此处我们需要下载两个安装包，分别是libevent和memcached。1.下载libevent，我在http://libevent.org/这里下载了最新的版本 libevent-2.0.22-s...
2019-05-26 16:36:53
116
原创 Hive安装与配置
Hive安装与配置①下载压缩包官网下载地址：http://mirror.bit.edu.cn/apache/hive/选择apache-hive-2.3.4-bin.tar.gz，在Windows里面下载。②将压缩包从Windows传输到Linux当前目录下¬¬SecureCRT 【File】→【Connect SFTP Session】开启sftp操作③解压解压安装到指定目录下/o...
2019-05-26 16:36:29
112
原创 HBase安装配置
HBase安装配置①下载压缩包（选择与自己安装的Hadoop版本的兼容版本，见后面附录）官网下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/选择稳定版hbase-1.4.9-bin.tar.gz，在Windows里面下载。②将压缩包从Windows传输到Linux当前目录下SecureCRT 【File】→【Co...
2019-05-26 16:36:05
84
原创 MapReduce 分布式计算系统
MapReduce 分布式计算系统一，实验步骤MapReduce编程入门实例之WordCount：分别在Eclipse和Hadoop集群上运行在Eclipse环境下运行MapReduce程序（WordCount程序） 首先看一下我的项目结构和WordCount程序： 其中word.txt将作为我们测试的输入文件，内容如下：程序代码如下所示：1 package com.had...
2019-05-26 16:35:35
119
原创 HDFS命令和java API
HDFS命令和java API实验步骤搭建Hadoop伪分布式模式、或者完全分布式模式Windows里安装配置JDK+Eclipse+Maven在Eclipse里新建Maven Project，新建包，新建class编程上述4个Java程序虚拟机的namenode主机上，启动Hadoop在eclipse里运行上述4个Java程序使用hdfs的shell命令查看运行结果使用web...
2019-05-26 16:34:30
308
转载 hadoop集群搭建
hadoop集群搭建1.准备好需要安装的软件虚拟机 VMware12 pro操作系统CentOS 6.5远程控制虚拟机的终端SecureCRT7.22.在虚拟机中安装CentOS操作系统安装好虚拟机，图形界面如下图新的虚拟机，选择自定义（高级），点击下一步虚拟机硬件兼容性默认，浏览需要安装的CentOS6.5镜像文件自定义用户名和密码（用于登录）设置虚拟机名称和存储路径...
2019-05-26 16:33:34
103
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人