hdfs
文章平均质量分 88
太白酒仙
这个作者很懒,什么都没留下…
展开
-
SpringBoot整合Hadoop,完成云网盘部分实例
作者这里使用的是IntelliJ IDEA2017,创建SpringBoot项目的工作以及一些简单的整合由于网上也有很多资料,这里就不做赘述,只谈一些比较关键的配置。本项目采用的是SpringBoot 1.5.3.RELEASE这个版本。1.pom文件依赖版本示例: <!-- 版本配置 --> <junit.version>4.12</......原创 2018-10-11 10:28:55 · 4869 阅读 · 1 评论 -
hdfs单机版安装,基于linux系统
1.【安装的前提条件】(1)首先安装jdk,最好安装1.7及1.7以上版本,并且安装jdk的环境变量 vi ~/.bashrc export JAVA_HOME=/usr/local/software/jdk1.8.0_141 export PATH=$JAVA_HOME/bin:$PATH(2)检查ssh和sshd是否安装,如果没有安装 ubuntu下面安装ssh和...原创 2018-10-09 14:58:06 · 411 阅读 · 1 评论 -
hdfs伪分布式搭建,伪分布式模式下yarn的配置及测验
1.安装前提条件(1)首先安装jdk,最好安装1.7及1.7以上版本,并且安装jdk的环境变量 vi ~/.bashrc export JAVA_HOME=/usr/local/software/jdk1.8.0_141 export PATH=$JAVA_HOME/bin:$PATH(2)检查ssh和sshd是否安装,如果没有安装, ubuntu下面安装ssh和......原创 2018-10-09 15:07:14 · 596 阅读 · 0 评论 -
hadoop分布式环境搭建
首先规划:三台机器,域名分别是master,slave1,slave2。master上面装NameNode、ResourceManager,slave1和slave2上面装一个NodeManager和DataNode,hadoop的安装包采用Apache的最新稳定版本hadoop-2.9.1。注:为了方便起见,这里不考虑用户权限的问题,所有安装采用root安装1.首先是前提条件,三台机器都必须:......原创 2018-10-09 17:39:51 · 490 阅读 · 0 评论 -
StreamSets从MySQL增量更新到Hive
所有的配置都采用图文的形式,希望小伙伴会喜欢^_^环境准备:5.5.56-MariaDBHDP-2.6.3.0-Hive-1.2.1000HDP-2.6.3.0-HDFS- 2.7.31.第一步,点击创建新的管道流create new pipeline:2.第二步,随便写一个标题和描述3.配置错误日志输入路径,这里配置到本地的/usr/local/data/st......原创 2018-10-10 09:19:03 · 4792 阅读 · 3 评论