Hadoop
村西那条弯弯的河流
这个作者很懒,什么都没留下…
展开
-
Centos7中搭建Hadoop3.2(Centos6、Centos7搭建Hadoop2、Hadoop3)完整详细操作步骤
虽然企业开发、生产一般多用比较稳定较前版本,但自己在学习新技术时比较喜欢用较新版本软件,而网上更多的资料是Centos6中搭建Hadoop2,故在Centos7中搭建Hadoop3.2时,参考的是网上的前者资料,遇到很多问题,故在搭建通hadoop后,将搭建过程整理了一遍,并在文中将影响搭建的Centos6和Centos7差别、Haoop2和Hadoop3的区别详细说明,和有需要的同行分...原创 2019-03-24 11:46:46 · 3267 阅读 · 3 评论 -
运行hadoop自带计算圆周率例子操作
运行hadoop自带计算圆周率的jar1、进入到hadoop安装位置,本人位置为:/usr/centos/hadoop。2、进入handoop后找到share文件夹,并如图:3、进入share/hadoop/mapreduce文件夹,找到hadoop-mapreduce-examples-3.2.0.jar(不同hadoop版本名字中数字部分不同)。4、运行jar包:hadoo...原创 2019-04-05 14:34:27 · 3760 阅读 · 0 评论 -
hadoop的shell常用命令
hadoop脚本命令开始位置有两种写法:hadoop fs 和hdfs dfs,其中hdfs dfs为hadoop1中命令,在hadoop2和hadoop3中也可以用,hadoop fs为hadoop2和hadoop3中命令。以下文章中的中括号([])表示为可选项,可加可不带,中括号中字母或单词有特殊功能和含义。1、-ls: (1)hadoop fs -ls<arg...原创 2019-04-05 17:08:31 · 2467 阅读 · 0 评论 -
Java客户端代码操作hadoop:API方式和流方式,上传、下载、文件和文件夹的创建和重命名、查看文件及文件夹信息
注意要点:代码中导包一定要正确,大部分为org.apache.hadoop.fs.*,Java客户端操作hadoop代码:1、idea创建maven工程,pom文件内容为:<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" ...原创 2019-04-09 13:22:46 · 636 阅读 · 0 评论 -
spark-2.4.2搭建(配合hadoop2.7及以上环境)
1、spark官网下载spark,可以可以在win系统中下载后上传至linux,也可以linux中直接下载: wgethttp://mirror.bit.edu.cn/apache/spark/spark-2.4.2/spark-2.4.2-bin-hadoop2.7.tgz2、下载后解压至自己要安装的位置:tar -zxvfspark-2.4.2-bin-hadoop2....原创 2019-05-04 18:20:14 · 2117 阅读 · 1 评论