hadoop
文章平均质量分 85
大数据hadoop
倏然希然_
CS
展开
-
ubuntu虚拟机中安装Hadoop全过程(单机分布方式+伪分布方式)
使用的虚拟机软件是:VMWare Workstation Pro 14虚拟机系统:Ubuntu 18.04注:涉及到的内容比较多,可直接点击相应链接查看对应内容目录创建新账户安装ssh安装vim在虚拟机中安装JDK并配置环境变量安装Eclipse(可选)安装HadoopHadoop伪分布模式修改启动HDFS伪分布式模式创建新账户参考文...原创 2019-03-06 21:09:12 · 29407 阅读 · 1 评论 -
Hadoop之词频统计WordCount
参考文章:Ubuntu16.04安装Hadoop单机和伪分布式环境超详细1. 启动HDFSstart-all.sh2. 查看HDFS下包含的文件目录hadoop dfs -ls /由于是第一次运行,没有文件3.在HDFS中创建一个文件目录input,将/usr/local/hadoop/README.txt上传至input中,此时再用ls查看就发现多了个in...原创 2019-03-06 21:53:14 · 3679 阅读 · 1 评论 -
ubuntu下的Eclipse配置Hadoop环境
安装JDK、Eclipse、hadoop见:ubuntu虚拟机中安装Hadoop全过程(单机分布方式+伪分布方式)版本:Hadoop 2.7.11. 下载Hadoop-eclipse-plugins-2.6.0.jar链接:https://pan.baidu.com/s/1htm5GJg77fq5LrobgdMYbw提取码:gwiy复制这段内容后打开百度网盘手机App,...原创 2019-03-19 21:44:44 · 1338 阅读 · 0 评论 -
eclipse的plugins导入hadoop-eclipse-plugin-2.6.0.jar后Preference下没有hadoop Map/Reduce的解决方法
参考文章:eclipse下的plugins导入hadoop-eclipse-plugin-2.7.1.jar,Preference下没有hadoop Map/Reduce的解决方法这种现象一般是由于安装在eclipse\plugins下的插件没有导入解决方法:1. 把 eclipse\configuration\org.eclipse.update 删除掉。出现这种情况的原因是在...原创 2019-03-17 22:25:48 · 4275 阅读 · 8 评论 -
【大数据】PageRank网页排名图算法(MapReduce Java+Spark Scala)
实验环境:ubuntu 18.04hadoop 2.7.1JDK 1.8spark2.3.3scala 2.11.8目录一、实验原理二、用MapReduce实现PageRank三、用Spark实现PageRank一、实验原理1. 什么是PageRank PageRank是一种在搜索引擎中根据网页之间相互的链接关系计算网页排名的技术。 P...原创 2019-05-05 14:52:23 · 2536 阅读 · 0 评论