Hadoop
Lu_kuan@
这个作者很懒,什么都没留下…
展开
-
centos7成功安装hadoop-2.7.2伪分布和eclipse详细步骤
一、创建hadoop用户创建hadoop用户如果你安装CentOS 的时候不是用的“hadoop” 用户,那么需要增加一个名为hadoop 的用户。首先点击左上角的“应用程序” -> “系统工具” -> “终端”,首先在终端中输入su,按回车,输入root 密码以root 用户登录,接着执行命令创建新用户hadoop:[root@localhost...原创 2019-09-27 11:37:33 · 706 阅读 · 0 评论 -
使用Eclipse编译运行MapReduce程序 Hadoop2.6.0_Ubuntu/CentOS
本教程介绍的是如何在Ubuntu/CentOS 中使用Eclipse 来开发MapReduce 程序,在Hadoop 2.6.0 下验证通过。虽然我们可以使用命令行编译打包运行自己的MapReduce程序,但毕竟编写代码不方便。使用Eclipse,我们可以直接对HDFS 中的文件进行操作,可以直接运行代码,省去许多繁琐的命令。 注:本教程引用于厦门...原创 2019-09-27 12:05:19 · 959 阅读 · 0 评论 -
MapReduce程序报错Error:JAVA_HOME is not set and could not be found解决办法
很多人按照网上的各类教程搭建hadoop,但经常在安装好了后,启动hadoop时出现各类的错误,本文就“Error:JAVA_HOME is not set and could not be found ”这一错误提出解决办法。针对这个错误,网上好多都说了java的路径设置有问题,但没有指出具体的修改方法,其实是hadoop里面hadoop-env.sh文件里面的java路径设置不对,hado...转载 2019-09-29 10:06:16 · 310 阅读 · 0 评论 -
centos 7创建eclipse桌面快捷方式
在/home/Downloads目录下新建eclipse.desktop,内容如下:[Desktop Entry]Encoding=UTF-8Name=eclipseComment=Eclipse IDEExec=/usr/local/eclipse/eclipseIcon=/usr/local/eclipse/icon.xpmTerminal=falseStartupNoti...转载 2019-09-29 10:44:45 · 792 阅读 · 0 评论 -
Hadoop组成(面试重点)
1 HDFS架构概述HDFS(Hadoop Distributed File System)的架构概述,如图2-23所示。3 MapReduce架构概述MapReduce将计算过程分为两个阶段:Map和Reduce,如图2-25所示1)Map阶段并行处理输入数据2)Reduce阶段对Map结果进行汇总本文资料转载于:尚硅谷大数据之Hadoop...转载 2019-10-01 10:48:06 · 179 阅读 · 0 评论 -
大数据技术生态体系
在B站学习尚硅谷的Hadoop学习公开课视频,根据所学内容,做一下总结。 tip:博客材料来源于尚硅谷公开课视频,如有侵权,请联系删除!大数据技术生态体系如图2-26所示。图中涉及的技术名词解释如下:1)Sqoop:Sqoop是一款开源的工具,主要用于在Hadoop、Hive与传统的数据库(MySql)间进行数据的传递,可以将一个关系型数据库(...原创 2019-10-02 20:36:46 · 273 阅读 · 0 评论 -
Hadoop目录结构
1、查看Hadoop目录结构[atguigu@hadoop101 hadoop-2.7.2]$ ll显示如下:总用量 52drwxr-xr-x. 2 atguigu atguigu 4096 5月 22 2017 bindrwxr-xr-x. 3 atguigu atguigu 4096 5月 22 2017 etcdrwxr-xr-x. 2 atguigu a...原创 2019-10-02 20:42:43 · 459 阅读 · 0 评论 -
Hadoop伪分布式运行模式
1 启动HDFS并运行MapReduce程序1. 分析(1)配置集群(2)启动、测试集群增、删、查(3)执行WordCount案例2. 执行步骤(1)配置集群(a)配置:hadoop-env.shLinux系统中获取JDK的安装路径:[atguigu@ hadoop101 ~]# echo $JAVA_HOME/opt/module/jdk1.8.0_14...原创 2019-10-02 20:56:42 · 412 阅读 · 0 评论