hadoop 1.0.3部署

最新推荐文章于 2024-03-31 22:39:10 发布
最新推荐文章于 2024-03-31 22:39:10 发布
阅读量79 收藏
点赞数
文章标签： 大数据 java 运维
环境：操作系统Centos 6.2 64-bit --我采用的是最小安装

VMWare虚拟机4个，计划部署分配如下：

192.168.181.121 nameNode
192.168.181.122 dataNode
192.168.181.123 dataNode
192.168.181.124 dataNode

各dataNode机器，都需要安装jdk和ssh,同时要将nameNode上安装的hadoop分发到各节点机器，位置、环境变量等尽量保持与nameNode一致。


1、安装基础工具

[java] view plain copy
  1. yum-yinstallwget
  2. yum-yinstallmake
  3. yum-yinstallopenssh*


2、安装JDK

将下载源码包jdk-7u4-linux-x64.tar.gz

放到目录：/usr/lib/jvm下（这里位置目录可以自己定义，JDK环境变量需要对应）


直接解压：

[java] view plain copy
  1. tarzxvfjdk-7u4-linux-x64.tar.gz

3、安装hadoop-1.0.3.tar.gz

3.1、将下载包解压到根目录tar xzvf hadoop-1.0.3.tar.gz

3.2、修改hadoop-env.sh配置

[java] view plain copy
  2. viconf/hadoop-env.sh

# 找到JAVA_HOME设置：
[java] view plain copy
  1. #Thejavaimplementationtouse.Required.
  2. exportJAVA_HOME=/usr/lib/jvm/jdk1.7.0_04

# 在文件末尾加以下内容：
# 取消环境变量$HADOOP_HOME过时的警告
[java] view plain copy
  1. exportHADOOP_HOME_WARN_SUPPRESS=1

4、配置环境变量(集群节点都要配置环境变量)

[java] view plain copy
  1. vi/etc/profile
在文件中末尾加入以下内容：
[java] view plain copy
  1. exportJAVA_HOME=/usr/lib/jvm/jdk1.7.0_04
  2. exportPATH=$JAVA_HOME/bin:$PATH
  3. exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  4. exportHADOOP_HOME=/hadoop-1.0.3
  5. exportPATH=$PATH:$HADOOP_HOME/bin
让环境变量生效
[java] view plain copy
  1. source/etc/profile

5、多节点集群配置

5.1、设置conf/masters文件内容

指定masterNode，可以用IP，也可以用机器名,masters文件配置将决定哪台机器是secondaryNameNode,准确的说这个文件名起的不对，它应该叫secondaries。

[java] view plain copy
  1. viconf/masters
  4. 192.168.181.221#secondaryNameNode

其中192.168.181.221这个节点既是dataNode，同时也是secondaryNameNode

之前我这用的是默认的localhost，结果验证访问：http://192.168.181.221:50070/时报http-404错误，估计是域名解析的问题，网上推荐，masters和slaves文件里，使用机器名，这里我用IP。


5.2、设置conf/slaves文件内容，指定slavesNodes

[java] view plain copy
  1. viconf/slaves
  3. 192.168.181.222#dataNode
  4. 192.168.181.223#dataNode
  5. 192.168.181.224#dataNode
指定哪些机器为从节点，用于存储数据块。

5.3、配置文件：conf/hdfs-site.xml

[java] view plain copy
  1. <?xmlversion="1.0"?>
  2. <?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
  5. <!--Putsite-specificpropertyoverridesinthisfile.-->
  8. <configuration>
  9. <property>
  10. <name>dfs.name.dir</name>
  11. <value>/HadoopRun/name1,/HadoopRun/name2</value>
  12. </property>
  13. <property>
  14. <name>dfs.data.dir</name>
  15. <value>/HadoopRun/data1,/HadoopRun/data2</value>
  16. </property>
  17. <property>
  18. <name>dfs.replication</name>
  19. <value>3</value>
  20. </property>
  21. </configuration>

配置文件参数说明：
dfs.name.dir：NameNode上的本地文件路径，用于持久存储命名空间和日志信息文件等内容。该参数可以有多个值，值之间用逗号分割，表示文件映射关系信息将会被复制到每个目录中做冗余备份。

dfs.data.dir：DataNode上的本地文件路径，用于存放文件数据块。该参数可以有多个值，值之间用逗号分割，表示文件数据块将会被复制到每个目录中做冗余备份，通常配置为不同的设备

注意：这里的name1、name2、data1、data2目录不能预先创建，hadoop格式化时会自动创建，如果预先创建反而会有问题

dfs.replication：表示文件数据块要冗余备份的数量，默认值为3


5.4、配置文件：conf/mapred-site.xml

[java] view plain copy
  1. <?xmlversion="1.0"?>
  2. <?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
  5. <!--Putsite-specificpropertyoverridesinthisfile.-->
  8. <configuration>
  9. <property>
  10. <name>mapred.job.tracker</name>
  11. <value>192.168.181.221:9001</value>
  12. </property>
  13. <property>
  14. <name>mapred.local.dir</name>
  15. <value>/HadoopRun/var</value>
  16. </property>
  19. </configuration>
配置文件参数说明：
mapred.job.tracker：JobTracker（任务分配管理）的主机（或者IP）和端口

mapred.local.dir：本地文件路径，用逗号分割的路径列表，是Map/Reduce临时数据存放的地方。

5.5、配置文件：conf/core-site.xml

[java] view plain copy
  1. <?xmlversion="1.0"?>
  2. <?xml-stylesheettype="text/xsl"href="configuration.xsl"?>
  5. <!--Putsite-specificpropertyoverridesinthisfile.-->
  8. <configuration>
  9. <property>
  10. <name>fs.default.name</name>
  11. <value>hdfs://192.168.181.221:9000</value>
  12. <description>
  13. NameNode的URI路径，格式：hdfs://主机名:端口/
  14. </description>
  15. </property>
  16. <property>
  17. <name>fs.checkpoint.period</name>
  18. <value>3600</value>
  19. <description>
  20. 进行checkpoint的周期时间间隔，单位：秒
  21. </description>
  22. </property>
  23. <property>
  24. <name>fs.checkpoint.size</name>
  25. <value>67108864</value>
  26. <description>
  27. 日志文件达到这个上限值时，将进行一次强制checkpoint操作,单位：byte
  28. </description>
  29. </property>
  30. <property>
  31. <name>hadoop.tmp.dir</name>
  32. <value>/HadoopRun/tmp</value>
  33. <description>
  34. Hadoop的默认临时路径，这个最好配置，如果在新增节点或者其他情况下莫名其妙的DataNode启动不了，就删除此文件中的tmp目录即可。不过如果删除了NameNode机器的此目录，那么就需要重新执行NameNode格式化的命令。/hadoopRun/tmp这里给的路径不需要创建会自动生成。
  35. </description>
  36. </property>
  37. </configuration>


6、使用ssh公钥密钥自动登陆linux服务器

实现原理
使用一种被称为"公私钥"认证的方式来进行ssh登录. "公私钥"认证方式简单的解释是
首先在客户端上创建一对公私钥 （公钥文件：~/.ssh/id_rsa.pub； 私钥文件：~/.ssh/id_rsa）
然后把公钥放到服务器上（~/.ssh/authorized_keys）, 自己保留好私钥
当ssh登录时,ssh程序会发送私钥去和服务器上的公钥做匹配.如果匹配成功就可以登录了

这里nameNode服务器需要ssh无密码访问所有dataNode服务器。

6.1、在metaServer机器上生成公钥密钥对

问题：初次生成密钥时出错
[java] view plain copy
  1. [root@gifer.ssh]#ssh-keygen
  2. Generatingpublic/privatersakeypair.
  3. Enterfileinwhichtosavethekey(/root/.ssh/id_rsa):
  4. Enterpassphrase(emptyfornopassphrase):
  5. Entersamepassphraseagain:
  6. open/root/.ssh/id_rsafailed:Permissiondenied.
  7. Savingthekeyfailed:/root/.ssh/id_rsa.

SELINUX=enforcing问题导致密钥创建失败
[java] view plain copy
  1. vi/etc/selinux/config
[java] view plain copy
  1. SELINUX=enforcing
改成
[java] view plain copy
  1. SELINUX=disabled
保存重启机器后，再生成。
[java] view plain copy
  1. [root@gifer/]#ssh-keygen-trsa
  2. Generatingpublic/privatersakeypair.
  3. Enterfileinwhichtosavethekey(/root/.ssh/id_rsa):
  4. Enterpassphrase(emptyfornopassphrase):
  5. Entersamepassphraseagain:
  6. Youridentificationhasbeensavedin/root/.ssh/id_rsa.
  7. Yourpublickeyhasbeensavedin/root/.ssh/id_rsa.pub.
  8. Thekeyfingerprintis:
  9. 98:3c:31:5c:23:21:73:a0:a0:1f:c6:d3:c3:dc:58:32root@gifer
  10. Thekey'srandomartimageis:
  11. +--[RSA2048]----+
  12. |.E.=.o|
  13. |.o=@o.|
  14. |.**=|
  15. |ooo=|
  16. |.=S|
  17. |.|
  18. ||
  19. ||
  20. ||
  21. +-----------------+
成功后，目录下会多出两个文件：
私钥文件：id_raa
公钥文件：id_rsa.pub

6.2、将公钥文件id_rsa.pub内容放到authorized_keys中

将生成的公钥文件默认在/root/.ssh/目录下
[java] view plain copy
  1. [root@gifer.ssh]#catid_rsa.pub>>authorized_keys
将文件内容追加到authorized_keys文件中，如果文件authorized_keys不存在，会自动创建。

同时，将id_rsa.pub文件内容，分发一份到其它dataNode机器
[java] view plain copy
  1. [root@gifer.ssh]#ssh-copy-id-iid_rsa.pubroot@192.168.181.222


也可以使用scp命令进行复制

[java] view plain copy
  1. [root@gifer.ssh]#scpauthorized_keysroot@192.168.181.222:/root/.ssh/

6.3、设置权限

.ssh 文件夹权限：700
authorized_keys文件权限：600

6.5、验证ssh登录是否成功

[java] view plain copy
  1. [root@gifer.ssh]#sshroot@192.168.181.218
  2. Lastlogin:MonMay2118:24:212012from192.168.181.1

表示成功


root@192.168.181.218's password: //如果还提示要输入密码，说明配置不成功，这个很可能是权限的问题


7、启动hadoop前，检查配置

7.1、将部署进行分发

使用scp命令,将弄好的hadoop-1.0.3文件夹复制一份，分发到各dataNode节点相同目录下：
[java] view plain copy
  1. [root@gifer/]#scp-rhadoop-1.0.3192.168.181.222:/
这里我当前192.168.181.221机器文件夹hadoop-1.0.3在根目录下，所以192.168.181.222上也是放根目录。scp 参数 -r 表示，如果目标目录已经存在文件，就覆盖它。否则会报错：not a regular file

如果配置做了修改，需要对更改的配置文件重新发布到各节点即可：
[java] view plain copy
  1. [root@masterNodehadoop-1.0.3]#scp-r/hadoop-1.0.3/conf192.168.181.222:/hadoop-1.0.3/


7.2、打开以下防火墙端口或关闭防火墙


图安全——开端口（所有节点机器，包括namenode）：
[java] view plain copy
  1. /sbin/iptables-IINPUT-ptcp--dport9000-jACCEPT
  2. /sbin/iptables-IINPUT-ptcp--dport9001-jACCEPT
  3. /sbin/iptables-IINPUT-ptcp--dport37974-jACCEPT
  4. /sbin/iptables-IINPUT-ptcp--dport38840-jACCEPT
  5. /sbin/iptables-IINPUT-ptcp--dport49785-jACCEPT
  6. /sbin/iptables-IINPUT-ptcp--dport50030-jACCEPT
  7. /sbin/iptables-IINPUT-ptcp--dport50070-jACCEPT
  8. /sbin/iptables-IINPUT-ptcp--dport50090-jACCEPT
  9. serviceiptablessave

查看防火墙信息

[java] view plain copy
  1. serviceiptablesstatus

图省事——关防火墙
[java] view plain copy
  1. serviceiptablesstop

8、安装启动hadoop系统

8.1、格式化一个新的分布式文件系统

[java] view plain copy
  1. [root@masterNode/]#cdhadoop-1.0.3
  2. [root@masterNodehadoop-1.0.3]#bin/hadoopnamenode-format
  3. 12/05/2313:36:17INFOnamenode.NameNode:STARTUP_MSG:
  4. /************************************************************
  5. STARTUP_MSG:StartingNameNode
  6. STARTUP_MSG:host=localhost/127.0.0.1
  7. STARTUP_MSG:args=[-format]
  8. STARTUP_MSG:version=1.0.3
  9. STARTUP_MSG:build=https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0-r1335192;compiledby'hortonfo'onTueMay820:31:25UTC2012
  10. ************************************************************/
  11. Re-formatfilesystemin/hadoop_home/name1?(YorN)y
  12. Formatabortedin/hadoop_home/name1
  13. 12/05/2313:36:29INFOnamenode.NameNode:SHUTDOWN_MSG:
  14. /************************************************************
  15. SHUTDOWN_MSG:ShuttingdownNameNodeatlocalhost/127.0.0.1
  16. ************************************************************/

看到以上输出表示格式化失败！格式化失败的原因是：我在目录/hadoop_home/下预先创建了文件夹：name1，所以出错了。这个格式化时会自动生成。

[java] view plain copy
  1. [root@masterNodehadoop-1.0.3]#bin/hadoopnamenode-format
  2. 12/05/2403:21:29INFOnamenode.NameNode:STARTUP_MSG:
  3. /************************************************************
  4. STARTUP_MSG:StartingNameNode
  5. STARTUP_MSG:host=localhost/127.0.0.1
  6. STARTUP_MSG:args=[-format]
  7. STARTUP_MSG:version=1.0.3
  8. STARTUP_MSG:build=https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0-r1335192;compiledby'hortonfo'onTueMay820:31:25UTC2012
  9. ************************************************************/
  10. 12/05/2403:21:29INFOutil.GSet:VMtype=64-bit
  11. 12/05/2403:21:29INFOutil.GSet:2%maxmemory=19.33375MB
  12. 12/05/2403:21:29INFOutil.GSet:capacity=2^21=2097152entries
  13. 12/05/2403:21:29INFOutil.GSet:recommended=2097152,actual=2097152
  14. 12/05/2403:21:29INFOnamenode.FSNamesystem:fsOwner=root
  15. 12/05/2403:21:29INFOnamenode.FSNamesystem:supergroup=supergroup
  16. 12/05/2403:21:29INFOnamenode.FSNamesystem:isPermissionEnabled=true
  17. 12/05/2403:21:29INFOnamenode.FSNamesystem:dfs.block.invalidate.limit=100
  18. 12/05/2403:21:29INFOnamenode.FSNamesystem:isAccessTokenEnabled=falseaccessKeyUpdateInterval=0min(s),accessTokenLifetime=0min(s)
  19. 12/05/2403:21:29INFOnamenode.NameNode:Cachingfilenamesoccuringmorethan10times
  20. 12/05/2403:21:30INFOcommon.Storage:Imagefileofsize110savedin0seconds.
  21. 12/05/2403:21:30INFOcommon.Storage:Storagedirectory/hadoop_home/name1hasbeensuccessfullyformatted.
  22. 12/05/2403:21:30INFOcommon.Storage:Imagefileofsize110savedin0seconds.
  23. 12/05/2403:21:30INFOcommon.Storage:Storagedirectory/hadoop_home/name2hasbeensuccessfullyformatted.
  24. 12/05/2403:21:30INFOnamenode.NameNode:SHUTDOWN_MSG:
  25. /************************************************************
  26. SHUTDOWN_MSG:ShuttingdownNameNodeatlocalhost/127.0.0.1
  27. ************************************************************/

格式化分布式文件系统成功。


8.2、启动hadoop服务

启动hdfs守护进程
[java] view plain copy
  1. [root@masterNodehadoop-1.0.3]#bin/start-dfs.sh
  2. startingnamenode,loggingto/hadoop-1.0.3/libexec/../logs/hadoop-root-namenode-masterNode.out
  3. 192.168.181.224:startingdatanode,loggingto/hadoop-1.0.3/libexec/../logs/hadoop-root-datanode-node3.out
  4. 192.168.181.222:startingdatanode,loggingto/hadoop-1.0.3/libexec/../logs/hadoop-root-datanode-node1.out
  5. 192.168.181.223:startingdatanode,loggingto/hadoop-1.0.3/libexec/../logs/hadoop-root-datanode-node2.out
  6. 192.168.181.221:startingsecondarynamenode,loggingto/hadoop-1.0.3/libexec/../logs/hadoop-root-secondarynamenode-masterNode.out

启动mapreduce守护进程
[java] view plain copy
  1. [root@masterNodehadoop-1.0.3]#bin/start-mapred.sh
  2. startingjobtracker,loggingto/hadoop-1.0.3/libexec/../logs/hadoop-root-jobtracker-masterNode.out
  3. 192.168.181.223:startingtasktracker,loggingto/hadoop-1.0.3/libexec/../logs/hadoop-root-tasktracker-node2.out
  4. 192.168.181.222:startingtasktracker,loggingto/hadoop-1.0.3/libexec/../logs/hadoop-root-tasktracker-node1.out
  5. 192.168.181.224:startingtasktracker,loggingto/hadoop-1.0.3/libexec/../logs/hadoop-root-tasktracker-node3.out
注：对于命令bin/start-all.sh（启动所有守护进程）在hadoop-1.0.3版本中已不推荐使用了。

8.3、验证安装是否成功

使用jps命令查看启动的守护进程有哪些：

[java] view plain copy
  1. [root@masterNodehadoop-1.0.3]#jps
  2. 12275NameNode
  3. 12445SecondaryNameNode
  4. 12626Jps
  5. 12529JobTracker
  8. [root@node3~]#jps
  9. 6621DataNode
  10. 6723TaskTracker
  11. 6819Jps

另外可通过浏览器访问：

NameNode http://192.168.181.221:50070/

JobTracker http://192.168.181.221:50030/

8.4、关闭hadoop服务

关闭hdfs守护进程
[java] view plain copy
  1. [root@masterNodehadoop-1.0.3]#bin/stop-dfs.sh
  2. stoppingnamenode
  3. 192.168.181.222:stoppingdatanode
  4. 192.168.181.224:stoppingdatanode
  5. 192.168.181.223:stoppingdatanode
  6. 192.168.181.221:stoppingsecondarynamenode

关闭mapreduce守护进程
[java] view plain copy
  1. [root@masterNodehadoop-1.0.3]#bin/stop-mapred.sh
  2. stoppingjobtracker
  3. 192.168.181.222:stoppingtasktracker
  4. 192.168.181.224:stoppingtasktracker
  5. 192.168.181.223:stoppingtasktracker
注：对于命令bin/stop-all.sh（关闭所有守护进程）在hadoop-1.0.3版本中已不推荐使用了。


8.5、文件上传测试

略……


安装过程遇到的问题：

1、想在分布式文件系统中创建一个目录input，结果报错：

[java] view plain copy
  1. [root@masterNodehadoop-1.0.3]#bin/hadoopfs-mkdirinput
  2. mkdir:org.apache.hadoop.hdfs.server.namenode.SafeModeException:Cannotcreatedirectory/user/root/input.Namenodeisinsafemode.
解决办法：关闭安全模式
[java] view plain copy
  1. [root@masterNodehadoop-1.0.3]#bin/hadoopdfsadmin-safemodeleave
  2. SafemodeisOFF




iteye_3941
关注
Hadoop大数据_安装jdk、hadoop
lhy857的博客
04-10 2364
安装jdk 一、开启网络,ifconfig指令查看ip 二、修改主机名 hostnamectl set-hostname hadoop 三、查看防火墙状态并打开防火墙 1.firewall-cmd --state查看防火墙状态 2.systemctl start iptables.service打开防火墙 3.reboot 重启Linux 四、删除已有的jdk 查看java安装版本：java -version 查看java安装包：rpm -qa|grep java 删除java安装包：
Hadoop 1.0.3 安装配置笔记
greensurfer的专栏
05-24 1万+
Hadoop 1.0.3 安装配置笔记 环境：操作系统Centos 6.2 64-bit --我采用的是最小安装 VMWare虚拟机4个，计划部署分配如下： 192.168.181.121 nameNode 192.168.181.122 dataNode 192.168.181.123 dataNode 192.168.181.124 dataNode 各dataNod
hadoop安装部署
weixin_48143996的博客
10-06 3万+
hadoop安装部署 这里写目录标题hadoop安装部署安装流程1、Hadoop安装部署1、1Hadoop安装部署 安装流程 1、 上传软件包到管理节点，在管理节点解压并配置 2、 将修改完的解压包，远程拷贝到所有的从节点 3、 启动软件 1、Hadoop安装部署 1、1Hadoop安装部署 1、 软件包上传并解压 a) tar -zxvf hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz -C …/servers/ 2、 第二步查看hadoop支持的压缩方式以及本
hadoop 1.0.3安装包
10-22
hadoop安装包 版本是1.0.3 具体的安装步骤已经在博客里面写出
Hadoop1.0.3安装部署
dengyu9760的博客
02-14 204
0x00 大数据平台相关链接 官网：http://hadoop.apache.org/ 主要参考教程：http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html 0x01 hadoop平台环境 操作系统：CentOS-6.5-x86_64 Java版本：jdk_1.8.0_111 Hadoop版本：hadoop-1.0...
通过eclipse项目编译 hadoop 1.0.3 eclipse 4.2 ( juno ) plugin
04-12
这些jar文件可以用于在本地或者集群上部署和运行Hadoop服务。 总结一下，通过Eclipse和Juno插件编译Hadoop 1.0.3的关键步骤包括： 1. 安装Eclipse Juno和JDK。 2. 安装Maven并配置Eclipse。 3. 下载Hadoop源码并...
Hadoop 1.0.3 API CHM格式
08-05
Hadoop 1.0.3 API CHM格式 带索引和全文搜索 一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式...
hadoop 命令大全
08-16
在部署新的Hadoop集群或重置现有集群时，需要格式化名称节点（NameNode），这可以通过命令`$bin/hadoop namenode -format`完成。 **6. 启动HDFS** 在分配的NameNode上启动Hadoop分布式文件系统（HDFS），可以使用...
hadoop学习笔记(一、hadoop集群环境搭建).docx
10-30
接着，创建Hadoop部署目录和数据目录： ```bash mkdir -p /opt/modules/hadoop/ chown -R hadoop:hadoop /opt/modules/hadoop/ ``` ### 7. 生成SSH密钥对 在所有节点上，使用`ssh-keygen`生成RSA密钥对，然后将...
hadoop、hbase、hive、zookeeper版本对应关系续(最新版)（2015）
12-01
兼容性方面，文章提到hadoop-1.0.3、hive-0.9.0、hbase-0.92.0三者兼容，hadoop2.2和hbase0.96与hive0.12或hive0.13兼容，尽管可能存在一些小问题需要额外的补丁解决。 ZooKeeper是一个开源的分布式应用程序协调...
Hadoop部署
ssn520的博客
11-26 1890
官网：hadoop.apache.org 下载地址：Apache Hadoophttps://hadoop.apache.org/releases.html
hadoop的单机版测试和集群节点的搭建
Treasured ——的博客
04-10 707
Hadoop技术原理： Hdfs主要模块：NameNode、DataNode Yarn主要模块：ResourceManager、NodeManager HDFS主要模块及运行原理： 1）NameNode： 功能：是整个文件系统的管理节点。维护整个文件系统的文件目录树，文件/目录的元数据和 每个文件对应的数据块列表。接收用户的请求。 2）DataNode： 功能：是HA（高可用性）的一个解...
Hadoop（部署篇）
qq_40322236的博客
02-05 1511
Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式。
Hadoop：Hadoop集群的部署
Xiao Miao的博客
04-23 670
Hadoop集群的部署
hadoop部署（大数据开发）
最新发布
weixin_75027717的博客
03-31 2539
不知名小白。
GitChat·大数据 | 史上最详细的Hadoop环境搭建
热门推荐
技术杂谈
09-05 4万+
GitChat 作者：鸣宇淳 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。
Hadoop 1.0.3 环境配置与Eclipse集成指南
例如，这里提到的Hadoop-eclipse-plugin-1.0.3.jar需要与Hadoop 1.0.3和Eclipse 3.6版本匹配。如果版本不对应，可能会导致各种异常，如XOFException。因此，确保所有组件的版本一致性是避免问题的关键。 在搭建完成...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值