Hadoop 环境安装

最新推荐文章于 2021-09-19 22:17:13 发布
最新推荐文章于 2021-09-19 22:17:13 发布
阅读量398 收藏
点赞数 1
分类专栏： Linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fox4it/article/details/8129375
版权

先试着在windows 7下通过cygwin来安装hadoop，结果最后发现 hadoop 1.0的版本中windows下面有一个文件权限的问题，最后没有成功。

不过有人有work round：下载hadoop源代码，编辑后重新生成一个jar后，替换掉原来的jar，没有试过

比较详细的一个安装教程：http://ebiquity.umbc.edu/Tutorials/Hadoop/00%20-%20Intro.html 


下面是在Debian下安装hadoop的步骤，参考了好多网上的教程，不过都或多或少有点问题，需要自己根据当前的环境来解决

debian版本：6.0.6

hadoop版本：0.20

JDK版本：

1. 安装Debian

2. 安装JDK 1.7版本，设置环境变量

3. 安装hadoop




fox4it
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【大数据各平台组件搭建使用精进】第一部分hadoop搭建前虚拟环境准备（虚拟机的搭建，网络主机名配置，虚拟机之间的免密登录，notepad++使用）（1）
hx1156477702的博客
09-25 538
这一篇组要讲了虚拟机的搭建，网络主机名配置，虚拟机之间的免密登录，notepad++使用等一系列hadoop搭建之前的准备工作。
Notepad++ 环境变量
chixu7617的博客
12-09 327
FULL_CURRENT_PATH CURRENT_DIRECTORY FILE_NAME NAME_PART EXT_PART --------------------------------------------------------------- ...
notepad++连接远程hadoop
分享我的点点滴滴，在成长路上与你同行！
04-17 779
打开notepad++ 配置如下：   选择profile settings   Add new| 启动 connect  效果
Notepad++插件之ftp/sftp远程编辑功能
weixin_34179968的博客
01-06 483
Notepad++的ftp/sftp远程编辑功能介绍：Notepad++是一个优秀的开源编辑器，最大特性就是插件丰富，这里分享一下我常用的实用插件，其中一些是Npp预装的。这些插件主要是开发相关的，所以如果想需要其它插件，可以浏览一下http://sourceforge.net/projects/npp-plugins/files/。这里我主要写的是FTP插件。一般情况下我...
如何使用NotPad++远程连接
flygoa的专栏
08-01 1102
使用Notepad++的远程配置工具 如果没有，到Plug manager里下载 打开远程连接 设置 连接以后，选择根目录，点击刷新按钮，刷新出usr目录
linux下命令行安装hadoop2.7.2过程
Multiangle's Notepad
03-04 3668
1.创建hadoop用户组sudo addgroup hadoop2.创建hadoop用户sudo adduser -ingroup hadoop hadoop回车后会提示输入新的UNIX密码，这是新建用户hadoop的密码，输入回车即可。即密码不能为空。 最后确认信息是否正确，如果没问题，输入 Y3、为hadoop用户添加权限sudo gedit /etc/sudoers如果没有图形界面，可以
Notepad++远程连接修改
Bob
08-03 885
用Notepad++远程连接修改，方便以及视觉效果好 想远程访问虚拟机，先关闭虚拟机防火墙，然后修改本地的C:\Windows\System32\drivers\etc下的hosts文件，添加虚拟机的hostname和ip。 修改后关键内容如下： 直接修改会提示： 这是因为只要电脑开机，就会一直识别这个文件，所以，我们需要把这个文件复制到另一个位置，修改内容，然后再替换这个文件即可。...
使用hadoop读写mysql
Multiangle's Notepad
11-17 3072
与mongodb相比，hadoop提供了内置的输入输出库DBInputFormat和DBOutputFormat,但是依然要使用JDBC驱动包com.mysql.jdbc.Driver。没有的可以去http://www.mysql.com/products/connector/ 下载。下下来后，只要把该包放在项目路径下即可，切莫在文件中import该包中内容，只要import java.sql.*
大数据开发(2)——hadoop环境搭建
LanceHang的博客
09-19 333
一、Hadoop的简单介绍 狭义上来说，hadoop就是单独指代hadoop这个软件， HDFS ：分布式文件系统 MapReduce : 分布式计算系统 Yarn：分布式样集群资源管理 广义上来说，hadoop指代大数据的一个生态圈，包括很多其他的软件 二、Hadoop重新编译 由于appache给出的hadoop的安装包没有提供带C程序访问的接口，所以我们在使用本地库本地库可以用来做压缩，以及支持C程序等等的时候就会出问题,需要对Hadoop源码包进行重新编译. 这里因为我使用的是已经编译过的，因
【工具使用】Notepad++ SFTP插件使用
sishuihuahua的博客
08-16 5119
一、目的       使用Notepad++中的SFTP插件，实现对zynq板中的文件映射，映射出来的文件可以在Notepad++代码编辑器中直接打开，可以随时修改。注意：修改后的文件，保存后，对板中的程序进行restart即可，可以更加直观快捷的得到调试结果，提高调试效率。   二、准备工作：       下载文件：http://download.csdn.net/download/...
Hadoop小白从零到搭建
Nym_车厘子
03-02 708
#本人企鹅：1550213743 1.所需工具 ：CentOS-6.5-x86_64-bin ：vmware ：xhell xftp notepad++ 附网址： https://www.cnblogs.com/beijinglaolei/p/7710825.html 1.虚拟机安装小白绕道 2.点击编辑-虚拟网络编辑器 查看你的子网ip如我的 192.168.128.0所以需要下一步...
Notepad++远程连接Linux系统
Stay hungry, Stay foolish
02-15 4650
转：http://jingyan.baidu.com/article/d8072ac4791d0cec94cefd7c.html Notepad++是一套非常有特色的自由软件的纯文字编辑器，有完整的中文化接口及支持多国语言编写的功能。现在用Notepad++来远程编辑Linux系统文本文件。 工具/原料 Notepad++ L
微信小程序设计淘宝客导购小程序 pangolin_tbk 2.0.8安装更新一体包源代码+部署教程完美运行版.7z
08-11
经导师精心指导并认可、获 98 分的毕业设计项目！【项目资源】：微信小程序。【项目说明】：聚焦计算机相关专业毕设及实战操练，可作课程设计与期末大作业，含全部源码，能直用于毕设，经严格调试，运行有保障！【项目服务】：有任何使用上的问题，欢迎随时与博主沟通，博主会及时解答。 经导师精心指导并认可、获 98 分的毕业设计项目！【项目资源】：微信小程序。【项目说明】：聚焦计算机相关专业毕设及实战操练，可作课程设计与期末大作业，含全部源码，能直用于毕设，经严格调试，运行有保障！【项目服务】：有任何使用上的问题，欢迎随时与博主沟通，博主会及时解答。 经导师精心指导并认可、获 98 分的毕业设计项目！【项目资源】：微信小程序。【项目说明】：聚焦计算机相关专业毕设及实战操练，可作课程设计与期末大作业，含全部源码，能直用于毕设，经严格调试，运行有保障！【项目服务】：有任何使用上的问题，欢迎随时与博主沟通，博主会及时解答。 经导师精心指导并认可、获 98 分的毕业设计项目！【项目资源】：微信小程序。【项目说明】：聚焦计算机相关专业毕设及实战操练，可作课程设计与期末大作业，含全部源码，能直用于毕设，经严格调试，运行有保障！【项目服务】：有任何使用上的问题，欢迎随时与博主沟通，博主会及时解答。
光伏风电出力预测（Prediction of PV power and wind power oiutputs）+源代码+说明
08-11
<项目介绍> - python、Sk-learn、概率预测、光伏出力、风电出力 - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
智慧景区综合解决方案.docx
08-11
智慧景区综合解决方案.docx
mediapipe-0.8.8.1-cp37-cp37m-win_amd64.whl
08-11
mediapipe-0.8.8.1-cp37-cp37m-win_amd64.whl
Windows 微信历史版本 V3.9.6.32
最新发布
08-11
版本信息概述 版本号：V3.9.6.32 平台：Windows 类型：历史版本
简历-求职简历-word-文件-简历模版免费分享-应届生-高颜值简历模版-个人简历模版-简约大气-大学生在校生-求职-实习
08-11
七夕情人节表白代码简历-求职简历-word-文件-简历模版免费分享-应届生-高颜值简历模版-个人简历模版-简约大气-大学生在校生-求职-实习 简历是展示个人经历、技能和能力的重要文档，以下是一个常见的简历格式和内容模板，供您参考： 简历格式： 头部信息：包括姓名、联系方式（电话号码、电子邮件等）、地址等个人基本信息。 求职目标（可选）：简短描述您的求职意向和目标。 教育背景：列出您的教育经历，包括学校名称、所学专业、就读时间等。 工作经验：按时间顺序列出您的工作经历，包括公司名称、职位、工作时间、工作职责和成就等。 技能和能力：列出您的专业技能、语言能力、计算机技能等与职位相关的能力。 实习经验/项目经验（可选）：如果您有相关实习或项目经验，可以列出相关信息。 获奖和荣誉（可选）：列出您在学术、工作或其他领域获得的奖项和荣誉。 自我评价（可选）：简要描述您的个人特点、能力和职业目标。 兴趣爱好（可选）：列出您的兴趣爱好，展示您的多样性和个人素质。 参考人（可选）：如果您有可提供推荐的人员，可以在简历中提供其联系信息。 简历内容模板： 姓名: 联系方式: 地址: 求职目标: （
数据结构期末复习题目.docx
08-11
内有数据结构选择题、判断题、填空题、计算题等多种类型题目（注填空题在最后为伪代码填空）
hadoop环境安装
09-09
要在你的系统上安装Hadoop环境，你可以按照以下步骤进行操作： 1. 首先，确保你的系统已经安装了Java，因为Hadoop是用Java编写的。你可以在终端中输入 `java -version` 来检查Java是否已经安装。 2. 下载Hadoop安装包，你可以从Apache官方网站下载最新版本的Hadoop。在终端中使用wget命令来下载，如下所示： ``` wget https://downloads.apache.org/hadoop/common/hadoop-X.X.X/hadoop-X.X.X.tar.gz ``` 注意将X.X.X替换为你想要下载的Hadoop版本号。 3. 解压下载的Hadoop安装包，使用以下命令解压： ``` tar -xzvf hadoop-X.X.X.tar.gz ``` 这将在当前目录下创建一个名为`hadoop-X.X.X`的文件夹。 4. 配置Hadoop环境变量。编辑你的系统配置文件（如.bashrc、.bash_profile或者.zshrc），添加以下行： ``` export HADOOP_HOME=/path/to/hadoop-X.X.X export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 把`/path/to/hadoop-X.X.X`替换为解压后的Hadoop文件夹的路径。 5. 配置Hadoop的核心文件。进入Hadoop文件夹，并编辑`etc/hadoop/hadoop-env.sh`文件，找到以下行： ``` export JAVA_HOME=/usr/java/jdk-X.X.X ``` 把`/usr/java/jdk-X.X.X`替换为你系统中Java的安装路径。 6. 配置Hadoop的核心文件（core-site.xml、hdfs-site.xml和mapred-site.xml）。这些配置文件位于`etc/hadoop/`目录下。你可以根据你的需求进行配置，一般来说，你需要设置Hadoop的文件系统路径、数据存储路径等。 7. 格式化Hadoop文件系统。在终端中输入以下命令： ``` hdfs namenode -format ``` 这将格式化Hadoop文件系统。 8. 启动Hadoop集群。在终端中输入以下命令： ``` start-all.sh ``` 这将启动Hadoop集群的所有组件。 现在，你应该已经成功安装了Hadoop环境。你可以使用Hadoop的命令行工具或者API来执行各种操作，如上传和下载文件、运行MapReduce作业等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值