Ubuntu上搭建Hadoop环境

Ubuntu上搭建Hadoop环境

云计算是2012最热的一个话题了,所以我也来凑热闹, 当然首先是环境的搭建,推荐几个连接,找出几个与自己有帮助的几篇文章,分享给大家

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

http://blog.csdn.net/hitwengqi/article/details/8008203

几种模式的搭建 比较仔细:

http://www.cnblogs.com/welbeckxu/category/346329.html

hadoop在ubuntu下的安装配置

这个带截图的比较易懂

http://www.cnblogs.com/tippoint/archive/2012/10/23/2735532.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在现有省、市港口信息化系统进行有效整合基础上,借鉴新 一代的感知-传输-应用技术体系,实现对码头、船舶、货物、重 大危险源、危险货物装卸过程、航管航运等管理要素的全面感知、 有效传输和按需定制服务,为行政管理人员和相关单位及人员提 供高效的管理辅助,并为公众提供便捷、实时的水运信息服务。 建立信息整合、交换和共享机制,建立健全信息化管理支撑 体系,以及相关标准规范和安全保障体系;按照“绿色循环低碳” 交通的要求,搭建高效、弹性、高可扩展性的基于虚拟技术的信 息基础设施,支撑信息平台低成本运行,实现电子政务建设和服务模式的转变。 实现以感知港口、感知船舶、感知货物为手段,以港航智能 分析、科学决策、高效服务为目的和核心理念,构建“智慧港口”的发展体系。 结合“智慧港口”相关业务工作特点及信息化现状的实际情况,本项目具体建设目标为: 一张图(即GIS 地理信息服务平台) 在建设岸线、港口、港区、码头、泊位等港口主要基础资源图层上,建设GIS 地理信息服务平台,在此基础上依次接入和叠加规划建设、经营、安全、航管等相关业务应用专题数据,并叠 加动态数据,如 AIS/GPS/移动平台数据,逐步建成航运管理处 "一张图"。系统支持扩展框架,方便未来更多应用资源的逐步整合。 现场执法监管系统 基于港口(航管)执法基地建设规划,依托统一的执法区域 管理和数字化监控平台,通过加强对辖区内的监控,结合移动平 台,形成完整的多维路径和信息追踪,真正做到问题能发现、事态能控制、突发问题能解决。 运行监测和辅助决策系统 对区域港口与航运业务日常所需填报及监测的数据经过科 学归纳及分析,采用统一平台,消除重复的填报数据,进行企业 输入和自动录入,并进行系统智能判断,避免填入错误的数据, 输入的数据经过智能组合,自动生成各业务部门所需的数据报 表,包括字段、格式,都可以根据需要进行定制,同时满足扩展 性需要,当有新的业务监测数据表需要产生时,系统将分析新的 需求,将所需字段融合进入日常监测和决策辅助平台的统一平台中,并生成新的所需业务数据监测及决策表。 综合指挥调度系统 建设以港航应急指挥中心为枢纽,以各级管理部门和经营港 口企业为节点,快速调度、信息共享的通信网络,满足应急处置中所需要的信息采集、指挥调度和过程监控等通信保障任务。 设计思路 根据项目的建设目标和“智慧港口”信息化平台的总体框架、 设计思路、建设内容及保障措施,围绕业务协同、信息共享,充 分考虑各航运(港政)管理处内部管理的需求,平台采用“全面 整合、重点补充、突出共享、逐步完善”策略,加强重点区域或 运输通道交通基础设施、运载装备、运行环境的监测监控,完善 运行协调、应急处置通信手段,促进跨区域、跨部门信息共享和业务协同。 以“统筹协调、综合监管”为目标,以提供综合、动态、实 时、准确、实用的安全畅通和应急数据共享为核心,围绕“保畅通、抓安全、促应急"等实际需求来建设智慧港口信息化平台。 系统充分整合和利用航运管理处现有相关信息资源,以地理 信息技术、网络视频技术、互联网技术、移动通信技术、云计算 技术为支撑,结合航运管理处专网与行业数据交换平台,构建航 运管理处与各部门之间智慧、畅通、安全、高效、绿色低碳的智 慧港口信息化平台。 系统充分考虑航运管理处安全法规及安全职责今后的变化 与发展趋势,应用目前主流的、成熟的应用技术,内联外引,优势互补,使系统建设具备良好的开放性、扩展性、可维护性。
提供的源码资源涵盖了安卓应用、小程序、Python应用和Java应用等多个领域,每个领域都包含了丰富的实例和项目。这些源码都是基于各自平台的最新技术和标准编写,确保了在对应环境下能够无缝运行。同时,源码中配备了详细的注释和文档,帮助用户快速理解代码结构和实现逻辑。 适用人群: 这些源码资源特别适合大学生群体。无论你是计算机相关专业的学生,还是对其他领域编程感兴趣的学生,这些资源都能为你提供宝贵的学习和实践机会。通过学习和运行这些源码,你可以掌握各平台开发的基础知识,提升编程能力和项目实战经验。 使用场景及目标: 在学习阶段,你可以利用这些源码资源进行课程实践、课外项目或毕业设计。通过分析和运行源码,你将深入了解各平台开发的技术细节和最佳实践,逐步培养起自己的项目开发和问题解决能力。此外,在求职或创业过程中,具备跨平台开发能力的大学生将更具竞争力。 其他说明: 为了确保源码资源的可运行性和易用性,特别注意了以下几点:首先,每份源码都提供了详细的运行环境和依赖说明,确保用户能够轻松搭建起开发环境;其次,源码中的注释和文档都非常完善,方便用户快速上手和理解代码;最后,我会定期更新这些源码资源,以适应各平台技术的最新发展和市场需求。
要在Ubuntu搭建Hadoop平台完成分布式存储,需要进行以下步骤: 1. 安装Java环境 Hadoop需要Java环境支持,因此需要先安装Java环境。可以通过以下命令安装Java环境: ``` sudo apt-get update sudo apt-get install default-jdk ``` 2. 下载Hadoop 可以从官方网站下载最新版本的Hadoop。下载完成后,将下载的文件解压到任意位置。 3. 配置Hadoop 打开解压后的Hadoop安装目录,进入到conf文件夹中,复制一份模板配置文件: ``` cd hadoop-<VERSION>/conf cp mapred-site.xml.template mapred-site.xml cp core-site.xml.template core-site.xml cp hdfs-site.xml.template hdfs-site.xml ``` 修改配置文件中的相关参数,具体的配置方法可以参考Hadoop官方文档。一般需要修改的参数包括: - core-site.xml:配置Hadoop的默认文件系统、Hadoop的主机名等。 - hdfs-site.xml:配置Hadoop分布式文件系统的相关参数,如副本数、数据块大小等。 - mapred-site.xml:配置Hadoop的MapReduce框架的相关参数,如任务调度器等。 4. 配置SSH无密码登录 为了方便管理,需要配置SSH无密码登录。可以使用以下命令生成SSH密钥: ``` ssh-keygen -t rsa ``` 然后将公钥拷贝到每个Hadoop节点上: ``` ssh-copy-id -i ~/.ssh/id_rsa.pub user@<REMOTE-HOST> ``` 5. 启动Hadoop集群 启动Hadoop集群需要先格式化Hadoop分布式文件系统,可以使用以下命令进行格式化: ``` bin/hdfs namenode -format ``` 然后启动Hadoop集群: ``` sbin/start-all.sh ``` 启动完成后,可以通过以下命令查看Hadoop集群的状态: ``` jps ``` 如果成功启动,应该能够看到以下进程: ``` NameNode DataNode SecondaryNameNode ResourceManager NodeManager ``` 6. 测试Hadoop集群 最后可以通过运行一个简单的Hadoop任务来测试Hadoop集群的运行情况。可以使用以下命令运行一个简单的WordCount任务: ``` bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-<VERSION>.jar wordcount /input /output ``` 其中,/input是输入文件夹的路径,/output是输出文件夹的路径。如果任务成功完成,可以在输出文件夹中看到计算结果。 以上就是在Ubuntu搭建Hadoop平台完成分布式存储的步骤。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值