hadoop
githubshareing
给自己的人生留下点脚印
展开
-
hadoop
1.hadoop的子项目 Core:一套分布式文件系统以及支持Map-Reduce的计算框架 Avro:定义了一种用于支持大数据应用的数据格式,并为这种格式提供了不同的编程语言支持 HDFS:Hadoop分布式文件系统 Map/Reduce:是一个使用简易的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上,并以一种可原创 2017-06-27 21:02:31 · 185 阅读 · 0 评论 -
hadoop学习之hadoop完全分布式集群安装
要想深入的学习Hadoop数据分析技术,首要的任务是必须要将hadoop集群环境搭建起来,可以将hadoop简化地想象成一个小软件,通过在各个物理节点上安装这个小软件,然后将其运行起来,就是一个hadoop分布式集群了。说来简单,但是应该怎么做呢?不急,本文的主要目的就是让新手看了之后也能够亲自动手实施这些过程。由于本人资金不充裕,只能通过虚拟机来实施模拟集群环境,虽然说是虚机模拟,但是在虚机转载 2017-07-11 21:35:01 · 189 阅读 · 0 评论 -
windows10 下不能访问Hadoop在虚拟机中部署的完全分布式的hdfs和mapreduce问题
1.通过查找文档配置完全分布式。2.关闭了windows和Linux的防火墙3.关闭了Hadoop的安全模式4.Linux网络模式改成了仅主机模式通过以上四步还是没解决问题最后发现windows10 启动了windows firewall服务的服务中解决办法:关闭windows firewall之后windows 中输入http://no原创 2017-07-12 22:26:39 · 1814 阅读 · 0 评论 -
hadoop核心组件---MR(MapReduce)分布式计算框架
启动start-all.sh没有将Datanode启动查看日志 vim /usr/local/hadoop/hadoop-1.2.1/logs/hadoop-root-datanode-node3.log报错没有到主机的路由解决办法hadoop启动过程中遇到下面的问题:2015-08-02 19:43:20,771 INFO org.apache.hadoop.hd原创 2017-07-06 22:40:33 · 568 阅读 · 0 评论 -
hadoop 集群安装与部署(大数据系列)
什么是大数据基本概念大数据在现实生活中的具体应用什么是hadoophdfs整体运行机制搭建hdfs分布式集群hdfs集群组成结构:安装hdfs集群的具体步骤:安装hdfs集群什么是大数据基本概念《数据处理》 在互联网技术发展到现今阶段,大量日常、工作等事务产生的数据都已经信息化,人类产生的数据量相比以前有了爆炸式的增长,以前的传统的数据处理...原创 2018-09-09 17:17:32 · 1157 阅读 · 4 评论