大数据之Hadoop
吉祥鸟888
分享知识,快乐你我
展开
-
hadoop作业提交和MapReduce基础分析
hadoop作业提交和MapReduce基础分析 ,参考以下博客: http://www.cnblogs.com/spork/tag/Hadoop/转载 2016-06-18 13:32:12 · 270 阅读 · 0 评论 -
1-hadoop基础配置
redhat修改启动模式: 以root用户修改文件 /etc/inittab,编辑这一行 id:5:initdefault,将5改为3. 命令行模式比图形模式节省资源。 ls -alh h表示更人性化的显示文件列表 echo 控制台输出: echo helloworld >> a.txt,追加到文件末尾 echo hellworrld > a.txt, 覆原创 2016-06-18 13:37:13 · 527 阅读 · 0 评论 -
2-hadoop基础配置2
hadoop的 存储: hdfs 运算: MapReduce: map(抽取, 映射)+reduce(化简) hadoop部署配置: 1.独立模式 默认就是独立模式 hadoop fs -ls / 列出的文件和Linux本身的文件一模一样,文件系统使用本地库文件,不是分布式文件系统 2.伪分布模式:模拟一个集群 2.1 基础配置原创 2016-06-18 13:38:23 · 724 阅读 · 0 评论 -
3-hadoop在Windows下的安装与配置
在window下hadoop的安装与配置和linux下类似,安装jdk与hadoop配置 1.安装jdk,注意在“系统环境”变量中配置好JAVA_HOME和PATH, (CLASSPATH?) 2.hadoop-2.7.1.tar.gz是window/linux通用的,和Linux类似找个地方解压 解压至G:\hadoop(看第四步,用2.2.0版本,不用2.7.1有问题)原创 2016-06-18 13:39:11 · 2175 阅读 · 0 评论 -
4-hadoop架构分析
hadoop单节点系统结构和集群结构,看相关的ppt 名称节点: 只有一个 存储文件元数据,比如目录 只对元数据的增删做日记记录,对其他的block和文件流操作不做记录 datanode故障时,创建更多的副本Block 元数据--数据块block 元数据:源数据文件。一个元数据可以被分割成多个数据块Block。 hadoop的启动脚本 start-a原创 2016-06-18 13:41:14 · 369 阅读 · 0 评论 -
5-Hadoop架构MapReduce模型
Mapper/Reducer map:并行计算 map entry:条目 (key-value) key:行号,自动产生,以0位基址。 Job 作业:每一次的mapreduce过程就是一个作业 job 作业==map task + reduce task==application 作业: job 任务: task map task reduce task原创 2016-06-18 13:46:29 · 644 阅读 · 0 评论 -
6-hadoop集群管理软件Ambari
hadoop集群管理软件Ambari(洋麻,植物): 可管理hdfs,mapreduce,hive,hbase等 下载与安装: ambari需要以root用户安装与配置,并保证各个节点之间无密登录。 0.准备工作,配置root用户的ssh无密登录: 进入root的根目录下,生成公钥私钥 若果s0-s3没有root目录先创建。 对于这些节点配置ssh原创 2016-06-18 13:47:32 · 605 阅读 · 0 评论 -
7-hadoop之zookeeper
zookeeper:动物园管理员,分布式系统的协同服务,支持c/java。 协同服务: 配置维护 名字服务 分布式同步 组服务等。 zookeeper 基于内存的, 数据结构都是一样的,是树形结构,类型Linux的文件系统。 zookeepernode1: /node1.. zookeepernode2: /node2.. znode:zook原创 2016-06-18 13:48:10 · 522 阅读 · 0 评论 -
8-hadoop之hbase分布式数据库
hbase数据库: 面向列(列族)的 基于内存的。 master: 负责初始安装 指定region到regionserver 恢复故障的rs 轻负载 ReginServer: 携带0~n个region 负责客户端rw请求。 管理region split 通知master新的子region 管理offline的父代region以及对其的替换。 hbas原创 2016-06-18 13:48:50 · 444 阅读 · 0 评论