寸先生的AI道路

可上九天揽月,可下五洋捉鳖,谈笑凯歌还

Hadoop学习笔记13之MapReduce本地模式

MapReduce编程模型:映射+化简。 编程方式----------------extends Mapper{         map(){                   ...         }}extends Reducer{         reduce(){           ...

2018-07-01 18:03:48

阅读数 55

评论数 0

Hadoop学习笔记12之节点的服役与退役

流程可以完全参照《Hadoop权威指南》注意:{HADOOP_HOME}/etc/full/slaves文件与节点无关,仅用于在名称节点启动时向文件中的节点发布启动命令。决定节点是否能连接到Hadoop集群不由它决定,由namenode上的dfs.hosts属性决定。该文件放在namenode的本...

2018-06-23 16:51:19

阅读数 125

评论数 0

Hadoop学习笔记11之HDFS其他常用操作命令

配置hadoop的最小blocksize,必须是512的倍数。-------------------------------------------         [hdfs-site.xml]         dfs.namenode.fs-limits.min-block-size=1024...

2018-06-23 11:14:51

阅读数 518

评论数 0

Hadoop学习笔记10之HDFS写入时序分析

先画一个示意图:【几个基本概念】1.block文件块默认块大小:128M最小块:1M2.packet包64K3.chunk小块512字节,必须能被packet整除【代码分析】使用Eclipse Junit测试和Debug 分析代码的代码段如下:         @Test         publ...

2018-06-10 10:26:00

阅读数 113

评论数 0

Hadoop学习笔记9之Maven的使用

【用途】管理依赖,自动关联源码 【下载与安装】1.下载:https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.5.3/binaries/Linux版:apache-maven-3.3.9-bin.tar.gzWindows版:apa...

2018-06-05 21:35:39

阅读数 323

评论数 0

Hadoop学习笔记8之使用Hadoop网络拓扑

从《Hadoop权威指南》中截取了原文,并绘制一个草图简易示例一下:

2018-06-02 16:44:01

阅读数 372

评论数 0

Hadoop学习笔记7之使用Hadoop客户端API访问HDFS

这里参考《Hadoop权威指南》第三章相关内容,直接贴代码,比较简单,就不注释了。package com.hadoop.hdfs; import java.io.ByteArrayOutputStream; import java.io.IOException; import java.io.I...

2018-06-02 15:45:53

阅读数 540

评论数 1

Hadoop学习笔记6之配置Hadoop临时目录

【问题描述】重启主机后SecondaryNameNode能启动,NameNode启动不了【查看日志】查找日志(日志: /hadoop/hadoop-0.20.2/logs):Directory /tmp/hadoop-root/dfs/name is inan inconsistent state...

2018-05-30 17:29:34

阅读数 1534

评论数 0

Hadoop学习笔记5之HDFS Block

       HDFS的块比磁盘块大,目的是为了最小化寻址开销。如果块设置的足够大,从磁盘传输数据的时间可以明显大于定位这个块开始位置所需要的时间。这样,传输一个由多个块组成的文件的时间取决于磁盘传输速率。       寻址时间10ms左右,HDFS使让块寻址时间占用读取时间的1%,以传输速率10...

2018-05-30 17:27:14

阅读数 634

评论数 1

Hadoop学习笔记4之HDFS常用命令

1.查看${Hadoop_HOME}/bin/hadoop脚本的hadoop命令帮助信息打印可知:hadoop  version   //查看版本hadoop fs        //文件系统客户端hadoop  jar    //运行jar包hadoop classpath //查看类路径had...

2018-05-29 21:24:56

阅读数 1751

评论数 0

Hadoop学习笔记3之启动进程脚本分析

(一)Hadoop相关进程【hdfs】                启动脚本:start-hdfs.shNameNode              NNDataNode               DNSecondarynamenode      2NN 【yarn】              ...

2018-05-29 20:38:18

阅读数 109

评论数 0

Hadoop学习笔记2之三种工作模式的配置

本笔记根据学习徐培成老师大数据课程整理。三、配置Hadoop1.三种模式共存配置hadoop,使用符号链接的方式,可以让三种配置形态共存。(1)创建三个配置目录,内容等同于hadoop目录:Hadoop的配置都在${Hadoop_home}/etc/hadoop下:$cp  -r  ${Hadoo...

2018-05-20 22:00:27

阅读数 168

评论数 0

Hadoop学习笔记1之模块和简单安装

后续更新Hadoop学习笔记,根据学习徐培成老师大数据课程整理一.Hadoop的四个模块(1)Hadoop common:              支持其他模块的工具模块(2)Hadoop Distributed File System (HDFS)              分布式文件系统,提...

2018-05-20 21:54:11

阅读数 72

评论数 0

Centos7下搭建Hadoop7单机环境

本文采用Vmware12+Centos7+hadoop2.7.3 一.准备工作 1.设置hostname #hostnamectl set-hostname develop01 # hostnamectl status   2.配置Notepad++修改Linux文件 点...

2018-01-30 16:54:25

阅读数 1347

评论数 0

RNN识别MNIST手写数据(TensorFlow)

学习Tensorflow,用RNN来实现MNIST手写数字识别,根据手绘的网络结构实现,网络如下:     因为Tensorflow还不熟悉,使用Jupyter Notebook输代码,如下: input_data.py  #用于下载MNIST数据集和加载数据 from __fu...

2018-01-30 14:07:04

阅读数 822

评论数 1

提示
确定要删除当前文章?
取消 删除
关闭
关闭