hadoop
cskywit
专注AI,热爱文学
展开
-
RNN识别MNIST手写数据(TensorFlow)
学习Tensorflow,用RNN来实现MNIST手写数字识别,根据手绘的网络结构实现,网络如下: 因为Tensorflow还不熟悉,使用Jupyter Notebook输代码,如下:input_data.py #用于下载MNIST数据集和加载数据from __future__ import absolute_importfrom __future__ impor原创 2018-01-30 14:07:04 · 1702 阅读 · 3 评论 -
Hadoop学习笔记10之HDFS写入时序分析
先画一个示意图:【几个基本概念】1.block文件块默认块大小:128M最小块:1M2.packet包64K3.chunk小块512字节,必须能被packet整除【代码分析】使用Eclipse Junit测试和Debug 分析代码的代码段如下: @Test publicvoid putFile() throws Exception{ ...原创 2018-06-10 10:26:00 · 392 阅读 · 0 评论 -
Hadoop学习笔记8之使用Hadoop网络拓扑
从《Hadoop权威指南》中截取了原文,并绘制一个草图简易示例一下:原创 2018-06-02 16:44:01 · 700 阅读 · 0 评论 -
Hadoop学习笔记7之使用Hadoop客户端API访问HDFS
这里参考《Hadoop权威指南》第三章相关内容,直接贴代码,比较简单,就不注释了。package com.hadoop.hdfs;import java.io.ByteArrayOutputStream;import java.io.IOException;import java.io.InputStream;import java.net.MalformedURLException;...原创 2018-06-02 15:45:53 · 1066 阅读 · 1 评论 -
Hadoop学习笔记12之节点的服役与退役
流程可以完全参照《Hadoop权威指南》注意:{HADOOP_HOME}/etc/full/slaves文件与节点无关,仅用于在名称节点启动时向文件中的节点发布启动命令。决定节点是否能连接到Hadoop集群不由它决定,由namenode上的dfs.hosts属性决定。该文件放在namenode的本地文件系统中,每行对应一个datanode的网络地址(由datanode报告,可以通过namenode...原创 2018-06-23 16:51:19 · 309 阅读 · 0 评论 -
Hadoop学习笔记11之HDFS其他常用操作命令
配置hadoop的最小blocksize,必须是512的倍数。------------------------------------------- [hdfs-site.xml] dfs.namenode.fs-limits.min-block-size=1024 write,进行校验,512进行一次校验。 单独配置辅助名称节点----------...原创 2018-06-23 11:14:51 · 718 阅读 · 0 评论 -
Hadoop学习笔记6之配置Hadoop临时目录
【问题描述】重启主机后SecondaryNameNode能启动,NameNode启动不了【查看日志】查找日志(日志: /hadoop/hadoop-0.20.2/logs):Directory /tmp/hadoop-root/dfs/name is inan inconsistent state: storage directory现在问题比较明确了,是临时目录不存在导致。/tmp/hadoop...原创 2018-05-30 17:29:34 · 4892 阅读 · 0 评论 -
Hadoop学习笔记5之HDFS Block
HDFS的块比磁盘块大,目的是为了最小化寻址开销。如果块设置的足够大,从磁盘传输数据的时间可以明显大于定位这个块开始位置所需要的时间。这样,传输一个由多个块组成的文件的时间取决于磁盘传输速率。 寻址时间10ms左右,HDFS使让块寻址时间占用读取时间的1%,以传输速率100MB/s为例,设置块大小为128MB。 但是该参数也不会设置得过大。MapReduce中的...原创 2018-05-30 17:27:14 · 1722 阅读 · 1 评论 -
Hadoop学习笔记9之Maven的使用
【用途】管理依赖,自动关联源码 【下载与安装】1.下载:https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.5.3/binaries/Linux版:apache-maven-3.3.9-bin.tar.gzWindows版:apache-maven-3.3.9-bin.zip2.安装 解压即可,放在根路径下。3.配置环境变量...原创 2018-06-05 21:35:39 · 2098 阅读 · 0 评论 -
Hadoop学习笔记4之HDFS常用命令
1.查看${Hadoop_HOME}/bin/hadoop脚本的hadoop命令帮助信息打印可知:hadoop version //查看版本hadoop fs //文件系统客户端hadoop jar //运行jar包hadoop classpath //查看类路径hadoop checknative //检查本地库并压缩hadoop distcp // 远程递归拷贝...原创 2018-05-29 21:24:56 · 2707 阅读 · 0 评论 -
Hadoop学习笔记3之启动进程脚本分析
(一)Hadoop相关进程【hdfs】 启动脚本:start-hdfs.shNameNode NNDataNode DNSecondarynamenode 2NN 【yarn】 启动脚本:start-yarn.shResourceManager RMNodeMan...原创 2018-05-29 20:38:18 · 349 阅读 · 0 评论 -
Hadoop学习笔记2之三种工作模式的配置
本笔记根据学习徐培成老师大数据课程整理。三、配置Hadoop1.三种模式共存配置hadoop,使用符号链接的方式,可以让三种配置形态共存。(1)创建三个配置目录,内容等同于hadoop目录:Hadoop的配置都在${Hadoop_home}/etc/hadoop下:$cp -r ${Hadoop_home}/etc/Hadoop local //独立模式配置$cp -r ${H...原创 2018-05-20 22:00:27 · 435 阅读 · 0 评论 -
Hadoop学习笔记1之模块和简单安装
后续更新Hadoop学习笔记,根据学习徐培成老师大数据课程整理一.Hadoop的四个模块(1)Hadoop common: 支持其他模块的工具模块(2)Hadoop Distributed File System (HDFS) 分布式文件系统,提供了对应用程序数据的高吞吐量访问。 进程: ...原创 2018-05-20 21:54:11 · 209 阅读 · 0 评论 -
Centos7下搭建Hadoop7单机环境
本文采用Vmware12+Centos7+hadoop2.7.3一.准备工作1.设置hostname#hostnamectl set-hostname develop01# hostnamectl status 2.配置Notepad++修改Linux文件点击Notepad++最右侧“show NPPFTP”,点击profile setting,设置如下,原创 2018-01-30 16:54:25 · 2274 阅读 · 0 评论 -
Hadoop学习笔记13之MapReduce本地模式
MapReduce编程模型:映射+化简。 编程方式----------------extends Mapper{ map(){ ... }}extends Reducer{ reduce(){ ... }}分区----------------- ...原创 2018-07-01 18:03:48 · 184 阅读 · 0 评论