2015年09月_你所有承诺

12月 11月 10月 09月 08月 07月 06月 05月 04月

原创大数据学习篇：hadoop深入浅出系列之HDFS（七） ——小文件解决方案

小文件指的是那些size比HDFS的block size(默认128M)小的多的文件。任何一个文件，目录和block，在HDFS中都会被表示为一个object存储在namenode的内存中，每一个object占用150 bytes的内存空间。所以，如果有10million个文件，每一个文件对应一个block，那么就将要消耗namenode 3G的内存来保存这些block的信息。如果规模再大

2015-09-30 14:24:15 1169 1

原创大数据学习篇：hadoop深入浅出系列之HDFS（六） ——JavaAPI操作

前面我们讲了hadoop的httpFS访问，今天讲hadoop的第三种访问方式：JavaAPI

2015-09-28 22:33:38 1136

原创大数据学习篇：hadoop深入浅出系列之HDFS（五） ——httpFS访问

前面我们讲了HDFS的shell操作，今天讲的是HDFS的httpFS访问，由于还没有研究透彻，先立个文章放这，以后编辑文件httpfs-env.sh执行sbin/httpfs.sh执行命令curl -i "http://192.168.1.213:14000/webhdfs/v1?user.name=root&op=LISTSTATUS"更多命令参考http://hado

2015-09-26 12:13:00 1983

原创大数据学习篇：hadoop深入浅出系列之HDFS（四）——shell操作

上一篇我们讲了HDFS的读文件和写文件，今天我们来讲HDFS的shell操作。首先，我们进入到hadoop文件夹下，然后输入bin/hdfs命令，我们能发现有很多提示信息，Usage: hdfs [--config confdir] COMMAND where COMMAND is one of 这句话的大致意思就是说hdfs后面要跟命令，我们之前格式化namenode执行的命

2015-09-25 23:33:48 1185 3

原创大数据学习篇：hadoop深入浅出系列之HDFS（三） ——HDFS读文件和写文件

上一篇讲了HDFS的体系结构，今天这篇，我们来讲讲HDFS的读和写。一：读文件1.首先调用FileSystem对象的open方法，其实是一个DistributedFileSystem的实例2.DistributedFileSystem通过rpc获得文件的第一批个block的locations，同一block按照重复数会返回多个locations，这些locations按照hadoo

2015-09-23 00:03:43 1456 1

原创大数据学习篇：hadoop深入浅出系列之HDFS（二）——HDFS体系结构

上一篇文章，我们说了HDFS的简介和优缺点,这篇文章我们来探讨下HDFS的体系结构先上一张美图供大家欣赏。通过这张图，我们可以清晰的看到HDFS的体系结构，client，NameNode，DataNode等，进入到hdf文件下也可以看到几个对应的文件夹（如下图）这个路径是可变的，具体查看配置文件hdfs-site.xml中dfs.namenode.name.dir和dfs.

2015-09-22 01:11:23 1599

原创关于textarea中回车保存和显示

最近做项目的时候，发现textarea文本中有敲了换行符，保存之后，点击查看按钮居然显示不了，页面也不报错，用了调试程序发现，前台获取的居然是几行数值，然后又去了数据库，发现数值一行显示。于是纳闷了。或许前端框架不支持吧，此处就要自己修改了我的做法如下首先保存的时候java代码进行修改

2015-09-21 15:34:03 5814

原创大数据学习篇：hadoop深入浅出系列之HDFS（一）——HDFS简介和优缺点

上一篇，我们说了hadoop的伪分布式安装，今天我们来说说著名的HDFSHDFS，顾名思义 Hadoop Distributed File System，至于它的来历我就不说了，网上比比皆是。随着数据量越来越多，在一个操作系统管辖的范围存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。

2015-09-20 23:24:49 5353 1