- 博客(7)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 Hadoop(三)——核心之一HDFS
上篇讲述了Hadoop分布式集群环境的搭建，其实重要是HDFS分布式文件系统的搭建，MapReduce主要是需要我们程序员来进行编写算法来进行逻辑运算的。这篇就重点来讲述一下HDFS（HadoopDistribute File System，也就是Hadoop分布式文件系统）。 一、HDFS的主要设计理念： 1、存储超大文件，这里的“超大文件”是指几百MB、GB甚至TB，PB级别的
2015-08-28 00:06:09
5717
9
原创 Hadoop(二)——分布式集群搭建
前两天和一个朋友在聊天的时候说，很多自学Hadoop的朋友80%都会夭折在集群环境的搭建上，原因吗无在乎：1，没有很好的电脑配置，不能像机房一样用多台电脑搭建起集群；2，对linux的不熟悉，各种小黑窗，linux命令……；3，环境搭建的反锁步骤，需要耐心+细心+认真等等吧。不过吗，我觉的，只要敢于坚持，敢于付出都是会成功的。下边讲述一下我的Hadoop集群搭建过程，由于条件有限，也是在虚拟机中进
2015-08-27 00:35:34
2871
4
原创 Hadoop（一）理论体系
随着人民生活水平的提高，随着各种各类数据指数级的增长，“大数据”、“互联网+”、“云时代”等等各种名词已经成为当今社会的潮流，各种数据分析建立在TB,PB,EB,甚至ZB和YB数量级上，以前看似遥不可及，现在已经屡见不鲜。而如何很好的利用好这些数据，使之为我们产生巨大的商业价值，已经是当今IT界的精英们不断突破的方向。而Hadoop则是如今处理这些问题，最基础，最主流，开源并不断改进的一款分布式系
2015-08-25 23:52:17
2459
5
转载 linux下vi命令大全
linux编辑文件最常用的vi编辑，收藏一下，常用常查即可，无在乎对指定文件的：1，打开；2，移动到编辑位置；3，指定位置插入相关文本；4，编辑指定位置的文本；5，删除指定的内容；6，关闭文件的几种方法……原文地址：http://www.cnblogs.com/88999660/articles/1581524.html进入vi的命令 vi filename :打开或新建文件，并将光标置于第一行首
2015-08-20 09:44:28
1401
3
转载 关于学习Hadoop中未总结的资料
看到这里收藏的资料很多，先摘过来，学到那块看那块，不断深入……原文地址：http://www.cnblogs.com/xia520pi/archive/2012/01/02/2310118.html1）Cygwin相关资料 （1）Cygwin上安装、启动ssh服务失败、ssh localhost失败的解决方案 地址：http://blog.163.com/pwcrab/blog/static/
2015-08-19 15:52:16
1763
1
转载 Oracle 树操作(select…start with…connect by…prior)
oracle树查询的最重要的就是select…start with…connect by…prior语法了。依托于该语法，我们可以将一个表形结构的以树的顺序列出来。在下面列述了oracle中树型查询的常用查询方式以及经常使用的与树查询相关的oracle特性函数等，在这里只涉及到一张表中的树查询方式而不涉及多表中的关联等。1、准备测试表和测试数据123456789101112131415161718
2015-08-05 20:44:42
3585
4
原创 Kettle(二)——控件简述
上篇简单讲述了Kettle理论基础知识，那么Kettle工具到底有哪些控件呢？能够完成我们开发中针对数据抽取转换加载的那些功能，这篇博客简单讲述kettle的常用控件。好，首先看一下kettle的控件分布界面图： kettle其实做了相当丰富的控件供我们使用，其基本能够完成我们业务上的需求，当然随着大数据云计算的流行，新版本4.3以上的kettle也针对hadoop中的Hbase，
2015-08-04 23:34:21
7720
2
oss云存储API
2015-04-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人