- 博客(7)
- 资源 (11)
- 收藏
- 关注
原创 Hadoop(三)——核心之一HDFS
上篇讲述了Hadoop分布式集群环境的搭建,其实重要是HDFS分布式文件系统的搭建,MapReduce主要是需要我们程序员来进行编写算法来进行逻辑运算的。这篇就重点来讲述一下HDFS(HadoopDistribute File System,也就是Hadoop分布式文件系统)。 一、HDFS的主要设计理念: 1、存储超大文件,这里的“超大文件”是指几百MB、GB甚至TB,PB级别的
2015-08-28 00:06:09 5717 9
原创 Hadoop(二)——分布式集群搭建
前两天和一个朋友在聊天的时候说,很多自学Hadoop的朋友80%都会夭折在集群环境的搭建上,原因吗无在乎:1,没有很好的电脑配置,不能像机房一样用多台电脑搭建起集群;2,对linux的不熟悉,各种小黑窗,linux命令……;3,环境搭建的反锁步骤,需要耐心+细心+认真等等吧。不过吗,我觉的,只要敢于坚持,敢于付出都是会成功的。下边讲述一下我的Hadoop集群搭建过程,由于条件有限,也是在虚拟机中进
2015-08-27 00:35:34 2871 4
原创 Hadoop(一)理论体系
随着人民生活水平的提高,随着各种各类数据指数级的增长,“大数据”、“互联网+”、“云时代”等等各种名词已经成为当今社会的潮流,各种数据分析建立在TB,PB,EB,甚至ZB和YB数量级上,以前看似遥不可及,现在已经屡见不鲜。而如何很好的利用好这些数据,使之为我们产生巨大的商业价值,已经是当今IT界的精英们不断突破的方向。而Hadoop则是如今处理这些问题,最基础,最主流,开源并不断改进的一款分布式系
2015-08-25 23:52:17 2459 5
转载 linux下vi命令大全
linux编辑文件最常用的vi编辑,收藏一下,常用常查即可,无在乎对指定文件的:1,打开;2,移动到编辑位置;3,指定位置插入相关文本;4,编辑指定位置的文本;5,删除指定的内容;6,关闭文件的几种方法……原文地址:http://www.cnblogs.com/88999660/articles/1581524.html进入vi的命令 vi filename :打开或新建文件,并将光标置于第一行首
2015-08-20 09:44:28 1401 3
转载 关于学习Hadoop中未总结的资料
看到这里收藏的资料很多,先摘过来,学到那块看那块,不断深入……原文地址:http://www.cnblogs.com/xia520pi/archive/2012/01/02/2310118.html1)Cygwin相关资料 (1)Cygwin上安装、启动ssh服务失败、ssh localhost失败的解决方案 地址:http://blog.163.com/pwcrab/blog/static/
2015-08-19 15:52:16 1763 1
转载 Oracle 树操作(select…start with…connect by…prior)
oracle树查询的最重要的就是select…start with…connect by…prior语法了。依托于该语法,我们可以将一个表形结构的以树的顺序列出来。在下面列述了oracle中树型查询的常用查询方式以及经常使用的与树查询相关的oracle特性函数等,在这里只涉及到一张表中的树查询方式而不涉及多表中的关联等。1、准备测试表和测试数据123456789101112131415161718
2015-08-05 20:44:42 3585 4
原创 Kettle(二)——控件简述
上篇简单讲述了Kettle理论基础知识,那么Kettle工具到底有哪些控件呢?能够完成我们开发中针对数据抽取转换加载的那些功能,这篇博客简单讲述kettle的常用控件。好,首先看一下kettle的控件分布界面图: kettle其实做了相当丰富的控件供我们使用,其基本能够完成我们业务上的需求,当然随着大数据云计算的流行,新版本4.3以上的kettle也针对hadoop中的Hbase,
2015-08-04 23:34:21 7721 2
oss云存储API
2015-04-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人