一个开始

原创 2015年07月07日 17:44:46

知识就是力量,在我们这个信息爆炸的时代,知识可以认为就是数据。
各行各业的数据都在爆炸式的增长,这个量变已经使我们无法轻松的使用数据了。随之而来的就是大数据领域的解决方案。
hadoop作为一个开源的技术正在被更多的人使用,已经形成一套标准。
hadoop.apache
目标:通过学习,能够完成一定的大数据解决方案

目前hadoop已经形成了一个庞大的家族,相关产品还有如下:
这里写图片描述
个人理解:
hadoop:一个开源的分布式计算框架,主要包含一个分布式文件系统(hdfs)和一个数据分治合并计算框架(mapreduce),基于文件的计算
hive:将文件映射为一个类似数据仓库的东西,能够使用sql做查询统计分析
hbase:高可靠性,高性能,面向列的,分布式的存储系统。能够存储大规模的结构化数据
sqoop:一个转换工具,将关系型的数据(mysql,Oracle。。)导进hdfs,或者从hdfs导进关系型数据库
zookeeper:不好说,起到管理协调数据的作用
pig:可以将类似sql的查询转换并优化为mapreduce的计算

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

从一个菜鸟开始学习机器学习

今晨看了一篇文章,说是2025年十大最有前途的技术,当然有“移动互联网”,而其间也有一个是“自动化知识处理”,这其中的关键技术是机器学习。机器学习是一个交叉学科,它与科学计算有很密切的关系,但不完全是...

开始一个BREW应用

  • 2011-12-28 10:58
  • 376KB
  • 下载

从零开始打造一个新闻订阅APP之爬虫篇(一、背景介绍&需求分析)

这段时间,打算好好写写博客,希望将自己前段时间的开发经历梳理一遍,看看能不能沉淀一些东西,也希望能够和有共同兴趣的同学一起探讨学习。 有兴趣的同学可以看看前两篇文章: “创业梦”的破碎 布板的前...

Creating a class from scratch(从头开始创建一个类)

原文地址:点击打开链接 首先,我们需要创建一个类,为了创建一个类文件(class file),需要下面这些步骤 加载 java.lang.Object 和库类(Library Classes)    ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)