Hadoop初识

原创 2018年04月15日 16:45:46

Hadoop和Hadoop 生态圈

Hadoop 分布式存储,分布式计算的工具

大数据到底是什么?为什么要学习它?

大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据的特点:

  • 量大
  • 数据来源复杂(音视频等等)
  • 数据的分析比较复杂
  • 数据的价值、意义比较大

为什么要学大数据呢?

  • 国家层面支持
  • 教育部支持,很多高校开设大数据课程
  • 政策优惠
  • 企业的决策,数据分析
  • 机器学习、深度学习等

linux+hadoop+mr+zookeeper+hive+sqoop+hbase+flume

部署一个单机的hadoop

软件环境:

  • ssh
  • java

下载地址:
http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.5/

mkdir input
cp etc/hadoop/*.xml input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar grep input output 'dfs[a-z.]+'
cat output/*

ha

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/chenlushun12/article/details/79946592

Hadoop学习笔记_初识Hadoop

Hadoop是适合大数据的分布式存储与计算平台,分布式存储即HDFS(Hadoop Distributed File System),计算平台即MapReduce。Hadoop是分布式存储数据,在存储...
  • wolf_soul
  • wolf_soul
  • 2015-05-25 09:21:06
  • 317

初识hadoop框架及hadoop1.x 与hadoop2.x的区别

今天,小编带大家初识hadoop的相关知识及架构! 第二种方式为永久改变主机名,开机不变 并行计算框架:mapreduce Yarh:资源管理平台...
  • u013471672
  • u013471672
  • 2016-06-28 07:56:01
  • 97

第1讲:初识hadoop

  • 2016年09月24日 00:13
  • 1.96MB
  • 下载

从零开始学Hadoop----初识

我们知道大数据的时代已经到来,之前就给大家分享了应对大数据的非关系型数据库redis。今天,我们再来看看处理和分析海量数据的神器——hadoop。 今天我们简单认识了一下Hadoop,知道了h...
  • u010168160
  • u010168160
  • 2016-05-04 15:34:22
  • 1453

初识Hadoop及其名词解释---Hadoop学习(1)

今天开始学习hadoop的基本机制和基础知识,之前也迷迷糊糊在Ubuntu上配置过hadoop但是根本不懂很多配置参数和操作的原因,所以此次学习旨在真正地认识hadoop以及会它的一些用法。至少要知道...
  • miaote
  • miaote
  • 2016-11-04 01:10:53
  • 659

零基础搭建Hadoop大数据处理-环境

由于Hadoop需要运行在Linux环境中,而且是分布式的,因此个人学习只能装虚拟机,本文都以VMware Workstation为准,安装CentOS7,具体的安装此处不作过多介绍,只作需要用到的知...
  • xiaocai9999
  • xiaocai9999
  • 2017-09-03 10:07:23
  • 131

精通HADOOP(二) - 初识Hadoop - MapReduce模型介绍

1 初识Hadoop 一个独立的低端硬件通常不能满足应用程序对资源的需求。许多企业发现他们的业务流软件并不是安装在一台成本效益较好的计算机上。对于他们来说,一个简单的解决方案就是购买具有更多内存和C...
  • robertleepeak
  • robertleepeak
  • 2010-11-10 22:01:00
  • 14478

Hadoop Pipeline详解

大牛同事的博客转载一下,方便查阅 转载地址:http://dj1211.com/?p=178#more-178 一、说明 Hadoop 2.x相比较于1.x有了较大的改变,像MapReduce层面架...
  • hit_hlj_sgy
  • hit_hlj_sgy
  • 2014-11-26 22:28:05
  • 2646

初识SAP的ERP

刚开始接触SAP,记录个人的学习成长。 ERP(Enterprise Resource Planning)     ERP是建立在现代企业先进管理思想基础之上,利用信息技术为企业提供决策、计划、控...
  • leavingchen
  • leavingchen
  • 2015-12-24 09:53:12
  • 418

初识人工智能

人工智能,之所以冠以“”人工“,最主要是因为其模仿人类的思维过程所产生的。而“”智能“”,怎样才算智能呢?前一阵子比较火的智能家居,最主要的形式是通过各种手机APP 或者终端远程控制各种家电开关,这种...
  • oangeli
  • oangeli
  • 2017-01-18 23:35:15
  • 394
收藏助手
不良信息举报
您举报文章:Hadoop初识
举报原因:
原因补充:

(最多只允许输入30个字)