大数据:是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。
大数据是一种方法论:“一切都被记录,一切都被数字化,从数据中寻找需求,寻找知识,发掘价值”。
大数据技术:指从各种各样类型的数据中快速获得有价值信息的能力。
大数据的特点:数据体量巨大、数据类型繁多、价值密度低、产生和处理速度快
新的大数据处理平台:
开源:Hadoop、Spark(Apache)、Atorm(Twitter)、MongoDb
商用:IBMPureData、OracleExadata、SAP Hana、Teradata AsterData、EMC GreenPlum、HP Vertica
Hadoop的优势:
低成本 基于来源软件,运行与通用硬件平台。
高扩展性 在可用的计算机集簇间分配数据并完成计算任务,这些集簇可以方便的扩展到数以千计的节点中。
高效性 在节点之间动态分配计算任务并保证各个节点的动态平衡,处理速度非常快。
高容错性 自动保存数据的多个副本,并且能够自动将失败的任务重新分配。
Hadoop生态圈:
存储数据HDFS(Hadoop Distributed File System),运行在通用硬件上的分布式文件系统。具有高度容错性、高吞吐量的的特点。
处理数据MapReduce,它是一种编程模型,Map(映射)和Reduce(归约),它极大地方便了分布式并行编程,与hdfs的高度融合,它是基于java来进行编程的。
数据仓库工具Hive,处理结构化SQL查询功能,将sql语句解释为MapReduce编程进行数据的处理,只能进行结构化的查询。
Pig MapReduce之上的高级过程语言,查询大型的半结构化数据集,处理非结构化数据。
HBase(Hadoop Database) 它是一个适用于非结构化数据存储的数据库,基于列存储,不同行可有不同数据列,保留数据多个时间版本。
Zookeeper 分布式应用程序协调服务提供一致性服务。
传统数据存储,分析处理
·RDBMS关系型数据库系统
EDW数据仓库
·针对结构化数据
集中式存储
集中式处理OLTP
大数据平台:
·HDFS
·Hadoop Distributed File System (分布式系统)
·建立在网络之上的软件系统
·运行在通用硬件上
·分布式文件系统
·高度容错性
·高吞吐量的
大数据处理数据
MapReduce
一种编程模型
"Map(映射)"和"Reduce(归约)"
极大地方便了分布式并行编程
与HDFS的高度融合
HBase
操作系统:Windows;Linux(一般用于服务器的系统);Mac OS;等
虚拟软件(虚拟机:Virtual Machine),常用的虚拟软件:
VMware workstation
VirtualBox
Linux,基于Unix开发的系统;主要有RedHat;CentOS;Ubuntu;等都是基于Linux内核开发的系统
Linux安装(不同版本的官网地址):
VirtualBox(www.virtualbox.org)
CentOS(www.centos.org)
Ubuntu(www.ubuntu.com)
Fedora(https://getfedore.org/)
Linux周边配套软件
远程连接工具Xshell/SecureCRT
远程FTP工具FileZilla
远程文本编辑工具TextWrangler/Notepad++
Linux配置
主机名设置:/etc/sysconfig/network
主机名及IP地址对应关系设置:/etc/hosts
Linux系统管理
网络设置
http://reverland.bitbucket.org/VirtualBox_net.html
关机重启
reboot
shutdown -r now 立刻重启(root用户使用)
shutdown -r 10 过10min自动重启(root用户使用)
shutdown -r 20:35 在时间为20:35时候重启(root用户使用)