Hadoop总结:
MapReduse:对数据的处理,数据主要来自于hdfs
Hdfs(Hadoop Di):hadoop 的分布式文件系统,相当于win的资源管理器,储存与管理文件
Nutch:浏览器的简称
Unstructured Date:非结构化的数据,常见的有log日志,包含Flume与Scribe(能收集数据),可以用来收集数据
Structured Date:结构化的数据,是关系型数据库的形式,常用的数据库(Oracle,Mysql,SqlService)包含:hiho与sqoop框架,需要命令导出,可以使用命令导出
JAQL:可以使用一句sql把数据导出来
Hive:
Hbase(OLTP---on-line transaction processing的简写) 在线交易过程,联机事务处理 ; 使用时一般数据到达TB级的,响应的时间可以达到秒级别。
MyEclipse:利用java代码操作hadoop
More High Level Interfaces(mahout):封装了很多的算法,只需要输入与运行时的参数。例如分类的算法。