Hadoop
KirogiYi
你的价值不是别人决定的,而是在夜深人静的时候,扪心自问,你活着的价值是什么?
展开
-
Hadoop渐进一:Hadoop2.8.0虚拟机集群配置
Hadoop虚拟机集群配置一、下载工具VMWare Fusion: https://www.vmware.com/products/fusion.html 二、下载操作系统Ubuntu:https://www.ubuntu.com/download 三、在VirtualBox中安装一台Ubuntu系统虚拟机后(Master),clone出另外两台虚拟机(Slave)原创 2017-04-24 20:17:37 · 1293 阅读 · 0 评论 -
ZooKeeper简单介绍
一、分布式协调技术 在给大家介绍ZooKeeper之前先来给大家介绍一种技术——分布式协调技术。那么什么是分布式协调技术?那么我来告诉大家,其实分布式协调技术 主要用来解决分布式环境当中多个进程之间的同步控制,让他们有序的去访问某种临界资源,防止造成"脏数据"的后果。这时,有人可能会说这个简单,写一个调 度算法就轻松解决了。说这句话的人,可能对分布式系统不是很了解,所以才会出现这种误解。如转载 2017-05-07 21:21:13 · 506 阅读 · 0 评论 -
Hadoop渐进八:Hive配置
Hive:基于Hadoop文件系统上的数据仓库架构。Hive提供了一系列工具用于数据提取、转化、加载,它是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive还定义了类SQL语言—Hive QL,Hive QL允许用户进行SQL相似的操作。一、Hive配置:基于Mysql默认情况下,Hive metadata数据保存在内嵌的Derby数据库,只能实现一个会话连接原创 2017-05-05 18:12:25 · 721 阅读 · 0 评论 -
Hadoop渐进七:Hadoop管理工具
一、Hadoop自带管理工具(1)、HDFS管理操作: hadoop dfsadmin [-report] [-safemode enter | leave | get | wait] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status | details | force] [-metasave filename] [-set原创 2017-05-04 12:13:52 · 3291 阅读 · 0 评论 -
Hadoop渐进五:Hadoop I/O(Sequence, Map, Set...)
Apache Hadoop’s SequenceFile provides a persistent data structure for binary key-value pairs. In contrast with other persistent key-value data structures like B-Trees, you can’t seek to a specified ke翻译 2017-05-01 20:31:34 · 601 阅读 · 0 评论 -
Hadoop渐进六:HDFS
一、简述Hadoop分布式文件系统通常在通用硬件上运行,它和现有的其他分布式文件系统有很多相同之处,同时也有着明显的区别。HDFS具有高容错、高吞吐量、低廉价部署等特性,非常适合于大规模数据集的管理和存储。HDFS最开始是作为Apache Nutch搜索引擎项目基础框架而开发,它是Apache Hadoop Core项目的一部分。二、HDFS设计基础1、硬件故障硬件故障原创 2017-05-02 22:16:23 · 459 阅读 · 0 评论 -
Hadoop渐进二:自动与手动实例wordcount运行
hadoop fs是调用文件系统的命令(bin/hadoop fs )1、创建输入文件(数据块)(1)、hadoop fs -mkdir /input (2)、删除文件块hadoop fs -rm -r /filename/(文件夹)hadoop fs -rm /filename(文件)3、查看创建的文件块hdfs dfs -ls / 4、本地文件导原创 2017-04-25 12:20:23 · 539 阅读 · 0 评论 -
Hadoop渐进四:MapRaduce流程简述
一、MapRaduce介绍MapReduce是一种编程模型,具有在多节点上并行处理大数据的能力。MapReduce算法包含两个重要的事务,分别是Map和Reduce:1、Map:把大量复杂任务分解成多个少量简单任务;2、Reduce:将多个少量任务结果进行归类汇总。 二、Map/Reduce步骤 1、Map:负责数据的过滤分发(1)、Splitting:从数原创 2017-04-29 20:40:28 · 982 阅读 · 0 评论 -
Hadoop渐进三:流的Bash实例
一、简介:Hadoop提供了API来运行MapReduce,可以使用java以外的语言编写map和raduce函数。Hadoop流使用Unix标准输入输出流作为Hadoop和程序之间的接口,可以使用任何支持标准输入输出的语言,方便了已有程序向Hadoop平台的移植。原理:输入数据把标准输入流传输到map函数,先是一行一行的传输,然后把行写入标准输出;而Reduce具有相同的格式,从标准输入流读原创 2017-04-25 20:02:09 · 500 阅读 · 0 评论 -
Hadoop渐进九:HBase配置及简单应用
一、ZooKeeper配置关于ZooKeeper具体介绍:http://www.cnblogs.com/wuxl360/p/5817471.html1、下载zookeeperhttp://www.apache.org/dyn/closer.cgi/zookeeper/2、解压zookeeper到安装目录tar -zxvf zookeeper-3.4.10-bin.tar.gz原创 2017-05-07 21:32:55 · 390 阅读 · 0 评论