Hadoop
行者无疆_super
这个作者很懒,什么都没留下…
展开
-
Hbase原理、基本概念、基本架构
概述HBase是一个构建在HDFS上的分布式列存储系统;HBase是基于Google BigTable模型开发的,典型的key/value系统;HBase是Apache Hadoop生态系统中的重要一员,主要用于海量结构化数据存储;从逻辑上讲,HBase将数据按照表、行和列进行存储。与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算...原创 2013-12-26 16:36:37 · 230461 阅读 · 28 评论 -
mapreduce配置调优
默认情况下,hadoop为各个守护进程分配1000M(1G)内存,该值在文件hadoop-env.sh的HADOOP_HEAPSIZE属性控制,tasktracker启动子JVM运行map和reduce任务也需要内存。按照默认配置,一个tasktracker可运行2个map(mapred.tasktracker.map.tasks.maximum)和2个reduce(mapred.tasktr原创 2014-10-23 16:37:02 · 1718 阅读 · 0 评论 -
MapReduce笔记(架构及工作原理)
Mapreduce架构:JobTracker:•Master•管理所有作业•将作业分解成一系列任务•将任务指派给TaskTracker•作业/任务监控、错误处理等TaskTracker:•Slave•运行Map Task和Reduce Task•与JobTracker交互,执行命令,并汇报任务状态原创 2014-10-27 10:04:55 · 2278 阅读 · 1 评论 -
HDFS笔记(特点、原理与基本架构)
产生背景以文件为基本存储单位的缺点1、文件大小不同,难以实现负载均衡。2、处理一个文件时,只能利用一个节点资源,无法动用集群。HFDS的定义源自于Google的GFS论文 发表于2003年10月 HDFS是GFS克隆版Hadoop Distributed File System 易于扩展的分布式文件系统 运行在原创 2014-02-26 17:27:33 · 19514 阅读 · 2 评论 -
Hadoop集群部署笔记
参考网址:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html1、修改hostname [root@QQT hadoop]# hostname hadoop.datanode1.com [root@QQT hadoop]# vi /etc/sysconfig/network 修改:原创 2013-11-21 15:44:13 · 1577 阅读 · 0 评论 -
Hadoop生态系统介绍
1、Hadoop生态系统概况Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。Hadoop的核心是HDFS和Mapreduce,hadoop2.0还包括YARN。下图为hadoop的生态系统:2、HDFS(Hadoop分布式文件系统)源自于Google的GFS论文,发表于2003年10月,HDFS是GFS克隆版。是Hadoo原创 2014-02-22 16:27:47 · 53114 阅读 · 4 评论 -
Hbase部署
伪分布式部署: [root@hadoop hadoop]#cp /home/hadoop/soft/hbase-0.94.14.tar.gz /usr [root@hadoop hadoop]#cd /usr [root@hadoop hadoop]#tar -zxvf hbase-0.94.14.tar.gz [root@hadoop hadoop原创 2013-12-23 18:20:15 · 2826 阅读 · 0 评论 -
Hive笔记
搭建环境官网参考:https://cwiki.apache.org/confluence/display/Hive/GettingStarted1、简要安装流程##配置环境变量(在/etc/profile尾部添加)export HIVE_HOME=/usr/hiveexport PATH=$HIVE_HOME/bin:$PATH##解压$ tar -xzvf hive-x.y.原创 2014-02-03 10:45:03 · 2842 阅读 · 0 评论 -
Hadoop的那些事儿
来源:http://www.searchtb.com/2010/11/talk-about-hadoop.html?spm=0.0.0.0.lzKpKO在说Hadoop之前,作为一个铁杆粉丝先粉一下Google。Google的伟大之处不仅在于它建立了一个强悍的搜索引擎,它还创造了几项革命性的技术:GFS,MapReduce,BigTable,即所谓的Google三驾马车。Google虽然没有公转载 2014-02-03 18:05:13 · 2231 阅读 · 1 评论 -
Hbase访问方式之Java API
Hbase的访问方式1、Native Java API:最常规和高效的访问方式;2、HBase Shell:HBase的命令行工具,最简单的接口,适合HBase管理使用;3、Thrift Gateway:利用Thrift序列化技术,支持C++,PHP,Python等多种语言,适合其他异构系统在线访问HBase表数据;4、REST Gateway:支持REST 风格的Http API原创 2013-12-30 12:09:06 · 14595 阅读 · 1 评论 -
Sqoop笔记
Sqoop是什么Sqoop:SQL-to-Hadoop传统数据库与Hadoop间数据同步工具利用Mapreduce分布式批处理,加快了数据传输速度,保证了容错性Sqoop1架构sqoop1 import原理:从传统数据库获取元数据信息(schema、table、field、field type),把导入功能转换为只有Map的Mapreduce作业,在mapreduc原创 2014-01-22 12:17:08 · 7295 阅读 · 0 评论 -
Hbase访问方式之Mapreduce
概述:Hbase对Mapreduce API进行了扩展,方便Mapreduce任务读写HTable数据。一个简单示例:说明:从日志表中,统计每个IP访问网站目录的总数package man.ludq.hbase;import java.io.IOException;import org.apache.hadoop.conf.Configu原创 2014-01-06 18:07:24 · 16034 阅读 · 4 评论 -
ZooKeeper客户端命令
ZooKeeper服务命令: 在准备好相应的配置之后,可以直接通过zkServer.sh 这个脚本进行服务的相关操作1. 启动ZK服务: sh bin/zkServer.sh start2. 查看ZK服务状态: sh bin/zkServer.sh status3. 停止ZK服务: sh bin/zkServer.sh stop4. 重启ZK服务:转载 2014-01-15 11:35:41 · 18106 阅读 · 2 评论 -
Hbase访问方式之Hbase shell
Hbase的访问方式1、Native Java API:最常规和高效的访问方式;2、HBase Shell:HBase的命令行工具,最简单的接口,适合HBase管理使用;3、Thrift Gateway:利用Thrift序列化技术,支持C++,PHP,Python等多种语言,适合其他异构系统在线访问HBase表数据;4、REST Gateway:支持REST 风格的Http API原创 2013-12-27 14:54:49 · 28174 阅读 · 0 评论