自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

程裕强的专栏

学习笔记(1.01^365=37.78,0.99^365=0.025)

原创 Hadoop基础教程-第10章 HBase:Hadoop数据库(10.6 HBase API)

第10章 HBase:Hadoop数据库10.6 HBase API10.6.1 HBase API介绍前面我们已经学习了通过HBase Shell命令来操作HBase,本质上是通过Java API进行操作的。所以Java API操作HBase是最直接、最原生的方式。10.6.2 Windows+Eclipse+Maven+HBase(1)编辑Windows系统的hosts文件C:\Windows\

2017-07-29 21:44:07 1013

原创 Hadoop基础教程-第10章 HBase:Hadoop数据库(10.5 HBase Shell)(草稿)

第10章 HBase:Hadoop数据库10.5 HBase Shell10.5.1http://hbase.apache.org/book.html#quickstartProcedure: Use HBase For the First Time Connect to HBase进入HBase Shell[root@node1 ~]# hbase shell2017-03-18 17:45:

2017-07-25 23:38:22 1309

原创 Hadoop基础教程-第10章 HBase:Hadoop数据库(10.4 NTP时间同步)(草稿)

第10章 HBase:Hadoop数据库10.4 时间同步10.4.1 为什么需要时间同步10.4.1 ntp服务端(1)安装ntp[root@node1 ~]# yum install -y ntp.....Installing: ntp x86_64

2017-07-25 22:42:42 744

原创 Hadoop基础教程-第10章 HBase:Hadoop数据库(10.3 HBase安装与配置)(草稿)

第10章 HBase:Hadoop数据库10.3 HBase安装与配置10.3.1 HBase下载HBase官方网址:http://hbase.apache.org/ 下载推荐的当前稳定版1.2.610.3.2 HBase安装(1)上传软件包。通过XShell将HBase软件包上传到集群中的一个节点,比如node1 (2)解压缩软件包[root@node1 ~]# tar -zxvf hba

2017-07-23 16:46:58 1025

原创 Hadoop基础教程-第10章 HBase:Hadoop数据库(10.2 HBase基本概念、框架)(草稿)

第10章 HBase:Hadoop数据库10.2 HBase基本概念、框架本节内容,大多是从网络上汇总而来,并做了一定总结修改。10.2.1 HBase的特点大:一个表可以有上亿行,上百万列。面向列:面向列表(簇)的存储和权限控制,列(簇)独立检索。稀疏:对于为空(NULL)的列,并不占用存储空间,因此,表可以设计的非常稀疏。(对于关系数据库,空值位置必须存储NU

2017-07-23 16:06:50 1416

原创 Hadoop基础教程-第10章 HBase:Hadoop数据库(10.1 NoSQL介绍)(草稿)

第10章 HBase:Hadoop数据库10.1 NoSQL介绍10.1.1 NoSQL简介随着互联网技术(互联网+,物联网)发展,特别是大数据时代到来,我们需要存储处理更多数据,这种需求远远超出传统关系型数据库的存储和处理能力。 为了应对这种情形,我们需要不停的扩展。扩展分为两类:一种是纵向扩展,即购买更好的机器,更多的磁盘、更多的内存等等;另一种是横向扩展,即购买更多的机器组成集群。在巨大的规

2017-07-22 22:43:36 1378

原创 Hadoop基础教程-第9章 HA高可用(9.4 YARN 高可用)(草稿)

第9章 HA高可用9.4 YARN 高可用9.4.1 RM单点故障http://hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html ResourceManager(RM)负责跟踪群集中的资源,并调度应用程序(例如MapReduce作业)。在Hadoop 2.4之...

2017-07-22 22:12:45 1805

原创 Hadoop基础教程-第9章 HA高可用(9.3 HDFS 高可用运行)(草稿)

第9章 HA高可用9.3 HDFS 高可用运行9.3.1 HA节点规划 节点 IP Zookeeper NameNode JournalNode DataNode node1 192.168.80.131 Y Y Y Y node2 192.168.80.132 Y Y Y Y node3 192.168.80.133

2017-07-12 22:21:00 1453 2

原创 Hadoop基础教程-第9章 HA高可用(9.2 HDFS 高可用配置)(草稿)

第9章 HA高可用9.2 HDFS 高可用配置9.2.1 准备工作因为前面我们已经配置启动了普通的Hadoop相关服务,需要先停止相关服务并清除数据。 (1)停止Hadoop服务 首先停止YARN[root@node1 ~]# stop-yarn.shstopping yarn daemonsstopping resourcemanagernode2: s...

2017-07-08 21:03:30 1079 1

原创 Hadoop基础教程-第9章 HA高可用(9.1 HDFS 高可用介绍)(草稿)

第9章 HA高可用9.1 HDFS 高可用介绍HDFS HA(High Availability)高可用配置官方参考网址 http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html9.1.1 背景Prior to Hadoop

2017-07-08 17:27:32 825

原创 Hadoop基础教程-第8章 Zookeeper(8.5 Zookeeper内存数据库)(草稿)

第8章 Zookeeper8.5 Zookeeper内存数据库8.5.2 内存数据库介绍ZooKeeper的数据模型是一棵树,而从使用角度看, Zookeeper就像一个内存数据库一样。在这个内存数据库中,存储了整棵树的内容,包括所有的节点路径、节点数据及其ACL信息等,Zookeeper会定时将这个数据存储到磁盘上。 Zookeeper内存数据库是通过ZKDatabase类实现, 内部属性包括

2017-07-08 15:57:48 879

原创 Hadoop基础教程-第8章 Zookeeper(8.4 Zookeeper集群模式)(草稿)

第8章 Zookeeper单机模式的ZooKeeper便于评估,开发和测试。但在生产中,我们应该以集群模式运行ZooKeeper。8.4 Zookeeper集群模式8.4.1 集群模式介绍一个 ZooKeeper 集群通常由一组机器组成,一般 3 台以上就可以组成一个可用的 ZooKeeper 集群了。 组成 ZooKeeper 集群的每台机器都会在内存中维护当前的服务器状态,并且每台机器之间都会

2017-07-06 22:24:59 851

原创 Hadoop基础教程-第8章 Zookeeper(8.3 Zookeeper单机模式)(草稿)

第8章 Zookeeper8.3 Zookeeper单机模式8.3.1 三种运行模式Zookeeper 有三种运行模式:单机模式、伪集群模式和集群模式。8.3.2 单机模式配置单机模式仅仅用于开发测试环境。一方面我们没有那么多机器资源,另外就是平时的开发调试并不需要极好的稳定性。 zookeeper单机模式配置参照官方文档 http://zookeeper.apache.org/doc/r3.

2017-07-06 21:45:43 707

提示
确定要删除当前文章?
取消 删除