- 博客(80)
- 资源 (43)
- 收藏
- 关注
RSS订阅原创 HBase CRUD 操作指南 (三)
继 HBase CRUD 操作指南 (二) 4 批处理操作 (Batch Operations)之前介绍的 API 都是应用到单一行上的操作。本节介绍另外一些 API 调用，这些调用可以批量处理跨多行的不同操作。 NOTE: --------- 事实上，许多基于列表的操作，如 delete(List<Delete> deletes) 或 get...
2018-07-10 09:40:13
1830
原创 HBase CRUD 操作指南 (二)
继 HBase CRUD 操作指南 (一) 3. CRUD 操作 (CRUD Operations)数据库的初始基本操作通常称为 CRUD (create, read, update, and delete), 指的是 增、查、改、删四种操作。HBase 中有与之对应的的一组操作，由Table interface 接口提供。 public interface Table ...
2018-07-09 09:52:30
2518
原创 HBase CRUD 操作指南 (一)
1 概述 (General Notes)HBase 的主要客户端入口点是 org.apache.hadoop.hbase.client 包的 Table interface. 该接口为用户提供了向 HBase 存储和获取数据全部必须的功能，以及删除无效数据之类的操作。它通过 Connection 实例建立与 HBase 服务器连接。不过，在讨论这些类提供的各种方法之前，让我们了解一些这些用法...
2018-07-08 11:02:01
783
原创 HBase 安装 (Installation)
本文所有描述内容假设已经安装了 Java Runtime Environment (JRE)。 Hadoop 和 HBase 要求至少为 Java 7 版本，并且建议使用 Oracle Java。本文所有描述内容为 HBase 原生安装(native)，即使用 HBase 发布软件包安装。如果要了解通过工具安装和管理 HBase，参考另两篇文章： Ambari 2.6.1 构建 Had...
2018-07-07 09:51:20
320
原创 HBase 简介 (Introduction)
HBase: The Hadoop Database1.1 海量数据的黎明 (The Dawn of Big Data) 对于海量数据的重要性， Ralph Kimball 博士指出： "数据资产会取代 20 世纪传统有形资产的地位，成为资产负债表的重要组成部分。" "数据的价值已经超越了传统企业广泛认同的价值边界。" 列式存储数据库 (Column-Oriente...
2018-07-06 10:46:18
301
原创 Hadoop 之关于 HBase
1. HBase 基础 HBase 是构建于 HDFS 之上的面相列分布式数据库。如果要求实时的随机访问(读/写)大规模数据集，就可以使用 HBase 这一 Hadoop 应用。虽然数据库的存储和检索有很多不同的策略和实现，但大多数解决方案 ———— 特别是许多关系型数据库的变种 ———— 它们不是构建于大规模和分布式思想。很多厂商提供复制和分区解决方案来将数据库从单个节点边界扩展出去...
2018-07-05 10:40:28
677
原创 Hadoop 之 ZooKeeper (二)
继 Hadoop 之 ZooKeeper (一) 4. 使用 ZooKeeper 构建应用 (Building Applications with ZooKeeper)4.1 一个配置服务 (A Configuration Service) 分布式应用所需要的基本服务之一是配置服务，它使配置信息中那些公共的部分可以由集群中的机器共享。简单来说，ZooKeeper 可以作为...
2018-07-04 09:03:32
298
原创 Hadoop 之 ZooKeeper (一)
Hadoop 之 ZooKeeper本文介绍使用 Hadoop 的分布式协调服务构建通用的分布式应用 —— ZooKeeper。 ZooKeeper 是 Hadoop 分布式协调服务。写分布式应用是比较难的，主要是因为部分失败(partial failure). 当一条消息通过网络在两个节点间发送时，如果发生网络错误，发送者无法知道接受者是否接收到了这条消息。接收者可能在发生网络错误之前...
2018-07-03 10:09:26
576
原创 Hadoop 之管理 Avro
Hadoop 之管理 AvroApache Avro 是一个中立语言的(language-neutral) 数据序列化系统。该项目由 Doug Cutting (the creator of Hadoop) 创建，旨在解决 Hadoop Writables 的主要不足：缺乏语言可移植性。拥有一个可以被多种语言处理的数据格式比只绑定到单一语言上的数据格式更易于与更广泛的应用共享数据集。 A...
2018-07-02 10:51:37
697
原创 Ambari 操作指南 (Ambari Operations) 之六
继 (Ambari 操作指南 (Ambari Operations) 之五 ) 9.2 Ambari 日志搜索 (Ambari Log Search, Technical Preview)下面几节描述 Ambari Log Search 的技术概览(Technical Preview), 只能在少于 150 个节点的非生产环境集群上使用。 9.2.1 Ambari 日志搜索体系结...
2018-06-29 11:34:16
5550
2
原创 Ambari 操作指南 (Ambari Operations) 之五
继 (Ambari 操作 (Ambari Operations) 之四 : https://blog.csdn.net/devalone/article/details/80826036 )9. 使用 Ambari 核心服务 (Using Ambari Core Services)-----------------------------------------------------...
2018-06-28 12:58:52
2750
原创 Ambari 操作指南 (Ambari Operations) 之四
继 (Ambari 操作 (Ambari Operations) 之三 : https://blog.csdn.net/devalone/article/details/80813176 )8 启用服务自动启动 (Managing Alerts and Notifications)-----------------------------------------------------...
2018-06-27 11:04:19
10052
原创 Ambari 操作指南 (Ambari Operations) 之三
继 (Ambari 操作指南 (Ambari Operations) 之二 : https://blog.csdn.net/devalone/article/details/80800262 ) 6 管理配置 (Managing Configurations)可以通过调整配置设置和属性值来优化集群上的 Hadoop 组件的性能。也可以利用 Ambari Web 通过如下方法，...
2018-06-26 11:57:20
3623
原创 Ambari 操作指南 (Ambari Operations) 之二
(继 Ambari 操作指南 (Ambari Operations) 之一 https://blog.csdn.net/devalone/article/details/80781652) 5. 管理服务高可用性 (Managing Service High Availability)Ambari web 提供了向导驱动的用户体验，可以配置一些 Hortonworks Data ...
2018-06-25 12:25:01
5348
原创 Ambari 操作指南 (Ambari Operations) 之一
1. Ambari 操作指南: 概述 (Ambari Operations: Overview)Hadoop 是用在商业主机网络集群上的大规模、分布式的数据存储和处理基础架构。监控和管理如此复杂的分布式系统是不简单的。为了管理这种复杂性，Apache Ambari 从集群节点和服务收集了大量的信息，并把它们表现为容易使用的，集中化的接口：Ambari WebAmbari Web 显示诸如...
2018-06-23 10:47:40
16130
3
原创 Ambari 系统管理 (Ambari Administration) 之二
(继 Ambari 系统管理 (Ambari Administration) 之一： https://blog.csdn.net/devalone/article/details/80769775) 9. 迁移 ZooKeeper Server (Moving the ZooKeeper Server)将 ZooKeeper server 迁移到一部新的主机上步骤： (1...
2018-06-22 10:14:23
1838
原创 Ambari 系统管理 (Ambari Administration) 之一
1. Ambari 系统管理概述 (Ambari Administration Overview)Apache Ambari 可使你能够提供，管理，和监控 Hadoop 集群。如果负责安装和维护 Ambari, 以及通过 Ambari 来管理 Hadoop 集群，应使用本指南。安装 Ambari 创建默认的用户/密码 admin/admin. 这是 Ambari 级系统管理员用户(Am...
2018-06-22 10:10:57
4272
原创 Ambari 2.6.1 构建 Hadoop 集群 ---- CentOS 7
1. 准备 ( Getting Ready )Ambari 为 Hadoop 集群提供了一个端对端的管理和监控方案(end-to-end management and monitoring solution)。利用 Ambari 的 Web UI and REST APIs, 可以在一个中心点部署、操作、管理配置，以及监控集群的所有节点服务。 1.1 确定安装栈兼容性 ( Det...
2018-06-20 12:29:07
3413
原创 Hadoop 系统管理 (Administering Hadoop)
1. HDFS1.1 永久性数据结构（ Persistent Data Structures ）作为管理员，对 HDFS 组件 ———— the namenode, the secondary namenode, and the datanodes 等在磁盘上如何组织它们的持久化数据有一个基本理解是非常重要的。 Namenode 的目录结构（ Namenode direct...
2018-06-19 11:04:36
727
原创 构建 Hadoop 集群
构建 Hadoop 集群 安装选项： 1. Apache tarballs ：The Apache Hadoop project and related projects provide binary (and source) tarballs for each release. 2. Packages ：RPM and Debi...
2018-06-17 10:34:43
621
原创 MapReduce 特性 （ MapReduce Features ）
MapReduce 特性 （ MapReduce Features ）本章讨论 MapReduce 的一些高级特性，包括计数器、排序和链接数据集（ ddatasets）。1 计数器（ Counters ）计数器是收集作业统计信息的有效手段：用于质量控制或应用级别的统计。它们对问题诊断也有帮助。如果冒险用一个日志消息记录 map 或 reduce 任务，最好看看是否能用个计数器替...
2018-06-16 11:04:03
694
原创 Hadoop MapReduce 的类型与格式 （MapReduce Types and Formats）
Hadoop MapReduce 的类型与格式 （MapReduce Types and Formats）1 MapReduce 类型 （MapReduce Types）Hadoop 的 MapReduce 中的 map 和 reduce 函数遵循如下一般性格式： map: (K1, V1) → list(K2, V2) reduce: (K2, list(V...
2018-06-15 11:39:17
1386
原创 Hadoop MapReduce 的工作机制
Hadoop MapReduce 的工作机制1 剖析 MapReduce 作业运行机制可以通过一个简单的方法调用来运行 MapReduce 作业： Job 对象上的 submit() 。也可以调用 waitForCompletion() ，它用于提交以前没有提交过的作业，并等待它的完成。submit() 方法调用封装了大量的处理细节。用于执行的框架通过 mapreduce.frame...
2018-06-14 14:08:18
320
原创 Hadoop 的 I/O 操作
Hadoop 的 I/O 操作Hadoop 自带了一套基本数据类型的数据 I/O . 其中的一些技术比 Hadoop 本身更加通用，例如数据完整性和压缩机制，但当处理多字节 (multiterabyte datasets)数据集时应给予专门的考虑。其他则是 Hadoop 工具或 API ，它们形成开发分布式系统的构件，例如序列化框架（serialization frameworks）和 磁盘...
2018-06-14 11:16:49
626
原创 Hadoop YARN
Hadoop YARNApache YARN (Yet Another Resource Negotiator) 是 Hadoop 集群资源管理系统。YARN 由 Hadoop 2 引入以改进 MapReduce 实现，但它是通用的，足以支持其他分布式计算模型。YARN 为请求提供 API 并与集群资源共同工作，但这些 API 通常不是由用户代码直接使用的。相反，用户使用由其他分布式计...
2018-06-13 15:35:19
907
原创 Hadoop 分布式文件系统 (The Hadoop Distributed Filesystem)
Hadoop 分布式文件系统 (The Hadoop Distributed Filesystem)当一个数据集过度成长为超过一台物理机器的存储能力时，切分它以跨多台台机器分别存储就变得必要了。管理通过网络连接的多台机器存储的文件系统称为分布式文件系统(distributed filesystems)。因为它们是基于网络的，带来了网络编程所有的复杂性，因而使分布式文件系统比常规的磁盘文件系统...
2018-06-12 11:14:17
1478
原创 Java 类加载机制与反射
Java 类加载机制与反射1.1 JVM 和类当调用 java 命令运行某个 Java 程序时，该命令将会启动一个 Java 虚拟机进程，不管 Java 程序有多么复杂，该程序启动了多少个线程，它们都处于该 Java 虚拟机进程里。同一个 JVM 的所有线程、所有变量都处于同一个进程里，它们都使用该 JVM 进程的内存区域。 当系统出现以下几种情况时， JVM 进程将被终...
2018-06-11 17:16:54
327
原创 Java 网络编程
Java 网络编程1 网络编程基础知识2 Java 的基本网络支持Java 为网络支持提供了 java.net 包，该包下的 URL 和 URLConnection 等类提供了以编程方式访问 web 服务的功能，URLEncoder , URLDecoder 提供了普通字符串和 application/x-www-form-urlencoded MIME 字符串相互转换的静态方法...
2018-06-11 13:21:41
322
2
原创 Java I/O (输入/输出)
Java I/O (输入/输出)I/O（输入输出） 使用输入机制，允许程序读取外部数据（包括来自磁盘、光盘等存储设备的数据）、用户输入的数据 使用输出机制，允许程序记录运行状态，将程序数据输出到磁盘、光盘等存储设备中 Java 的 I/O 通过 java.io 包下的类和接口支持。 java.io 包下主要包括输入、输出两种 IO 流，每种输入、输出流又分...
2018-06-08 11:17:39
500
原创 Java 8 的 Lambda 表达式
Java 8 的 Lambda 表达式Lambda 表达式是 Java 8 的重要更新，也是一个被广大开发者期待已久的新特性。 Lambda 表达式支持将代码块作为方法参数， Lambda 表达式允许使用更简洁的代码来创建只有一个抽象方法的接口的实例。这种接口被称为函数式接口。Lambda 表达式完全可以用于简化创建匿名内部类对象。public class CommandTest2{...
2018-06-07 11:46:11
275
原创 Java 泛型
Java 泛型JDK 5 增加泛型支持在很大程度上都是为了让集合能记住其元素的数据类型。Java 5 以后，Java 引入了 “参数化类型 (parameterized type)” 的概念， Java 的参数化类型被称为泛型 ( Generic )public class GenericList{ public static void main(String[] args)...
2018-06-06 18:36:14
236
原创 Java Annotation ( 注解 )
Java Annotation ( 注解 )JDK 5 开始， Java 增加了对元数据 (MetaData) 的支持，也就是 Annotation (注解) 。Annotation 其实是代码里的特殊标记，这些标记可以在编译、类加载、运行时被读取，并执行相应的处理。 通过使用注解，开发人员可以在不改变原有逻辑的情况下，在源文件中嵌入一些补充信息。代码分析工具、开发工具和部署工具可以...
2018-06-06 10:39:09
318
原创 CentOS 7 搭建企业内网 DNS 服务器
CentOS 7 搭建企业内网 DNS 服务器在大型企业中经常要搭建自己的内部网络，在企业内部搭建内部 web 服务器，文件服务器，邮件发送服务器，大数据集群等，使用默认的路由器所提供的公网 DNS 服务器就达不到想要的效果，就需要在企业内部搭建一台 DNS 服务器，使其能解析内部私有网络地址，又能解析外网的公网地址。 1. DNS 相关概念Domain Name System...
2018-06-05 13:37:44
7578
原创 CentOS 7 防火墙 Firewalld
CentOS 7 防火墙 FirewalldCentOS 7 与 RHEL 7 系统中集成了多款防火墙管理工具，其中firewalld（Dynamic Firewall Manager of Linux systems，Linux系统的动态防火墙管理器）服务是默认的防火墙配置管理工具，它拥有基于CLI（命令行界面）和基于GUI（图形用户界面）的两种管理方式。查看 firewalld 服...
2018-06-04 13:33:10
1186
原创 Linux 文件服务器： NFS 服务器
Linux 文件服务器： NFS 服务器1. NFS 功能NFS 是一个通过网络分享文件系统的服务，它最大的问题在于“权限” 方面的概念，因为客户端和服务器端可能必须具备相同的帐号才能够存取某些目录或文件。另外， NFS 的启动需要通过远程过程调用 (RPC)。 1.1 NFS (Network FileSystem) 网络文件系统 -----------------...
2018-06-04 12:09:49
805
原创 CentOS 7 软件安装 —— 用 alternatives 命令安装多个版本的 JDK
CentOS 7 软件安装 —— 用 alternatives 命令安装多个版本的 JDK由于 RHEL/CentOS/Fedora/ 默认使用 OpenJDK，由于很多开源软件默认使用到它，移除多少会出现问题。 即使装了Oracal JDK 也会出现包 Oracal JDK 不存在的问题。但与使用 Windows 开发的伙伴们协同开发，并且使用 OpenJDK 开发 Java EE 经常会出...
2018-06-04 11:04:08
5169
原创 远程联机服务 SSH/VNC
远程联机服务 SSH/VNC 1 文本接口联机服务器： SSH 服务器SSH（Secure Shell）是一种能够以安全的方式提供远程登录的协议，也是目前远程管理Linux系统的首选方式。想要使用SSH协议来远程管理Linux系统，则需要部署配置sshd服务程序。sshd是基于SSH协议开发的一款远程管理服务程序，不仅使用起来方便快捷，而且能够提供两种安全验证的方法： ...
2018-06-02 18:54:41
894
原创 Linux 网络基础 (CentOS 7)
1. Linux 连上 Internet 前的注意事项想要连上 Internet 你得要设定一组合法的 IP 参数才可以，主要是 IP, Netmask, Gateway, DNS IP 以及主机名等。1.1 Linux 的网卡 □ 认识网卡的装置代号 ----------------------------------------------------...
2018-06-02 13:15:20
1485
原创 Linux 磁盘与文件系统管理
Linux 磁盘与文件系统管理各种接口的磁盘在 Linux 中的文件名分别为： ● /dev/sd[a-p][1-15]：为SCSI, SATA, USB, Flash 等接口磁盘文件名； ● /dev/hd[a-d][1-63]：为 IDE 接口的磁盘文件名； 1. 认识文件系统查看 Linux 支持哪些文件系统，查看如下目录： [root@w...
2018-06-01 12:15:49
238
原创 Linux 帐号管理
1. Linux 帐号与用户组 2. Linux 帐号管理 2.1 新增与删除用户：useradd, useradd 相关配置文件, passwd, chage, usermod, userdel ■ 使用 useradd 新建用户帐号 useradd - 创建一个新用户或更新默认新用户信息 用法： useradd [-u UID] [...
2018-05-30 17:57:33
1218
apache_hbase_reference_guide_1.1.2
2018-06-14
HBase in Action
2018-06-13
gnu parted 用户指南
2018-06-08
HBase 权威指南第二版预发布版
2018-06-08
Apache Ambari 2.6.1.5 安全性指南
2018-06-07
Apache Ambari 2.6.1.5 操作指南
2018-06-06
Apache Ambari 2.6.1.5 系统管理
2018-06-05
Hadoop 权威指南第3版中文版注解
2018-06-02
hadoop 2.9.0 mapred-default.xml 属性集
2018-06-02
hadoop 2.9.0 yarn-default.xml 属性集
2018-06-02
hadoop 2.9.0 hdfs-default.xml 属性集
2018-06-01
Hadoop 2.9.0 core-default.xml 属性集
2018-05-30
Decoda_自编译.zip
2020-05-21
lua-5.3.5.zip
2020-04-13
lua-5.1.5.zip
2020-04-13
elasticsearch-analysis-pinyin-7.3.1.zip
2019-08-26
elasticsearch-analysis-pinyin-7.3.0.zip
2019-08-26
elasticsearch-analysis-pinyin-7.2.1.zip
2019-08-26
elasticsearch-analysis-pinyin-7.2.0.zip
2019-08-26
elasticsearch-analysis-pinyin-7.1.0.zip
2019-08-22
elasticsearch-analysis-pinyin-7.1.1.zip
2019-08-22
elasticsearch-analysis-pinyin-7.0.1.zip
2019-08-22
ambri_hdp 完全卸载脚本
2018-08-01
sonar-ant-task-2.2.jar.zip
2018-07-20
sonar-ant-task-2.1.jar.zip
2018-07-20
Elasticsearch Server - Third Edition.pdf
2018-06-17
HBase 基本原理
2018-06-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人