- 博客(27)
- 资源 (43)
- 收藏
- 关注
RSS订阅原创 Linux shell 脚本编程-基础篇 （四）
继 Linux shell 脚本编程-基础篇 （三） 4. 处理用户输入脚本还得能够与使用者进行交互。bash shell 提供了一些不同的方法来从用户处获得数据，包括命令行参数（添加在命令后的数据）、命令行选项（可修改命令行为的单个字母）以及直接从键盘读取输入的能力。 4.1 命令行参数-----------------------------------------...
2018-07-31 13:56:42
604
原创 Linux shell 脚本编程-基础篇 （三）
继 Linux shell 脚本编程-基础篇 （二） 3. 更多的结构化命令 3.1 for 命令重复执行一系列命令在编程中很常见。通常需要重复一组命令直至达到某个特定条件，比如处理某个目录下的所有文件、系统上的所有用户或是某个文本文件中的所有行。bash shell 提供了 for 命令，允许创建一个遍历一系列值的循环。每次迭代都使用其中一个值来执行已定义好的一组命令。下面...
2018-07-28 09:38:10
1750
原创 Linux shell 脚本编程-基础篇 （二）
继 Linux shell 脚本编程-基础篇 （一）2. 使用结构化命令许多程序要求对 shell 脚本中的命令施加一些逻辑流程控制。有一类命令会根据条件使脚本跳过某些命令。这样的命令通常称为结构化命令（structured command）。结构化命令允许改变程序执行的顺序。 2.1 使用 if-then 语句---------------------------------...
2018-07-27 16:49:55
1168
原创 Linux shell 脚本编程-基础篇 （一）
1. 构建基本脚本1.1 使用多个命令shell 脚本的关键在于输入多个命令并处理每个命令的结果，甚至需要将一个命令的结果传给另一个命令。shell可以让将多个命令串起来，一次执行完成。如果要两个命令一起运行，可以把它们放在同一行中，彼此间用分号隔开。 [root@devalone testdir]# date; who 2018年 07月 04日 星期三 19:56...
2018-07-26 10:31:18
2699
1
原创 走进 Linux shell （三）
继 走进 Linux shell （二） 7. 理解 Linux 文件权限Linux 沿用了 Unix 文件权限的办法，即允许用户和组根据每个文件和目录的安全性设置来访问文件。 7.1 Linux 的安全性Linux 安全系统的核心是用户账户。每个能进入 Linux 系统的用户都会被分配唯一的用户账户。用户对系统中各种对象的访问权限取决于他们登录系统时用的账户。用户权限是通过...
2018-07-25 10:44:11
203
原创 走进 Linux shell （二）
继 走进 Linux shell （一）5. 理解 shell 5.1 shell 的类型系统启动什么样的shell程序取决于个人的用户 ID 配置。在 /etc/passwd 文件中，在用户 ID 记录的第 7 个字段中列出了默认的 shell 程序。只要用户登录到某个虚拟控制台终端或是在 GUI 中启动终端仿真器，默认的 shell 程序就会开始运行。 [devalon...
2018-07-24 10:20:38
1039
原创 HBase 客户端类型 （四）
继 HBase 客户端类型 （三）5.HBase Web-based UIHBase 提供了基于 web 的用户接口(UI), 利用此接口，可以观察集群的状态及其所存储的表。大多数功能时只读的，但也有几个选择性操作可以通过 web UI触发。另一方面，可以通过 metrics 可以获取非常详细的信息。可以在各种 UI 组件间导航，快速获取当前状态，包括内存使用，region 的数量，缓存效...
2018-07-23 09:21:55
1954
原创 HBase 客户端类型 （三）
继 HBase 客户端类型 （二） 4. HBase Shell 交互接口HBase shell 是 HBase 集群的命令行接口。可以使用它连接到本地或远程服务器并与之交互。shell 提供了客户端和系统管理操作。 4.1 基础 (Basics)-----------------------------------------------------------------...
2018-07-21 10:34:01
3192
原创 HBase 客户端类型 （二）
继 HBase 客户端类型 （一） 3. Framework Clients---在更直接的网关客户端之后，现在要讨论第二类客户端，将它们统称为框架(framework)。这类客户端提供了更高级的抽象，一般使用 domain specificlanguage (DSL) 的形式。包括，例如 SQL, 关系数据库系统与外部客户端的混合用语(lingua franca)，以及 MapRed...
2018-07-20 09:32:40
898
原创 HBase 客户端类型 （一）
HBase 自带了很多用于各种编程语言客户端。 1. 介绍 (Introduction)----------------------------从目前非常流行的语言和环境可以访问 HBase。可以直接使用客户端 API, 或者通过一些中间代理访问，将用户请求翻译成 API 调用。这些代理将原生的Java API 包装成其它协议的 API，这样客户端就可以使用这些对外提供的 API 以...
2018-07-19 11:10:33
3480
原创 走进 Linux shell （一）
1. GNU/Linux shellGNU/Linux shell是一种特殊的交互式工具。它为用户提供了启动程序，管理文件系统的文件，以及管理运行在 Linux 系统上的进程的途径。shell 的核心是命令行提示符。命令行提示符是 shell 负责交互的部分，它允许输入文本命令，然后解释命令，并在内核中执行。shell 包含了一组内部命令，用这些命令可以完成诸如复制文件，移动文件，重命...
2018-07-19 10:37:44
611
原创 HBase 管理 API: HBaseAdmin (HBase DDL)
类似于客户端 API, HBase 也有用于管理任务的 API。管理 API 与 RDBMS 的 Data Definition Language (DDL) 类似，而客户端 API 更类似于 Data Manipulation Language (DML).管理 API 提供了各种数据管理操作功能：通过列族创建表，检查表是否存在，修改表和列族定义，删除表等等。下面将其提供的功能按操作相关性分...
2018-07-18 14:33:10
5141
原创 HBase 模式定义 (Schema Definition)
在 HBase 中创建一个表包括表模式(table schema)的定义, 以及所包含的列族的模式(schemas for all contained column families). 它们定义了如何，以及何时存储表和列的数据。在更高级别上，每个表是一个名称空间(namespace)的一部分。1.1 名称空间 (Namespaces)--------------------------...
2018-07-17 15:21:22
6176
原创 HBase 协处理器 (二)
继 HBase 协处理器 (一) 3.7 The RegionObserver Class用于 region level, 注意，这个类的所有调用方法的第一个参数为 ObserverContext<RegionCoprocessorEnvironment> ctx8, 提供访问 context 实例。操作可以被划分为两组： region 生命周期变化和客户端 API...
2018-07-14 17:57:01
1113
原创 HBase 协处理器 (一)
之前讨论了如何利用过滤器来降低从服务器端到客户端发送的数据量。利用 HBase 的协处理器特性，用户甚至可以将一部分计算移到数据所在的机器上。3.1 协处理器简介 (Introduction to Coprocessors)利用客户端 API, 配合特定的选择器机制，如果过滤器，或列族作用域，可以限制传输到客户端的数据。如果可以更进一步优化会更好，例如，数据的处理直接放到服务器端执行，然...
2018-07-14 15:45:23
1794
原创 HBase 计数器 (Counters)
HBase 提供了一个高级特性：计数器(counter)。很多收集统计信息的应用，例如在线广告的单击或查看统计，将这些数据收集到日志文件中用于后期的分析。利用计数器提供的实时统计，从而放弃延时较高的批处理操作。2.1 计数器简介 (Introduction to Counters)--------------------------------------------------------...
2018-07-13 14:21:28
2099
原创 HBase 过滤器 （二）
继 HBase 过滤器 （一）1.3 专用过滤器 (Dedicated Filters)----HBase 提供的第二类过滤器直接基于 FilterBase 并实现了更特定的应用场景。其中的很多过滤器事实上只适用于执行扫描操作时，因为它们过滤整个行。对于 get() 调用，这些过滤器的限制过于苛刻：包括所有行，后者什么也不包括。 ■ 前缀过滤器 (PrefixFilter)...
2018-07-12 15:47:24
2045
1
原创 HBase 过滤器 （一）
HBase 过滤器(filters) 提供了非常强大的功能来帮助用户提高其处理表中数据的效率。用户不仅可以使用 HBase 中预定义好的过滤器，而且可以实现自定义的过滤器。1.1 过滤器介绍 (Introduction to Filters)HBase 中两种主要的读取功能是 Table.get() 和 Table.scan(), 这两种方法或者直接访问数据，或者使用起始和结束键。可以通过...
2018-07-11 10:07:03
982
原创 HBase CRUD 操作指南 (三)
继 HBase CRUD 操作指南 (二) 4 批处理操作 (Batch Operations)之前介绍的 API 都是应用到单一行上的操作。本节介绍另外一些 API 调用，这些调用可以批量处理跨多行的不同操作。 NOTE: --------- 事实上，许多基于列表的操作，如 delete(List<Delete> deletes) 或 get...
2018-07-10 09:40:13
1810
原创 HBase CRUD 操作指南 (二)
继 HBase CRUD 操作指南 (一) 3. CRUD 操作 (CRUD Operations)数据库的初始基本操作通常称为 CRUD (create, read, update, and delete), 指的是 增、查、改、删四种操作。HBase 中有与之对应的的一组操作，由Table interface 接口提供。 public interface Table ...
2018-07-09 09:52:30
2488
原创 HBase CRUD 操作指南 (一)
1 概述 (General Notes)HBase 的主要客户端入口点是 org.apache.hadoop.hbase.client 包的 Table interface. 该接口为用户提供了向 HBase 存储和获取数据全部必须的功能，以及删除无效数据之类的操作。它通过 Connection 实例建立与 HBase 服务器连接。不过，在讨论这些类提供的各种方法之前，让我们了解一些这些用法...
2018-07-08 11:02:01
755
原创 HBase 安装 (Installation)
本文所有描述内容假设已经安装了 Java Runtime Environment (JRE)。 Hadoop 和 HBase 要求至少为 Java 7 版本，并且建议使用 Oracle Java。本文所有描述内容为 HBase 原生安装(native)，即使用 HBase 发布软件包安装。如果要了解通过工具安装和管理 HBase，参考另两篇文章： Ambari 2.6.1 构建 Had...
2018-07-07 09:51:20
300
原创 HBase 简介 (Introduction)
HBase: The Hadoop Database1.1 海量数据的黎明 (The Dawn of Big Data) 对于海量数据的重要性， Ralph Kimball 博士指出： "数据资产会取代 20 世纪传统有形资产的地位，成为资产负债表的重要组成部分。" "数据的价值已经超越了传统企业广泛认同的价值边界。" 列式存储数据库 (Column-Oriente...
2018-07-06 10:46:18
287
原创 Hadoop 之关于 HBase
1. HBase 基础 HBase 是构建于 HDFS 之上的面相列分布式数据库。如果要求实时的随机访问(读/写)大规模数据集，就可以使用 HBase 这一 Hadoop 应用。虽然数据库的存储和检索有很多不同的策略和实现，但大多数解决方案 ———— 特别是许多关系型数据库的变种 ———— 它们不是构建于大规模和分布式思想。很多厂商提供复制和分区解决方案来将数据库从单个节点边界扩展出去...
2018-07-05 10:40:28
661
原创 Hadoop 之 ZooKeeper (二)
继 Hadoop 之 ZooKeeper (一) 4. 使用 ZooKeeper 构建应用 (Building Applications with ZooKeeper)4.1 一个配置服务 (A Configuration Service) 分布式应用所需要的基本服务之一是配置服务，它使配置信息中那些公共的部分可以由集群中的机器共享。简单来说，ZooKeeper 可以作为...
2018-07-04 09:03:32
288
原创 Hadoop 之 ZooKeeper (一)
Hadoop 之 ZooKeeper本文介绍使用 Hadoop 的分布式协调服务构建通用的分布式应用 —— ZooKeeper。 ZooKeeper 是 Hadoop 分布式协调服务。写分布式应用是比较难的，主要是因为部分失败(partial failure). 当一条消息通过网络在两个节点间发送时，如果发生网络错误，发送者无法知道接受者是否接收到了这条消息。接收者可能在发生网络错误之前...
2018-07-03 10:09:26
559
原创 Hadoop 之管理 Avro
Hadoop 之管理 AvroApache Avro 是一个中立语言的(language-neutral) 数据序列化系统。该项目由 Doug Cutting (the creator of Hadoop) 创建，旨在解决 Hadoop Writables 的主要不足：缺乏语言可移植性。拥有一个可以被多种语言处理的数据格式比只绑定到单一语言上的数据格式更易于与更广泛的应用共享数据集。 A...
2018-07-02 10:51:37
683
apache_hbase_reference_guide_1.1.2
2018-06-14
HBase in Action
2018-06-13
gnu parted 用户指南
2018-06-08
HBase 权威指南第二版预发布版
2018-06-08
Apache Ambari 2.6.1.5 安全性指南
2018-06-07
Apache Ambari 2.6.1.5 操作指南
2018-06-06
Apache Ambari 2.6.1.5 系统管理
2018-06-05
Hadoop 权威指南第3版中文版注解
2018-06-02
hadoop 2.9.0 mapred-default.xml 属性集
2018-06-02
hadoop 2.9.0 yarn-default.xml 属性集
2018-06-02
hadoop 2.9.0 hdfs-default.xml 属性集
2018-06-01
Hadoop 2.9.0 core-default.xml 属性集
2018-05-30
Decoda_自编译.zip
2020-05-21
lua-5.3.5.zip
2020-04-13
lua-5.1.5.zip
2020-04-13
elasticsearch-analysis-pinyin-7.3.1.zip
2019-08-26
elasticsearch-analysis-pinyin-7.3.0.zip
2019-08-26
elasticsearch-analysis-pinyin-7.2.1.zip
2019-08-26
elasticsearch-analysis-pinyin-7.2.0.zip
2019-08-26
elasticsearch-analysis-pinyin-7.1.0.zip
2019-08-22
elasticsearch-analysis-pinyin-7.1.1.zip
2019-08-22
elasticsearch-analysis-pinyin-7.0.1.zip
2019-08-22
ambri_hdp 完全卸载脚本
2018-08-01
sonar-ant-task-2.2.jar.zip
2018-07-20
sonar-ant-task-2.1.jar.zip
2018-07-20
Elasticsearch Server - Third Edition.pdf
2018-06-17
HBase 基本原理
2018-06-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人