半肉哥-CSDN博客

原创 shell脚本专家指南笔记#7_非直接引用变量

## # 本文为《shell脚本专家指南》一书的学习笔记。 ## 7. 非直接变量直接变量的概念明确知道变量的名字，可以不先知道变量的值。创建直接变量的三种方式。直接赋值。 # a=b 存储一个命令的输出。 # a=`echo b` 存储某些类型的计算结果。 # a=$(( 1 + 2 )) 非直接变量的概念 ...

2018-12-19 16:43:26 174

原创 shell脚本专家指南笔记#6_测试变量和设置默认值

## # 本文为《shell脚本专家指南》一书的学习笔记。 ## 6. 测试变量和设置默认值 6.1. 设置默认值设置变量默认值的几种形式，复杂程度递减。 # if [ -z "$var" ]; then var="default" fi # [-z "$var" ] && var="default" # ...

2018-12-18 12:37:40 156

原创 shell脚本专家指南笔记#5_接受命令行选项_开关_参数

## # 本文为《shell脚本专家指南》一书的学习笔记。 ## 5.接受命令行选项_开关_参数原文示例有两部分值得借鉴的内容： 1. app的目录布局； 2. getopts的用法。 app的目录布局 /usr/local/apphome /usr/local/apphome/myapp-1.2.3 /usr/local/apphome/myapp...

2018-12-17 17:15:04 174

原创 shell脚本专家指南笔记#4_比较和测试

## # 本文为《shell脚本专家指南》一书的学习笔记。 ## 4. 比较和测试通用形式 if [ "$string" = "some_string" ]; then ... if [ $integer -eq 15 ]; then ... 注意双引号 "" 的使用，原文说明比较模糊，后来我做了测试。在test 和 [] 中，如果$a中a未定义，不加双引号，会导致...

2018-12-17 13:41:41 124

原创 shell脚本专家指南笔记#3.日期和时间操作

## # 本文为《shell脚本专家指南》一书的学习笔记。 ## 3.1. 用天数来计算日期 unix和linux以1970年1月1日0时0分开始计算时间，也就是所谓的时间戳，单位是秒。在系统中，可以使用 date +'%s' 来查看。严格来讲，系统的起止时间是以零时区开始计算的。比如，一般我们系统的时区为东八区(+8)，故使用 date -...

2018-12-14 17:57:45 201 1

原创 shell脚本专家指南笔记#2.使用函数库

## # 本文为《shell脚本专家指南》学习笔记。 ## 2.1. 使用库可以将常用函数，封装如库文件中，在需要用对应函数时，只要导入对应库文件即可。示例：通过导入库文件，就可以引用已写好的函数。比如，导入OSTYPE环境变量。 #!/bin/echo WARN: this library should be sourced! # ostype(): import OSTYPE va...

2018-12-14 10:44:48 158

原创 shell脚本专家指南笔记#1.shell脚本错误检测

## # 本文为《shell脚本专家指南》一书的学习笔记。 ## 1.1. shell跟踪使用set -x和set -v。仅在当前脚本生效。 set -x # 打开代码跟踪。个人理解为，显示当前执行的代码。 set +x # 关闭代码跟踪。 set -v # 打开代码冗余。个人理解为，显示当前走过的代码(不一定执行)。 set +v # 关闭代...

2018-12-13 18:10:59 717

原创编译hadoop并获取native

文档说明该文档为完成编译后，根据印象编写，并未经过重新编译测试，大体步骤应该没错，如有错误，望指正。编译的最初目的，是为了获取合适的native包，并且检测手动编译的native包和自带的native包有何差别。编译的版本为apache-hadoop-2.7.6和hadoop-2.6.0-cdh5.5.0。编译说明源码中会有一个 BUILDING.txt...

2018-12-12 19:14:18 1359

原创希尔排序#demo

public class ShellSort { public static void main(String[] args) throws Exception { int[] numbers = ArrayTools.getRandomInts(9, -5, 5, true); ArrayTools.printInts(numbers); ...

2018-12-10 15:41:21 104

原创插入排序Demo

public class InsertSort { public static void main(String[] args) throws NumberWrongException { int[] numbers = ArrayTools.getRandomInts(7, -9, 9); ArrayTools.printInts(numbers); ...

2018-11-30 20:44:23 108

原创 java-快速排序Demo

public class QuickSort { public static void main(String[] args) throws NumberWrongException { int[] numbers = ArrayTools.getRandomInts2(7, -9, 9); ArrayTools.printInts(numbers); ...

2018-11-29 00:37:02 231 1

原创冒泡/选择排序Demo

冒泡排序 public static void main(String[] args) throws Exception { int[] numbers = ArrayTools.getRandomInts2(7, -9, 9); ArrayTools.printInts(numbers); bubbleSort(numbers); ...

2018-11-27 21:19:31 112

原创随机生成int数组Demo//ArrayTools

Demo1 /** * @param length * @param start * inclusive. * @param end * exclusive. * @return * @throws NumberWrongException */ public s...

2018-11-23 11:17:39 258

翻译 hadoop-2.7.4-翻译文档-viewFS指南

介绍视图文件系统（ViewFs）提供了一种方法来管理多个Hadoop文件系统名字空间（或名字空间卷）。这种方法对于拥有多个名称节点和名字空间卷的联邦HDFS特别有用。ViewFs类似于Unix / Linux系统中的客户端挂载表。ViewFs可用于创建个性化的名字空间视图以及每个群集的通用访问。本指南在具有多个集群的Hadoop系统上下文中呈现，每个集群可以联合到多个命名空间中。它还描

2017-09-27 09:31:09 446

翻译 hadoop-2.7.4-翻译文档-联邦HDFS

HDFS联盟 HDFS联盟背景多个Namenodes /命名空间主要优点联合配置组态：格式化Namenodes从旧版本升级并配置联盟将新的Namenode添加到现有的HDFS集群管理集群启动和停止集群平衡器退役群集Web控制台本指南概述了HDFS联合功能以及如何配置和管理联合集群。背景 HDFS有两个主要层：命名空间

2017-09-25 09:16:33 503

翻译 hadoop-2.7.4-翻译文档-机架感知

机架感知 Hadoop组件具有机架感知功能。例如，HDFS通过机架感知来将块副本放在不同的机架上，从而提高容错。在群集中发生网络交换机故障或进行分区时，可提供数据可用性。 Hadoop主守护进程通过调用由配置文件指定的外部脚本或java类来获取群集从站的机架ID。使用java类或外部脚本进行拓扑，输出必须遵守java org.apache.hadoop.net.DNSToSwitchMappi

2017-09-23 16:03:57 415

翻译 hadoop-2.7.4-翻译文档-resourcemanager高可用

ResourceManager高可用性介绍本指南概述了YARN的ResourceManager的高可用性，并详细介绍了如何配置和使用此功能。ResourceManager（RM）负责跟踪群集中的资源，并调度应用程序（例如MapReduce作业）。在Hadoop 2.4之前，ResourceManager在YARN集群中存在单点故障。高可用性功能以active/standby rm

2017-09-23 10:51:23 734

翻译 hadoop-2.7.4-翻译文档-QJM高可用

HDFS高可用(QJM) 本指南概述了HDFS高可用性（HA）功能以及如何使用Quorum Journal Manager（QJM）功能配置和管理HA HDFS集群。本文档假设读者对HDFS集群中的一般组件和节点类型有一般的了解。有关详细信息，请参阅分布式集群部署。本指南讨论如何使用Quorum Journal Manager（QJM）配置和使

2017-09-22 17:39:20 325

原创 hadoop-2.7.4-nodemanager无法启动问题解决方案

近期新配了hadoop-274版本的集群，发现有一个小问题，DataNode无法顺利启动。问题日志如下： resourcemanager_log 2017-09-20 03:54:24,165 INFO org.apache.hadoop.yarn.server.resourcemanager.ResourceTrackerService: NodeManager from ub

2017-09-20 21:15:07 3309 2

翻译 hadoop-2.7.4-翻译文档-分布式集群搭建

安装安装Hadoop集群通常需要在集群中的所有机器上进行统一安装，或者通过适合目标操作系统的打包系统进行安装。安装的要点是对不同的节点分配不同的功能。通常，集群中的一台机器被指定为NameNode，另一台机器被指定为ResourceManager。这些是主人(master)。其他服务（例如Web App Proxy Server和MapReduce作业历史记录服务器）通常根据负载在专用硬件或

2017-09-18 19:42:15 504

翻译 hadoop-2.7.4-翻译文档-集群部署

准备JDK。 SSH。下载hadoop-2.7.4.tar.gz 本地模式1.tar开hadoop包$>tar -zxvf hadoop-2.7.4.tar.gz 2.配置环境变量[etc/environment] PATH=...:hadoop_path/bin:hadoop_path/sbin HADOOP_HOME=hadoop_path 3.验证安装$>hadooop 伪分

2017-09-18 16:11:40 561

原创 JDK下载

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传 LaTex数学公式 UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

2017-09-17 20:43:51 348

原创选用英文字体输入中文自动选用中文字体相关

关于字体选择，选择支持中文的字体会节省很多精力，但是有时追求美观或者个人爱好等因素，促使我们选择其他字体，有时会有如下问题。系统记事本，如果采用consolas字体，中文显示有能会为'?'。修复方法：格式-字体-脚本，选择非“西欧语言”的其他选项，可以自动使用系统默认中文字体来替代英文字体中的中文部分。效果如下。如此，即可在系统记事本中使用如consolas

2017-09-15 21:32:45 777

anyuzun的博客