2014年08月_maixia24

10月 09月 08月 07月 06月 03月 02月 01月

原创 linux基础只是之awk命令使用，统计最大长度

scan 'shortUrl',{COLUMN=>['su:customerId','su:postId'], LIMIT=>10}echo "scan 'foo'" | ./hbase shell > myTextecho "scan 'registration',{COLUMNS=>'registration:status'}" | hbase shell | grep "^ "

2014-08-28 22:43:59 8411

原创 hadoop管理

打开回收站功能： fs.trash.interval 1440 fe

2014-08-27 11:57:17 528

原创 Hbase扫描

scan.setStartRow(msisdn.getBytes());scan.setStopRow((msisdn + "~").getBytes());这样可以指定扫描

2014-08-14 11:10:08 797

原创 linux系统学习之awk命令

echo "scan 'shortUrl',{COLUMN=>['su:customerId','su:postId']}" | ./hbase shell > myText将Hbase表数据输出到文件中awk '{print $1,substr($4,7)}' myText | awk '{if (NR%2==0){print " "$2} else {printf $0}}'

2014-08-11 20:08:41 634

原创 Hbase 数据导出到文件中

echo "scan 'foo'" | ./hbase shell > myTextecho "scan 'registration',{COLUMNS=>'registration:status'}" | hbase shell | grep "^ " > registration.txt

2014-08-07 10:42:14 15766 5

原创 hadoop知识之counter

在mapper中context.getCounter("errorLines", "mapShortUrl").increment(1);

2014-08-06 14:01:37 666

原创 hadoop知识之Datanode 目录结构

${dfs.data.dir}/└── current/├── VERSION├── blk_├── blk_.meta├── blk_├── blk_.meta├── ...├── blk_├── blk_.meta├── subdir0/├── subdir1/├── ...└── subdir63/

2014-08-06 11:01:36 1437

原创 hadoop之Secondary namenode目录结构

${fs.checkpoint.dir}/├── current/│ ├── VERSION│ ├── edits│ ├── fsimage│ └── fstime└── previous.checkpoint/├── VERSION├── edits├── fsimage└── fstime

2014-08-06 10:44:16 1278

原创 hadoop知识之fsimage和editlog

fsimage：filesystem image 的简写，文件镜像。

2014-08-06 10:02:10 10546

HA是分布式系统的必要属性。如果没有HA，其实系统是不可用的。那么如果实现HA？对于Storm来说，它认为Master节点Nimbus是无状态的，无状态意味着可以快速恢复，因此Nimbus并没有实现HA（不知道以后的Nimbus是否会实现HA，实际上使用ZooKeeper实现节点的HA是开源领域的通用做法）。为什么说Nimbus是无状态的呢？因为集群所有的元数据都保存到了ZooKeeper（ZK）

2014-08-05 23:18:17 1264

原创 linux学习之目录结构

/bin 二进制所有用户使用/sbin 二进制为guanl

2014-08-05 22:38:04 560

原创 mr任务之从多个Hbase表中读取数据进行处理

从两个不同的Hbase表中读取数据：

2014-08-05 16:28:42 5198 2

原创 hadoop知识整理之hadoop管理

namenode在硬盘上管理数据的方式：

2014-08-05 09:45:45 576

原创 linux系统学习之cd ,ls常用命令

cd ~ username切换到username 目录下

2014-08-04 00:21:35 622

原创 linux系统学习之date命令

datedate +%H显示当前几点date +S显示miao

2014-08-03 17:37:24 584

原创 linux系统学习之man命令

man命令具有章节概念1 用户命令2系统调用3

2014-08-03 17:00:45 509

原创 linux系统学习之命令

printenv命令：输出当前环境的环境变量

2014-08-03 16:38:34 405

原创 linux基础知识之shell(2)

linux 守护进程(daemon)即windows下的服务

2014-08-03 12:39:44 529

原创 linux基础知识之shell编程

shell具有编程的能力，即支持 if case等语句，将shell命令

2014-08-02 23:13:26 407

原创 linux基础知识

vmware虚拟机安装网络连接方式:桥接物理机有自己的网卡，虚拟ji

2014-08-02 23:03:23 437

原创版本管理工具之svn

1 svn 安装是客户端命令方式 ui 界面是第三方插件

2014-08-02 20:10:11 467

原创 maven使用

1 下载安装mave 配置环境变量2配置仓库文件 settings.xml 3个地方第一本地仓库位置第二两个地址第一个是构建第二个是插件第三激活开发模式3 新建 maven 工程4maven 插件及其目标能够完成多个任务例如：dependecy:tree

2014-08-02 10:33:59 462

原创 java基础知识之内部类

内部类的访问规则：1，内部类可以直接访问外部类中的成员，包括私有。之所以可以直接访问外部类中的成员，是因为内部类中持有了一个外部类的引用，格式外部类名.this2，外部类要访问内部类，必须建立内部类对象。访问格式：1,当内部类定义在外部类的成员位置上，而且非私有，可以在外部其他类中。可以直接建立内部类对象。格式外部类名.内部类名变量名 = 外部类对象.内部

2014-08-02 00:29:10 550

原创 java基础知识异常

System.out.println(e.toString());// 异常名称：异常信息。e.printStackTrace();//异常名称，异常信息，异常出现的位置。//其实jvm默认的异常处理机制，就是在调用printStackTrace方法。//打印异常的堆栈的跟踪信息。

2014-08-02 00:16:57 516

原创 java基础知识之继承

继承：特点：1，提高了代码的复用性。2，让类与类之间产生关系，是多态性的前提。Java中的继承。1，java只支持单继承，不支持多继承。为啥呢？答案：因为继承了多个父类如果有相同方法时，子类对象不确定运行哪一个。2，Java还支持多层继承。A-->B--->C 原来可以形成继承体系。想要使用体系功能，"查阅父类功能，建立子类对象调用功能。"注解：父类的

2014-08-01 23:55:53 454

原创 java基础知识之接口

接口：初期理解，可以认为是一个特殊的抽象类当抽象类中的方法都是抽象的，那么该类可以通过接口的形式来表示。class用于定义类interface 用于定义接口。接口定义时，格式特点：1，接口中常见定义：常量，抽象方法。2，接口中的成员都有固定修饰符。常量：public static final方法：public abstract 记住：接口中的成员都是publ

2014-08-01 23:34:08 464

原创 java基础知识之构造函数

子父类中的构造函数。在对子类对象进行初始化时，父类的构造函数也会运行，那是因为子类的构造函数默认第一行有一条隐式的语句 super();super():会访问父类中空参数的构造函数。而且子类中所有的构造函数默认第一行都是super();为什么子类一定要访问父类中的构造函数。因为父类中的数据子类可以直接获取。所以子类对象在建立时，需要先查看父类是如何对这些数据进行初始化的

2014-08-01 23:29:19 472

原创 java基础知识之静态：static

静态：static。用法：是一个修饰符，用于修饰成员(成员变量，成员函数).当成员被静态修饰后，就多了一个调用方式，除了可以被对象调用外，还可以直接被类名调用。类名.静态成员。static特点：1，随着类的加载而加载。也就说：静态会随着类的消失而消失。说明它的生命周期最长。2，优先于的对象存在明确一点：静态是先存在。对象是后存在的。3，被所有对象所共享

2014-08-01 23:11:34 540

原创 java基础知识之单例模式

设计模式：解决某一类问题最行之有效的方法。java中23种设计模式：单例设计模式：解决一个类在内存只存在一个对象。想要保证对象唯一。1，为了避免其他程序过多建立该类对象。先禁止其他程序建立该类对象2，还为了让其他程序可以访问到该类对象，只好在本类中，自定义一个对象。3，为了方便其他程序对自定义对象的访问，可以对外提供一些访问方式。这三部怎么用代码体现呢？

2014-08-01 23:04:31 499

原创 java基础知识之工具类的创建

静态的应用。每一个应用程序中都有共性的功能，可以将这些功能进行抽取，独立封装。以便复用。虽然可以通过建立ArrayTool的对象使用这些工具方法，对数组进行操作。发现了问题：1，对象是用于封装数据的，可是ArrayTool对象并未封装特有数据。2，操作数组的每一个方法都没有用到ArrayTool对象中的特有数据。这时就考虑，让程序更严谨，是不

2014-08-01 23:02:16 2458

原创 java基础知识笔记之this的使用

this:看上去，是用于区分局部变量和成员变量同名情况。this为什么可以解决这个问题？this到底代表的是什么呢？this：就代表本类的对象，到底代表哪一个呢？this代表它所在函数所属对象的引用。简单说：哪个对象在调用this所在的函数，this就代表哪个对象。this的应用：当定义类中功能时，该函数内部要用到调用该函数的对象时，这时用this来表示这个

2014-08-01 22:37:33 748