keep_moving_-CSDN博客

原创 javascript 闭包

1. 定义在一个函数中嵌套另一个函数，通常，父函数中的所有变量对子函数都是可见的。因为js的链式作用域的特点，子函数会一级一级从父级查找变量。但是，子函数的变量对父函数是不可见的。如果想暴露子函数的局部变量，可以在父函数中，将子函数作为变量返回，这样父函数就能使用子函数，从而拿到子函数的局部变量。在这里，子函数就是闭包，即能够读取其他函数内部变量的函数。本质上，

2015-05-11 06:35:50 500

转载 oozie 介绍

Oozie是一个工作流引擎服务器,用于运行Hadoop Map/Reduce和Pig 任务工作流.同时Oozie还是一个Java Web程序,运行在Java Servlet容器中,如Tomcat. Oozie工作流中拥有多个Action,如Hadoop Map/Reuce job,Hadoop Pig job等,所有的Action以有向无环图(DAG Direct Acycli

2015-01-05 10:54:06 568

原创 classloader

1）默认种类a. Bootstrap Classloader qido

2014-08-28 09:20:12 465

原创 hbase rowkey

1）排序按字典排序，

2014-08-22 09:39:59 926

原创 tomcat url和servlet匹配

1）过程tomcat内部有一个mapp

2014-08-17 08:30:02 723

原创 tomcat container

1） Container是容器的fu

2014-08-17 07:24:16 406

原创 tomcat connector

1）作用tomcat处理http请求

2014-08-17 07:11:36 505

原创垃圾回收机制

1）概念用于释放不再使用的对象占用的

2014-08-08 13:57:14 398

原创 tomcat 提纲

1）设计模式责任链模式，门面模式，模板模式2）

2014-08-08 13:03:10 364

原创 tomcat 关联源码

进入tomcat官网，下载tomcat对应版本源码将下载的源码解压，然后在eclipse

2014-08-07 08:46:34 677

原创 maven 下载源码

示例： javax.servlet servlet-api 2.5 sources

2014-08-06 16:40:27 493

原创观察者模式

1） java api 实现的观察者模式public class Test { public static void main(String[] args) { Watched watched = new Watched(); Watcher watcher = new Watcher(); watched.addObserver(wat

2014-08-06 16:29:40 355

原创 servet

1）运行在服务器端的程序，可以生成动态的web页面

2014-08-06 16:29:15 385

原创 java collection

1） arraylist基于数组进行实现，fast-failj

2014-08-05 22:06:16 411

原创多线程三（交互）

1） wait、 notify、 notifyAll

2014-08-04 13:21:23 444

原创多线程二（同步）

1） demopublic class TestSync { public static void main(String[] args) { MyRunnable m = new MyRunnable(); Thread t1 = new Thread(m); Thread t2 = new Thread(m); t1.

2014-08-04 09:10:00 407

原创算法一（复杂度）

1）时间复杂度T(n) = O(n);当存在

2014-08-02 06:05:29 389

原创多线程一（概念）

1）线程和进程的区别2）多线程shi

2014-08-01 14:58:55 422

转载 hive (expalin 解析)

hive> explain insert overwrite TABLE lpx SELECT t1.bar, t1.foo, t2.foo FROM pokes t1 JOIN invites t2 ON (t1.bar = t2.bar) ;OKABSTRACT SYNTAX TREE: (TOK_QUERY (TOK_FROM (TOK_JOIN (TOK_TABREF (TO

2014-07-29 10:27:40 583

转载 hive (map和reduce 个数的设定 )

一、控制hive任务中的map数: 1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)；2. 举例： a) 假设input目录下有

2014-07-28 17:28:14 515

转载 hive （各种 by）

order byorder by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。Sql代码 set hive.mapred.mode=nonstrict; (default value / 默认值) set hive.mapred.mode=st

2014-07-28 13:47:14 474

原创 hive （本地模式）

1）开启本地模式hive>set hive.exec.mode.local.auto=true;退出

2014-07-26 16:44:21 449

原创 udf （MapObjectInspector的使用）

public class DimensionConvertor extends GenericUDF { MapObjectInspector valueIO; StringObjectInspector typeIO; @Override public Object evaluate(DeferredObject[] arguments) throws HiveException

2014-07-24 21:37:26 1714

原创 hbase api

1） insertpublic static void insertData(String tableName) throws Exception { System.out.println("start insert data ......");// HTablePool pool = new HTablePool(configuration, 1000);/

2014-07-18 14:56:12 384

原创 zookeeper 灾难恢复机制

1: HDFS 的nameNode 出现问题，单点问题。https://issues.apache.org/jira/secure/attachment/12480378/NameNode+HA_v2.pdf2: hdfs datanode 出现问题，将由hadoop hdfs 的集群解决3: zookeeper出现问题，将由zookeeper的集群机制解决4: hmaster出

2014-07-17 15:11:29 2357

原创 hbase 配置

1）端口默认是在Master的60010端口上H (HBase RegionServers 会默认绑定 60020端口，在端口60030上有一个展示信息的界面 )可以通过访问http://localhost:60010 查看master的zhuang

2014-07-17 14:18:02 523

原创 zookeeper 配置

1） myid这个文件是用来识别当前zk server主机，应该是当前主机

2014-07-17 13:29:32 382

原创 zookeeper 进行监听节点机制

1） server端在一个server启动时，如tomcat启动时，可以把在tomcat启动程序中，把当前tomcat服务注册dao

2014-07-17 13:25:56 2910

原创 hive 建表（Location， serde）

1） Location 关键字的使用hadoop fs -put /usr/local/ae/1.txt /usr/create table test_location(id int, name string) row format delimited fields terminated by '\t' stored as textfile location '/usr/'; //

2014-07-15 12:40:19 4394

原创 maven 使用

1） anzhuangmvn install:install-file -Dfile=hive-exec-0.11.0.jar -DgroupId=org.apache.hive -DartifactId=hive-exec -Dversion=0.11.0 -Dpackaging=jar -DgeneratePom=true

2014-07-15 08:58:58 335

原创 hive 与 hbase 整合

1）创建hive表，同时会杂

2014-07-10 15:04:56 413

原创 hive Guide

1） componenta. serdeserialize, deserial

2014-07-10 10:31:55 531

原创 hive hiveserver2

1）基于Thrift RPC，是HiveServer的改进版，支持多线程以及认证

2014-07-10 09:55:25 767

原创 hive (union & subquery)

1） UNION ALLselect之间的columns必须相同，否则会报错；

2014-07-09 15:37:21 702

原创 hive join select demo

1)create table test_partition(id int,desc string) partitioned by (dt string, country string) row format delimited fields terminated by '\t' stored as textfile;

2014-07-09 13:14:51 533

原创 java进阶

在学习技术时候，应该对该技术

2014-07-08 17:34:38 328

原创 hive 配置

1） hive-env.xmlHIVE_CONF_DIR: 指定hiv

2014-07-08 09:39:17 494

原创 hive 命令

1）查看配置项set javax.jdo.option.ConnectionURL;2）新建表：create table logs(ts bigint, line string) partitioned by (dt string, country string) row format delimited fields terminated by '\t'

2014-07-08 08:54:36 414

转载 hive 数据模型

1.Database：相当于关系数据库里的命名空间（namespace），它的作用是将用户和数据库的应用隔离到不同的数据库或模式中，该模型在hive 0.6.0之后的版本支持，hive提供了create database dbname、use dbname以及drop database dbname这样的语句。2.表（table）：hive的表逻辑上由存储的数据和描述表格中的数据形式的相关

2014-07-07 16:34:37 569

原创 hbase api 使用

package test;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import or

2014-07-07 14:08:51 397

空空如也

空空如也