sunmeng_Alex-CSDN博客

原创搭建oozie3.3.2CDH4.4.0

1.下载extjs2.22.在Hadoop core-site.xml下添加 hadoop.proxyuser.[OOZIE_SERVER_USER].hosts [OOZIE_SERVER_HOSTNAME] hadoop.proxyuser.[OOZIE_SERVER_USER].groups [USER_GROUPS_T

2013-11-26 16:50:23 1329 1

原创搭建Hadoop2.0.0CHD4.4.0

配置hadoop环境变量涉及到几个xml配置文件hadoop-env.sh：配置hadoop依赖的环境，如：jkdcore-site-xml：core的配置项，例如hdfs和mapreduce常用的i/o设置等hdfs-site.xml:hadoop守护进程的配置项，包括namenode、辅助namenode和datanode等yarn-site.xml：mapreduce配置

2013-11-26 16:50:03 1616

原创 Python 的变量作用域和 LEGB 原则

在 Python 程序中创建、改变或查找变量名时，都是在一个保存变量名的地方进行中，那个地方我们称之为命名空间。作用域这个术语也称之为命名空间。具体地说，在代码中变量名被赋值（Python 中变量声明即赋值，global 声明的只是变量的使用域）的位置决定了该变量能被访问的范围。函数定义了本地作用域，而模块定义的是全局作用域。这两个作用域之前有如下关系：每一个模块都是全局作用域。也就是

2013-10-25 11:57:40 1391

原创 python 变量作用域

几个概念：python能够改变变量作用域的代码段是def、class、lamda.if/elif/else、try/except/finally、for/while 并不能涉及变量作用域的更改，也就是说他们的代码块中的变量，在外部也是可以访问的变量搜索路径是：本地变量->全局变量python能够改变变量作用域的代码段是def、class、la

2013-10-24 18:44:53 967

原创 java正则匹配解析出时间

package zhengze;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.regex.*;import java.util.Date;public class zhengze { public static void main(String[

2013-09-12 11:40:45 1486

原创 Java常见序列化与反序列方法总结

人和电脑在很多方面都是十分相似的，大脑可以看成电脑主机，五官/身体等表面器官就是显示器、鼠标等外设。这篇文章就是想把计算机跟人做类比YY一下序列化和反序列化的机制、用途。如果你是初学者，心里肯定会问究竟什么是序列化/反序列化？其实我现在正在序列化而你正在反序列化：我在写这篇博客的时候就是把大脑中的想法和思想经过梳理写成连续的文字，这就是序列化，而你在读这篇博客的时候把这些整理过的文

2013-08-27 16:00:19 1707

原创专题笔记--Java 类集框架

Java 类集框架1. Java类集框架产生的原因在基础的应用中，我们可以通过数组来保存一组对象或者基本数据，但数组的大小是不可更改的，因此出于灵活性的考虑和对空间价值的担忧，我们可以使用链表来实现动态的数组。灵活的代价是操作上的繁琐，在计算机的世界，处理繁琐问题的不二法门就是将其封装，只向外暴露以供调用的方法视图。Java类集框架就是对这一方法的一种官方实现——一套动态对

2013-08-06 17:43:20 1236

原创 Google MapReduce中文版

Google MapReduce中文版译者: alex 摘要MapReduce是一个编程模型，也是一个处理和生成超大数据集的算法模型的相关实现。用户首先创建一个Map函数处理一个基于key/value pair的数据集合，输出中间的基于key/value pair的数据集合；然后再创建一个Reduce函数用来合并所有的具有相同中间key值的中间value值。现实世界中有很多

2013-08-06 15:23:32 1268

原创 Apache Hadoop最佳实践和反模式

摘要：本文介绍了在Apache Hadoop上运行应用程序的最佳实践，实际上，我们引入了网格模式（Grid Pattern）的概念，它和设计模式类似，它代表运行在网格（Grid）上的应用程序的可复用解决方案。　　Apache Hadoop是一个用于构建大规模，共享存储和计算基础设施的软件框架，Hadoop集群经常用于各种研究和开发项目，如Yahoo！，eBay，Facebook

2013-08-05 18:18:19 1067

原创 awk算术运算一例：统计hdfs上某段时间内的文件大小

计算hdfs指定目录中所有文件名中包含2011-04-24的文件大小，并换算成GB： $HADOOP_HOME/bin/hadoop fs -du /user/hdfs/s3/ifocus/*2011-04-24* |awk '{sum += $1}END{print sum}' |awk '{total=$1;base=1024*1024*1024;print total/base}'

2013-08-05 15:23:35 1883

原创正则表达式中加号和问号连在一起是什么意思

不加 ? 表示贪婪，加 ? 表示勉强，区别如下：勉强是从左边一个一个地吃直到匹配为止，不加？的是一口吃掉整个字符串，然后从最后一个一个地吐出来直到匹配为止字符串a=====b=====b===a.*b 将匹配满足条件最长的字符串 a=====b=====b工作方式：首先将：a=====b=====b=== 全部吃掉，从右边一个一个地吐出来1. a=

2013-08-05 14:59:39 5032

原创 HBase中的Client如何路由到正确的RegionServer

在HBase中，大部分的操作都是在RegionServer完成的，Client端想要插入，删除，查询数据都需要先找到相应的RegionServer。什么叫相应的RegionServer？就是管理你要操作的那个Region的RegionServer。Client本身并不知道哪个RegionServer管理哪个Region，那么它是如何找到相应的RegionServer的？本文就是在研究源码的基础上揭

2013-08-05 13:25:06 1199

原创 flume日志采集

1. Log4j Appender1.1. 使用说明1.1.2. Client端Log4j配置文件（黄色文字为需要配置的内容）log4j.rootLogger=INFO,A1,R # ConsoleAppender outlog4j.appender.A1=org.apache.log4j.ConsoleAppenderlog4j.app

2013-08-05 09:25:59 9149

原创 Hadoop Oozie 学习笔记

Oozie是一个工作流引擎服务器,用于运行Hadoop Map/Reduce和Pig 任务工作流.同时Oozie还是一个Java Web程序,运行在Java Servlet容器中,如Tomcat. Oozie工作流中拥有多个Action,如Hadoop Map/Reuce job,Hadoop Pig job等,所有的Action以有向无环图(DAG Direct Acyclic

2013-08-02 18:03:31 1469

原创 Flume研究心得

最近两天，仔细的看了一下Flume中央日志系统（版本号：1.3.X），Flume在本人看来，还是一个非常不错的日志收集系统的，其设计理念非常易用，简洁。并且是一个开源项目，基于Java语言开发，可以进行一些自定义的功能开发。运行Flume时，机器必须安装装JDK6.0以上的版本，并且，Flume目前只有Linux系统的启动脚本，没有Windows环境的启动脚本。　　　Flu

2013-08-02 17:53:54 1170

原创 Apache Oozie Workflow Scheduler for Hadoop

Oozie is a workflow scheduler system to manage Apache Hadoop jobs.Oozie Workflow jobs are Directed Acyclical Graphs (DAGs) of actions.Oozie Coordinator jobs are recurrent Oozie Workflow jobs trigg

2013-08-02 10:48:00 2042

原创 Flume 1.4.0 User Guide

Apache Flume is a distributed, reliable, and available system for efficiently collecting, aggregating and moving large amounts of log data from many different sources to a centralized data store.A F

2013-08-02 10:35:47 1196

原创集合框架中常用类比较

用“集合框架”设计软件时，记住该框架四个基本接口的下列层次结构关系会有用处：· Collection 接口是一组允许重复的对象。 · Set 接口继承 Collection，但不允许重复。 · List 接口继承 Collection，允许重复，并引入位置下标。 · Map 接口既不继承 Set 也不继承 Collection, 存取的是键值对我们以下面这个图表来描述一下常用

2013-08-01 17:12:27 1054

原创 flume安装及配置

Flume安装介绍Flume本身的安装比较简单（flume的介绍请参考http://blog.csdn.net/rzhzhz/article/details/7448633），安装前先说明几个概念,先看flume的架构1. Flume分三种角色 Mater: master负责配置及通信管理，是集群的控制器。 Collector: col

2013-07-31 10:03:23 1152

原创你的flume-ng的第一篇博客

我在flume-ng 1.1.0 孵化版的时候就开始接触了，自己也搞了一段时间，没事扯扯心得吧。先说在前面，flume-ng 后面的版本，我没仔细读change log ，比较农民，不知道新添了哪些特别NB的功能，有说错的地方，还请多多指教。首先，介绍一个非常全的文章，http://flume.apache.org/FlumeUserGuide.html 看了这篇文

2013-07-31 09:40:33 1351

原创 GIT使用指南

安装git，svn，ant，maven并配置环境变量1.拷贝settings.xml到用户目录的.m2目录下。2.打开git命令行，使用如下命令生成公钥私钥 ssh-keygen -t rsa3.打开用户木目录下的.shh目录，把id_rsa.pub改成自己名字简写，比如我就该成lbsun.pub,然后发送给我，这样我才能帮你们开通git权限4.拷贝config到用户目录的.ssh

2013-07-30 14:52:13 1139

原创 FTP客户端实现断点续传

FTP客户端是自己做的的第一个C项目，大二暑假做的。现在拿出来看看，当时只是初学者，暑假在学校一个人做了1个多星期。当代码成功运行时，瞬间感到C的强大与编程的乐趣。不懂的朋友可以问我。connect.c#include #include #include #include #include #include #include #define SERV_IP

2013-05-19 10:58:31 2964 2

原创非常好的BASH脚本编写教程

建立一个脚本　　Linux中有好多中不同的shell，但是通常我们使用bash (bourne again shell) 进行shell编程，因为bash是免费的并且很容易使用。所以在本文中笔者所提供的脚本都是使用bash（但是在大多数情况下，这些脚本同样可以在 bash的大姐，bourne shell中运行）。　　如同其他语言一样，通过我们使用任意一种文字编辑器，比如nedit、ke

2013-05-04 18:28:30 1300

原创设计一个类，该类不能被继承，且只能实例化3次

#includeclass finalclass{public: static int count;public: static finalclass *getinstance() { if(count <= 0) return NULL; count--; return new finalclass; } static void se

2013-05-03 19:53:20 1874

原创笔试题

填空题有STL库由哪部分组成，简答题：1.冒泡排序和快速排序的优缺点 2.进程和线程共同使用的技术（好像是这么说的） 3.指针和引用的区别 4.析构函数和普通成员函数的区别编程题（c,c++,java都可以，但不能用库函数） 1.识别一个字节中按位置1的个数，尽量用高效率的

2013-05-03 19:43:54 1103

原创感受GSAT,挑战Samsung

一大早赶去天大东门，听说韩国人比较注重时间，说是8点半到，没想到三星班车迟到了。大概过了10几分钟，三星班车来了，果然是大公司，班车上LOGO很是不错，还有三星电视的广告。我们大概20多人坐车，人一上车，立马关门，开车就走，根本不停。可见三星办事迅速。人很少，有很多空座。50分钟后，到了三星电子公司，公司硬件一流，跟生产车间在一起。招待我们的MM也很好，边吃口香糖边招待我们，但她办事效率还是很快的

2013-04-07 13:57:56 2484

原创对象指针

指向对象的指针在建立对象时，编译系统会为每一个对象分配一定的存储空间，以存放其成员。对象空间的起始地址就是对象的指针。可以定义一个指针变量，用来存放对象的指针。指向对象成员的指针对象有地址，存放对象初始地址的指针变量就是指向对象的指针变量。对象中的成员也有地址，存放对象成员地址的指针变量就是指向对象成员的指针变量。1. 指向对象数据成员的指针2

2013-03-12 17:38:15 1157

原创成员函数构造函数

这就证明了一个对象所占的空间大小只取决于该对象中数据成员所占的空间，而与成员函数无关。函数代码是存储在对象空间之外的。如果对同一个类定义了10个对象，这些对象的成员函数对应的是同一个函数代码段，而不是10个不同的函数代码段。需要注意的是：虽然调用不同对象的成员函数时都是执行同一段函数代码，但是执行结果一般是不相同的。不同的对象使用的是同一个函数代码段，它怎么能够分别对不同对象中的数据进行操

2013-03-09 09:36:06 1363

原创 union

1. 共用体声明和共用体变量定义共用体(参考“共用体”百科词条)是一种特殊形式的变量，使用关键字union来定义共用体(有些人也叫"联合")声明和共用体变量定义与结构体十分相似。其形式为:union 共用体名{数据类型成员名;数据类型成员名;...} 变量名;共用体表示几个变量共用一个内存位置，在不同的时间保存不同的数据类型和不同

2013-03-08 09:38:11 993

转载一个应届计算机毕业生的2012求职之路

1、简介毕业答辩搞定，总算可以闲一段时间，把这段求职经历写出来，也作为之前三个半月的求职的回顾。首先说说我拿到的offer情况：微软，3面->终面，搞定百度，3面->终面，口头offer搜狗，2面，悲剧腾讯，1面，悲剧布丁移动，3面，搞定涂鸦游戏，3面，搞定友盟，3面->CEO面，搞定雅虎，4面->终面，搞定微策略，2面，悲剧人民搜索，3面->终面，

2013-02-26 11:28:53 1499

原创 C++

#include#includeusing namespace std;int main(int argc,char *argv[]){ float a,b,c,disc; cout<<"Please input a,b,c:"; cin>>a>>b>>c; if(a == 0) cerr<<"a is equal to zero,error!"<<endl; else

2013-02-23 11:36:20 803

原创程序员面试求职100题（11-20）

以下10题也选择何海涛面试题 11 输入一颗二叉树和一个整数，打印出二叉树中结点值的和为输入整数的所有路径。路径定义为从树的根结点开始往下一直到叶结点所经过的结点形成一条路径。12 输入一个字符串,按字典序打印出该字符串中字符的所有排列。例如输入字符串abc,则打印出由字符a,b,c所能排列出来的所有字符串abc,acb,bac,bca,cab和cba。13 数组中有一个数

2013-02-09 12:54:47 1846 3

原创程序员面试求职100题（1-10）

本帖题目均选自何海涛剑指offer一书，欢迎大家与我一起做、讨论这些题目，共同享受编程和思考的乐趣，何乐而不为呢？ 1、在一个二维数组中，每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。答案杨氏矩阵的查找，可以分治，但一个比较好的解法是从第一行最后一列开始查找，决定往左还

2013-02-08 12:49:53 2407 2

原创如何使一个exe只运行一个实例

方法一：/*创建全局互斥体,然后在进程启动时检查该互斥体是否已被创建只需要在InitInstance()中加入*/::CreateMutex(NULL, FALSE, "MyAPP"); /*创建一个互斥体*/if(ERROR_ALREADY_EXISTS == GetLastError()) { AfxMessageBox("Already run!");

2012-12-12 22:39:03 1786

原创实现strcpy函数

已知strcpy函数的原型是char*strcpy(char *strDest, const char *strSrc);其中strDest是目的字符串，strSrc是源字符串。不调用C++/C的字符串库函数，请编写函数 strcpy#include#define N 100char *strcpy(char *dest,char *src){ if(dest =

2012-12-12 20:32:27 889

原创函数sun（int a []，int n）的返回值是数组a[]的前几个元素之和

函数sun（int a []，int n）的返回值是数组a[]的前几个元素之和。请使用递归的非递归两种方式实现。#includeint sun(int *a,int n){/* int i,sum = 0; for(i = 0;i < n;i++) sum += a[i]; return sum;*/ static int sum = 0; if(n-- > 0)

2012-12-11 13:15:20 2611

原创比较两个字符串str1和str2的大小

写一个函数比较两个字符串str1和str2的大小，若相等返回0，若str1大于str2返回1，若str1小于str2返回-1，不调用C++/C的字符串的字符库函数，请编写函数strcmp，函数定义为：intstrcmp（const char*src，const char*dst）#includeint strcmp(const char *src,const char *dst){ i

2012-12-11 13:13:21 10482 1

原创判断一个字符串是否是回文，如果是，返回字符串“yes”，如果不是，返回字符串“no”

判断一个字符串是否是回文，如果是，返回字符串“yes”，如果不是，返回字符串“no”。#include#includevoid func(const char *str,int len){ int i = 0,j = len - 1; while(i < j) { if(str[i] == str[j]) { i++; j--; } else {

2012-12-11 13:00:55 4892

原创有一个16位的整数，求其二进制上每4位的数字之和

有一个16位的整数，求其二进制上每4位的数字之和。例如：int a=1111 1111 1111 1111；（这是2进制） Int sum=1111 +1111 +1111 +1111.（这是10进制的1111）#includeint main(int argc,char *argv[]){ unsigned short a = 0x5; unsigne

2012-12-11 12:51:52 2962

原创 static全局变量与普通的全局变量有什么区别？static局部变量和普通局部变量有什么区别？static函数与普通函数有什么区别？

static全局变量与普通的全局变量有什么区别？static局部变量和普通局部变量有什么区别？static函数与普通函数有什么区别？全局变量(外部变量)的说明之前再冠以static 就构成了静态的全局变量。全局变量本身就是静态存储方式，静态全局变量当然也是静态存储方式。这两者在存储方式上并无不同。这两者的区别虽在于非静态全局变量的作用域是整个源程序，当一个源程序由多个源文件组成时，非静态的

2012-12-10 21:40:05 817

C语言嵌入式编程修炼

空空如也