2013年04月_那闯

原创 GNU Flex 基础

Flex是一个用C语言编写的词法(Lexer)分析工具，Bison是语法(Parser)分析工具，他们是Lex&Yacc的GNU代替品。Flex布局：定义段 (definitions) %% 规则段 (rules) %% 用户代码段 (user code)一个把字母与数据分割的例子：%{ #include #include extern "C

2013-04-28 15:45:42 4454

原创 Python对Excel的操作 pyExcelerator

pyExcelerator的安装：pyExcelerator下载地址：https://pypi.python.org/pypi/pyExcelerator/解压安装包执行python setup.py install (注意：目前版本不支持python3)一个简单的例子：from pyExcelerator import *def main(): book = Workbo

2013-04-26 10:03:07 4104 1

原创 Python, Shell 遍历文件

Shell#!/bin/shTraverseDirectory() { echo "---------------------------- Next ----------------------------------" echo -n "Root: " echo -n "$2$1" echo cd $1 dirs=`ls -al | grep '^d' |

2013-04-24 11:19:44 1130

原创 Hadoop v2(Yarn)源码编译

安装maven和protobuf我使用的版本分别是：apache-maven-3.0.4(需要maven3.0以上版本)和protobuf-2.4.1：maven下载地址http://maven.apache.org/download.cgiprotobuf下载地址http://code.google.com/p/protobuf/downloads/list1. 添加环境变量/e

2013-04-23 16:30:27 1838

原创 Hadoop v2(Yarn)调度分析(2)ResourceManager

Service Name:DispatcherService Name:org.apache.hadoop.yarn.server.resourcemanager.rmcontainer.ContainerAllocationExpirerService Name:AMLivelinessMonitorService Name:AMLivelinessMonitorService

2013-04-18 14:47:17 1800

原创数论基础

中国剩余定理：例如，要找出一个数，除3余1，除5余4，除7余3，求这个数最小是多少。1. 求35*n%3=1，则n最小为2，35*min=70；求15*n%7=1，15*min=15；求21*n%5=1，21*min=21。2. 根据定理如果a%x=b，则(a*k)%x=b*k，得70*1 + 15*3 + 21*4等于199。3. 得3，5，7的最小公倍数为105，用199除

2013-04-15 15:52:56 712

原创 SQL 基础笔记

查询最后一条语句select * from TABLE where (select max(ID) from TABLE)删除 id 为 1的行delete from TABLE where id=1;distinct 仅找出不同的选项SQL函数avg函数：计算查询中某一特定字段资料的算术平均值。count函数：计算符合查询条件的记录数。min, max函数：

2013-04-15 14:35:39 902

原创 Python 基础笔记(1)

编码：# coding=GBK or　# -*- coding: GBK -*- 源码使用GBK编码# coding=UTF-8 or　# -*- coding: UTF-8 -*- 源码使用UTF-8编码string.encode('GBK/UTF-8') 将string转换成bytesbytes.decode('GBK/UTF-8') 将bytes转换成string

2013-04-15 14:19:52 1182

原创 Python 3.x与2.x 差异笔记

1. print "str" 这种没有括号的语法，在3.x下不支持，3.x只支持print ("str")。另外，print希望不换行在最后加一个“,”，在3.x中不适用了，3.x中可以这样去除换行print("str",end='')2. import urllib2发现有错 ImportError: No module named urllib2官网：The urllib2 modu

2013-04-15 12:45:29 5146

原创网络笔记

安全：对称密钥加密：加密者和解密者使用相同的密钥，例如IDEA，DES存在的问题：如果双方任何一方的失误，都会导致机密泄漏，在网络中传递密钥时，有可能被人截获。公共/私有密钥：公有密钥（任何人都知道），私有密钥（只有拥有者知道）。如果用公共密钥加密，那么只有私有密钥可以解密；如果用私有密钥加密，那么所有的公共密钥都可以解密。优点：私有密钥不需要在网络上传输，并只有

2013-04-12 09:14:28 1009

原创 Kerberos 工作原理

Kerberos验证过程:如图，Kerberos认证过程：1. Client 向KDC(Key Distribution Center)的KAS(Kerberos Authentication Service)确认，自己是真的Client。Client 发送KAS Request给KAS包括: UserName 和用“Client的密码”加密过的Authenticator（

2013-04-10 16:23:39 1915

原创 Kerberos（1.9）Apache Hadoop（2.0.3 Yarn）配置

环境：环境： ubuntu 12.04, jdk 1.7用户名都是：nachuang域名分别是：mcw-cc-nachuang, mcw-cc-node注：确定 Hadoop 2.0.3 集群可以正常使用，然后stop-all。Kerberos配置：参考：http://blog.csdn.net/edwardvsnc/article/detail

2013-04-07 10:13:47 1860

那闯