mybulesky-CSDN博客

转载 CentOS下SVN简介、下载、安装

1 SVN简介 The goal of the Subversion project is to build a version control system that is a compelling replacement for CVS in the open source community. The software is released under an Apache/BSD-s

2013-11-27 10:48:20 334

转载 python升级带来的yum异常

问题： $ yum File "/usr/bin/yum", line 30 except KeyboardInterrupt, e: ^ SyntaxError: invalid syntax 原因：这是因为yum采用python作为命令解释器，这可以从/

2013-11-24 14:14:48 765

转载 yum 出现Existing lock /var/run/yum.pid: another copy is running as pid:3355

2010-07-27 11:09:40| 分类： linux|字号订阅使用yum命令时，出现： Existing lock /var/run/yum.pid: another copy is running as pid:3355. Another app is currently holding the yum lock; waiting fo

2013-11-24 14:13:45 418

转载 Centos 下安装与设置VIM编辑器

分类： Linux2012-10-25 16:39 985人阅读评论(0) 收藏举报我们在安装完Centos后，它默认的是安装了VI编辑器，VIM是没有安装的，所以我们在使用vim test.txt时会提示： vim command not found 。。。这就是说明我们的Linux环境没有安装vim编辑器，下面我们来说一下如何安装这个编辑器： vim编辑器需要安装三

2013-11-24 14:11:55 469

转载为什么python中，程序开始都要敲入“# -- coding: UTF-8 --” 这个有什么作用呢？

http://zhidao.baidu.com/link?url=_gXTTeHF4XvhOO5b_FMEU3_Z9x1lbftmeLB5513RK6JSJOtuTnLDpZItyzClCWdzLAv1AbVw3pRTCvdZBPe4PK

2013-11-10 13:28:32 2835

转载用chardet判断字符编码的方法

chardet 用来实现字符串/文件编码检测模板 1、chardet下载与安装下载地址：http://pypi.python.org/pypi/chardet 下载chardet后，解压chardet压缩包，直接将chardet文件夹放在应用程序目录下，就可以使用import chardet开始使用chardet了，也可以将chardet拷贝到Python系统目录下，这样你所有的pytho

2013-11-10 13:23:38 369

原创 Python中引入自定义路径下的用户自定义类

自定义类如下: import math class Circle: # Construct a circle object def __init__(self, radius = 1): self.radius = radius def getPerimeter(self): return 2 * self.radius

2013-11-06 19:41:37 1252

转载三、Python的字典排序

三、Python的字典排序推荐阅读1：http://hi.baidu.com/beynvrvbprbbklq/item/e6304e207602993295f62be5 推荐阅读2：http://www.cnblogs.com/kaituorensheng/archive/2012/08/07/2627386.html 下文内容部分来自以上推荐。 1、关于Python字典的一

2013-10-17 16:01:46 456

转载 Hadoop namenode启动过程详细剖析及瓶颈分析

NameNode启动过程详细剖析 NameNode中几个关键的数据结构 FSImage Namenode会将HDFS的文件和目录元数据存储在一个叫fsimage的二进制文件中，每次保存fsimage之后到下次保存之间的所有hdfs操作，将会记录在editlog文件中，当editlog达到一定的大小（bytes，由fs.checkpoint.size参数定义）或从上次保存过后一定时间段过后（s

2013-10-09 17:21:36 301

转载 StringTokenizer类的使用

StringTokenizer是一个用来分隔String的应用类，相当于VB的split函数。 1.构造函数 public StringTokenizer(String str) public StringTokenizer(String str, String delim) public StringTokenizer(String str, String delim, boolean

2013-10-07 11:34:21 270

原创贝叶斯分类

from math import * from numpy import * # 加载数据集 def loadDataSet(): postingList=[['my','dog','has','flea','problems','help','please'],['maybe','not','take','him','to','dog','park','stupid'], ['m

2013-09-30 15:14:02 718

原创决策树的ID3算法实现（Python版）

from math import log def calcShannonEnt(dataSet): //计算你传给我的数据集的熵输入参数: 数据集合 numEntries=len(dataSet) labelCounts={} for featVec in dataSet: currentLabel=featVec

2013-09-24 22:41:27 685

原创在进入Mapper之前的输入分片处理过程详解

输入前的过程是这样的： 1. JobClient调用getSplits方法以期望的map任务数numSplits作为参数传入，这个参数将作为一个参考值，因为InpFutormat实现可以自由地返回另一个不同于numSplits制定值得分片数。 2.在计算好分片数后，客户端将他们发送到jobtracker，jobtracker便使用其存储位置信息来调度map任务（具体该距离最近的

2013-08-23 23:15:03 652

原创关于mapreduce程序之Mapper、Reducer以及Driver驱动的若干框架总结

第一套：为旧的API，此时Maper和Reducer为接口，且该接口均在org.apache.hadoop.mapred.*;中 Mapper： import org.apache.hadoop.mapred.MapReduceBase; import org.apache.hadoop.mapred.Mapper; public class ExampleMapper extend

2013-08-21 20:23:52 1368

原创 centos上装eclipse、以及在eclipse下配置hadoop环境

centos上装eclipse：http://blog.sina.com.cn/s/blog_6f561cc301015em9.html eclipse下配置hadoop环境：http://www.cnblogs.com/flyoung2008/archive/2011/12/09/2281400.html

2013-08-20 22:43:26 466

原创 namenod不能启动让我认识到了查看日志的重要性

今天遇到了一个棘手的问题，发现我的hadoop集群环境不能运行，究其原因我发现是我的namenode不能启动，后来我费劲了千方百计来解决这个问题，都无济于事，最后我发现了原来namenode的启动信息被写在了第一行后面的那个日志文件中，然后我就果断打开文件，发现这里果然出了错误，是因为VERSION文件权限问题，我查了一下是root:root的，我果断盖成了hyhado

2013-08-20 22:19:34 407

原创 eclipse导入jar包

在Java程序中，我们可以通过“import +包名 + 类名”的方式引用第三方包（jar）或者第三方类(class)，但你得告诉Java编译和运行环境到哪里去找这些库或者类，如果这些没有设置好，就会出现类似于某某类无法解析，NoClassDefFoundError等问题。因此，我们必须通过Eclipse指定这些路径来告诉Jvava的开发和运行环境，到哪里去找这些包和类。 1，通过环境变量指定J

2013-07-22 13:34:02 595

原创 javac编译若干小知识

我写了一个java程序 1.在/home/hydoop 下直接编译，即 javac test.java 则会在当前目录即 /home/hydoop 下生成一个 test.class文件 java test..class 则就会显示hello_word! 2.在/hom

2013-07-18 16:58:32 568

原创进程管理

2013-07-18 13:54:10 311

mybulesky的专栏