2015年12月_马忠义

原创 python中关于处理汉字乱码的问题

一个困扰了好久的Python 中文编码问题。多次失败后我总结出一些经验。Python 解决中文编码问题基本可以用以下逻辑： utf8（输入） ——> unicode（处理） ——> （输出）utf8 Python 里面处理的字符都是都是unicode 编码，因此解决编码问题的方法是把输入的文本（无论是什么编码）解码为（decode）unicode编码，然后输出时再编码（encode）成所需编码。

2015-12-29 19:52:51 641

原创内部类

1 在一个类中定义一个类代码如下public class Inner { public static void main(String[] args) { A a =new A(); //内部类的声明方法1 A.B b=null; b=a.new B(); //内部类的申明方法2 调用一个方法，在方法

2015-12-17 20:54:34 263

原创设计模式之适配器模式

适配器模式：讲一个类的接口转换成可恶希望的另外一个接口。适配器模式使得原本由于接口不兼容而不能一起工作的那些类可以在一起工作。生活中的例子就是港版的手机，在大陆用的话不能直接插入到插座中，需要把钢板的充电器加一个适配器，转换成大陆的插座可以插入的样式。代码如下：public class adaper{ public static void main(String[] args)

2015-12-16 20:32:59 253

转载 2016届阿里实习生java研发岗一面二面三面四面经验分享

转自：http://mp.weixin.qq.com/s?__biz=MjM5MTAzMTE4Nw==&mid=203817016&idx=2&sn=b79c7b079912cee8681090c4a30795b1&scene=5#rd 研二是需要找实习的时候了，因阿里有同学内推就直接参加了电话面试，不说其他的废话直接上问题，阿里的面试官还是不错的，和蔼可亲，为人谦虚，大牛什么都懂。（投的职位是j

2015-12-16 18:59:26 1304

原创 zookeerper配置

zookeeper 要求必须是奇数台为什么要使用zookeeper »大部分分布式应用需要一个主控、协调器或控制器来管理物理分布的子进程（如资源、任务分配等） »目前，大部分应用需要开发私有的协调程序，缺乏一个通用的机制 »协调程序的反复编写浪费，且难以形成通用、伸缩性好的协调器 »ZooKeeper：提供通用的分布式锁服务，用以协调分布式应用 zookeeper能干什么 »Hado

2015-12-16 18:50:37 6309

原创 mapreduce之combiner

每一个map可能会产生大量的输出，combiner的作用就是在map端对输出先做一次合并，以减少传输到reducer的数据量。 combiner最基本是实现本地key的归并，combiner具有类似本地的reduce功能。如果不用combiner，那么，所有的结果都是reduce完成，效率会相对低下。使用combiner，先完成的map会在本地聚合，提升速度。注意：Combiner

2015-12-16 18:30:08 355

原创 hive的操作

Hive中的表实际上就是hdfs中的文件夹， Hive的表其实就是HDFS的目录/文件，按表名把文件夹分开。如果是分区表，则分区值是子文件夹，可以直接在M/R Job里使用这些数据。 1 Hive是SQL解析引擎，它将SQL语句转译成M/R Job然后在Hadoop执行。 2 创建一个表以’\t‘划分 create table teacher (id bigint, name strin

2015-12-16 18:21:49 300

原创设计模式之静态代理设计模式

1 代理模式（Proxy）：为其它对象提供一种代理以控制对这个对象的访问 2 代理模式说白了就是“真实对象”的代表，在访问对象时引入一定程度的间接性，因为这种间接性可以附加多种用途。适用于身份信息验证下面以一种媒婆和相亲者的例子诠释代理设计模式 package 设计模式;//下面以媒婆和相亲者的方式模拟代理模式//定义一个借口，定义相亲方法interface xiangqin_activ

2015-12-16 18:05:05 277

原创设计模式之简单工厂模式

简单工厂模式是由一个工厂对象决定创造出哪一种产品类的实例。简单工厂模式是工厂模式中最简单实用的模式。实现代码如下：public class Factory { public static void main(String[] args) { A a=Factory.getOBj("B"); a.getInfo(); }}class Factory{

2015-12-16 16:10:26 273

转载为什么用Yarn来做Docker容器调度引擎

先说说为什么选择yarn而不是Mesos,这个之前也和一个人讨论过。首先是可部署性。Yarn如果打包JDK后可以没有任何依赖的，Mesos因为是C/C++开发的，安装部署可能会有库依赖。这点我不知道大家是否看的重，反正我是看的相当重的。软件就应该是下下来就可以Run。所以12年的时候我就自己开发了一套Java服务框架，开发完之后运行个main方法就行。让应用包含容器，而不是要把应用丢

2015-12-13 13:01:20 1189

转载 YARN & Mesos，论集群资源管理所面临的挑战

出自http://www.csdn.net/article/2015-07-02/2825120在国内，大部分的Spark用户都是由Hadoop过渡而来，因此YARN也成了大多Spark应用的底层资源调度保障。而随着Spark应用的逐渐加深，各种问题也随之暴露出来，比如资源调度的粒度问题。为此，7月2日晚，在CSDN Spark高端微信群中，一场基于YARN和Mesos的讨论被拉开，主要参与分享的

2015-12-12 19:56:41 664

原创 hadoop2版本和hadoop1版本的第三方jar包的位置问题

今天往集群上提交一个词频分析的程序，一个jar包需要引用程序的另一个jar包中的方法，所以必须把被引用的jar包提前导入hadoop中，在hadoop1.2版本中中，提交的jar放在hadoop的lib下，执行的时候系统会默认到lib下找到jar，应用到hadoop2.5.2上位置变了，今天在这个问题上卡了好久，最后经过尝试，是把引入的包导入到hadoop包下的share包的mr中的lib下，那么当

2015-12-12 19:20:49 2307 2

原创 java String类的操作

1 string类判断是否以指定内容开头或者结尾(1)public boolean startWith(String prefix)(2)public boolean startWith(String prefix,int toffset) 从指定位置开始判断时候以指定的内容开头用法 startwith（’ds’,9）(3)public boolean endWith(String pr

2015-12-09 21:29:00 324

原创监控数据的获取

proc文件系统，想必大家都有所耳闻了，是个博大精深的东东，对于监控来说，几乎所有的监控数据，来源都是这个文件系统，对系统来讲，最重要的监控数据CPU、MEMORY、TRAFFIC等数据，在proc下都可以找到原版内容：CPU部分 /proc/stat# cat /proc/stat cpu 338758358 17608 62785863 1552185970 42674246 335813

2015-12-07 20:10:28 842

原创集群监控之web端动态的显示数据（highchart）

集群监控做到今天，基本的功能已经实现了80%,还有一个监控报警没有做。和大型的监控例如zabbix，nagios相比，我做的监控的在某些细节方面还存在一些改进。今天运用了highchart对从agent返回的数据在前端进行了动态的展示，不得不说，highchart是一个非常好的工具，提供了动态图，静态图，各种饼图，柱状图等各种图形，在我的监控项目中我采用了动态图展示cpu的负载，运用aj

2015-12-01 21:32:44 1814

既然选择了远方便只顾风雨兼程