2016年10月_DT鸽子

原创 idea scala插件地址

http://plugins.jetbrains.com/plugin/?idea&id=1347

2016-10-29 20:37:41 622

转载 hadoop二次排序

原网址：http://www.cnblogs.com/chengxin1982/p/4076544.html

2016-10-28 17:16:57 234

转载提高mapreduce性能的七点建议

提高mapreduce性能的七点建议原网址：http://www.cnblogs.com/chengxin1982/p/3957714.html Cloudera提供给客户的服务内容之一就是调整和优化MapReduce job执行性能。MapReduce和HDFS组成一个复杂的分布式系统，并且它们运行着各式各样用户的代码，这样导致没有一个快

2016-10-28 17:12:31 440

转载 Hadoop CombineFileInputFormat原理说明(转)

Hadoop CombineFileInputFormat原理说明(转)(2013-05-10 15:48:35)原网址：http://blog.sina.com.cn/s/blog_5673f78b0101etz4.html 分类：分布式计算mapreduce中,一个job的map个数, 每个map处理的数据量是

2016-10-27 13:43:31 356

转载基于ZooKeeper的Dubbo注册中心

基于ZooKeeper的Dubbo注册中心原网址：http://www.cnblogs.com/Javame/p/3632708.html SOA服务治理 dubbo_zk 服务总线感兴趣的M我微信：wonter 微信扫描，人人 CTO 大本营基于SOA架构的TDD测试驱动开发模式服务治理要先于SOA简述我的SOA服务治理从页面走向单元实现真正的业务驱动

2016-10-22 21:37:55 2319 2

原创加权处理

【学渣】Awaken求各位大大提供方法15:04:28【学酥】又是新的一 2016/10/21 15:04:28简单是可以这样购买5分收藏3分点赞2分浏览1分【学酥】冷遇の 2016/10/21 15:05:15对，加个权【学渣】Awake 2016/10/21 15:05:165分，3分，2分，1分，都是人为设定。有没有某种标准，来考核人为设

2016-10-21 15:40:01 1728

转载全角半角转换的问题

最近在做中文处理时，遇到了全角半角转换的问题，于是到网上搜了一下，问题基本上得到解决，但是发现没有对全角空格，和半角空格做转换处理，而且半角转全角的代码有bug，下面是修改后的代码：首先,全角与半角有什么区别？全角占两个字节，半角占一个字节。半角全角主要是针对标点符号来说的，全角标点占两个字节，半角占一个字节，而不管是半角还是全角，汉字都还是要占两个字节 Java代码 .然后，我们来看一下

2016-10-19 12:43:10 1861

转载 spark1.6+hadoop2.6集群HA搭建与参数解析

原网址：http://www.tuicool.com/articles/bim6Jvz原文：http://dataunion.org/23402.html?utm_source=tuicool&utm_medium=referral

2016-10-18 14:12:57 277

原创 Hbase集群搭建

1.上传hbase安装包2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了）注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 3.1修改hbase-env.sh export JAVA_HOME=/usr/java/jdk1.7.0_55 //告诉h

2016-10-15 15:06:40 248

原创 hadoop2.4.1集群安装

hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译（建议第一次安装用32位的系统，我将...

2016-10-14 22:50:59 537

原创在防火墙中打开要用到的端口

在防火墙中打开要用到的端口 2181、 2888、 3888切换到 root 用户权限，执行以下命令：# chkconfig iptables on# service iptables start编辑/etc/sysconfig/iptables# vi /etc/sysconfig/iptables增加以下 3 行：-A INPUT -m state

2016-10-14 14:13:06 2094

原创 Zookeeper配置

zookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg，需要将其修改为zoo.cfg。其中各配置项的含义，解释如下：1.tickTime：CS通信心跳时间Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。tickTime以毫秒为单位。tickTime=2000

2016-10-14 14:01:36 310

原创 Hbase集群安装