2014年03月_xiao_jun_0820

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 Hadoop中的各种排序

原文：http://blog.csdn.net/kingjinzi_2008/article/details/77381881：shuffle阶段的排序（部分排序）shuffle阶段的排序可以理解成两部分，一个是对spill进行分区时，由于一个分区包含多个key值，所以要对分区内的按照key进行排序，即key值相同的一串存放在一起，这样一个partition内按照key值整体有序了

2014-03-26 14:46:40 881

转载 js混淆代码还原－js反混淆：利用js进行赋值实现

【不想用工具的直接看方法二】本文地址：http://www.cnblogs.com/vnii/archive/2011/12/14/2287504.html方法一：利用IE开发人员工具（IE8开始已经自带，IE7以前需要下载安装IE Developer Toolbar）进行反混淆，本人常用Chrome，但是没有找到利用Chrome自带的开发人员工具去实现反混淆的方法。。。希望哪位

2014-03-25 08:49:52 4101

原创 mapreduce中map数量计算

mapreduce作业会根据输入目录产生多个map任务, 通过多个map任务并行执行来提高作业运行速度, 但如果map数量过少, 并行量低, 作业执行慢, 如果map数过多, 资源有限, 也会增加调度开销. 因此, 根据输入产生合理的map数,为每个map分配合适的数据量, 能有效的提升资源利用率, 并使作业运行速度加快. 假设put一个160M的文件到HDFS上，blockSize为默认

2014-03-21 14:59:01 4090

转载 MapReduce:详解Shuffle过程

原文地址:http://doudouclever.blog.163.com/blog/static/175112310201271043210475/ Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapRedu

2014-03-20 11:25:01 621

维护人员近期反应我写的爬取某网站数据的程序执行比较慢，看了一下运行爬虫的机器的状态，磁盘IO 100%了，于是想优化一下，减少磁盘IO，关于减少磁盘IO的最容易想到的方法就是内存缓冲区，我原来的程序设计的是每抓一条数据都会插入数据库或者更新数据库对应的数据，由于资源有限，数据库和爬虫程序都放在了一台机器上（更坑爹的是机器还很烂），多个城市的爬虫程序一起执行的话，磁盘的IO明显就捉急了。具体的方案：

2014-03-20 10:32:32 1461

转载 mapreduce join 例子

原文出处：http://blog.sina.com.cn/s/blog_4a1f59bf0100l9cp.html 对于一个大数据的分析应用,join是必不可少的一项功能.现在很多构建与hadoop之上的应用,如Hive,PIG等在其内部实现了join程序,可以通过很简单的sql语句或者数据操控脚本完成相应的Join工作.那么join应该如何实现呢?今天我们就对join做一个简单的实现.我

2014-03-18 14:01:11 1755

转载安装一个单节点的 Hadoop 分布式系统

安装一个单节点的 Hadoop 分布式系统返回原文英文原文：Hadoop MapReduce Next Generation - Setting up a Single Node Cluster.Mapreduce TarballYou should be able to obtain the MapReduce tarball from the release. If not, you shou

2014-03-10 11:51:34 815

原创一直困惑的DIV并列显示，原来css3可以实现，早应该去看看CSS3的手册了。

div.container{width:90%;border:1em solid;}div.box{box-sizing:border-box;-moz-box-sizing:border-box; /* Firefox */-webkit-box-sizing:border-box; /* Safari */width:50%;border:1em s

2014-03-07 23:20:42 3793

原创 css3 2D和3D旋转效果

.animated_div {width: 100px;height: 80px;color: blue;position: relative;font-weight: bold;padding: 20px 10px 0px 10px;float: left;margin: 20px;margin-right: 50px;border: 1px solid

2014-03-07 22:52:42 2895

转载 JS获取IP经纬度，地址等

http://blog.csdn.net/macwhirr123/article/details/7576634xxxxx function aa(){ document.getElementById("lat").value = ipLocation.latitude; document.getElementById("long").val

2014-03-07 16:14:51 13300 1