2014年03月_Flood_Dragon

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 Hadoop作业提交解决

最近几天一直在纠结hadoop作业提交的问题，对于命令行提交作业以及在集群中提交作业这里不再赘述，不会就去Google吧！我们在客户机提交作业的时候总是发现出错，eclipse总是报jar file not found 的错误！我们知道客户端提交任务的时候，使用方法job.setWaitForCompletion(true)的时候，这个方法会调用job的submit()方法，sub

2014-03-18 14:38:02 961

转载 MapReduce工作原理图文详解

前言：前段时间我们云计算团队一起学习了hadoop相关的知识，大家都积极地做了、学了很多东西，收获颇丰。可是开学后，大家都忙各自的事情，云计算方面的动静都不太大。呵呵~不过最近在胡老大的号召下，我们云计算团队重振旗鼓了，希望大伙仍高举“云在手，跟我走”的口号战斗下去。这篇博文就算是我们团队“重启云计算”的见证吧，也希望有更多优秀的文章出炉。汤帅，亮仔，谢总•••搞起来啊！呵呵，下

2014-03-14 15:13:35 582

转载 ffmpeg命令详解

一、ffmpeg命令详解ffmpeg非常强大，轻松几条命令就可以完成你的工作。把darkdoor.[001-100].jpg序列帧和001.mp3音频文件利用mpeg4编码方式合成视频文件darkdoor.avi：$ ffmpeg -i 001.mp3 -i darkdoor.%3d.jpg -s 1024×768 -author skypp -vcodec mpeg4 dar

2014-03-13 16:51:54 2211

转载 ffmpeg转换mp4到flv的使用笔记

假定ffmpeg.exe位于C:\ffmpeg目录下面。Run->cmdcd c:\ffmpegffmpeg -i E:\a.mp3 -ab 56 -ar 22050 -b 500 -r 15 -s 320x240 E:\1.flv------以下内容转自随州部落，作者为风吹着------ffmpeg -i F:\01.wmv -ab 56 -ar 22050 -b 5

2014-03-13 16:44:47 3807

转载 x264和FFMPEG 编译后遇到的一些问题：UINT64_C,

吭吃坑吃的编译安装完ffmpeg 0.75，在centos5.9上后，遇到了一些问题，都是十分常见的问题，希望对大家有用。问题一/usr/local/include/libavutil/common.h: In function ‘int32_t av_clipl_int32_c(int64_t)’:/usr/local/include/libavutil/common.h:1

2014-03-13 16:36:37 822

转载 Hadoop MapReduce进阶使用分布式缓存进行replicated join

转自：http://blog.csdn.net/jokes000/article/details/7084351概念：reduce-side join技术是灵活的，但是有时候它仍然会变得效率极低。由于join直到reduce()阶段才会开始，我们将会在网络中传递shuffle所有数据，而在大多数情况下，我们会在join阶段丢掉大多数传递的数据。因此我们期望能够在map阶段完成整个joi

2014-03-13 15:12:28 652

转载 Hadoop MapReduce进阶使用DataJoin包实现Join

概念：Hadoop有一个叫DataJoin的包为Data Join提供相应的框架。它的Jar包存在于contrib/datajoin/hadoop-*-datajoin。为区别于其他的data join技术，我们称其为reduce-side join。（因为我们在reducer上作大多数的工作）reduce-side join引入了一些术语及概念：

2014-03-13 15:09:07 621

转载 Hadoop MapReduce进阶使用Chain

情况：在进行高级的数据处理时，你会发现你的程序不能放在一个的MapReduce job之中了。Hadoop支持将多个MapReduce Job串成一条链来形成一个更大的MapReduce Job。同时你会发现Hadoop数据处理过程中通常包括多个数据源，我们将探索一些join技术同时处理多个数据源。1.将具有复杂依赖关系的多个MapReduce Job串联起来。情况：有三个Job,

2014-03-13 15:08:02 646

翻译 Hadoop Combiner提高Map/Reduce效率

众所周知，Hadoop框架使用Mapper将数据处理成一个键值对，再网络节点间对其进行整理(shuffle)，然后使用Reducer处理数据并进行最终输出。在上述过程中，我们看到至少两个性能瓶颈：如果我们有10亿个数据，Mapper会生成10亿个键值对在网络间进行传输，但如果我们只是对数据求最大值，那么很明显的Mapper只需要输出它所知道的最大值即可。这样做不仅可

2014-03-13 15:05:44 676

转载 Linux下ffmpeg安装与开发配置

Linux下ffmpeg安装与开发配置　　1. ffmpeg安装　　安装环境：　　ubuntu 12.04　　（1）删除已安装的文件，避免冲突　　sudo apt-get remove ffmpeg x264　　sudo apt-get autoremove　　（2）安装需要的支持　　sudo apt-get install make

2014-03-13 13:55:53 728

转载 ubuntu memcached安装与配置

关于Memcache与memcachedMemcache是项目名，memcached是服务名。让很多初接触的人感觉很是莫名其妙。个人认为正确的应该是用前者用更为正确一点。安装MemcacheMemcache分为两部分,Memcache服务端和客户端。Memcache服务端是作为服务来运行的，所有数据缓存的建立，存储，删除实际上都是在这里完成的。客户端，在这里我们指的

2014-03-04 11:41:40 553