hadoop
sunshine_pb
技术交流q:1139259155
展开
-
hadoop + ffmpeg 分布式转码系统实践
hadoop + ffmpeg 分布式转码系统实践hadoop 安装ffmpeg 安装mkvtoolnix 安装一、分割视频:mkvmerge --split size:32m ./heihu01.mp4 -o ./heihu01.%05d.mp4二、hdfs中创建存放分割后视频的目录hadoop fs -mkdir movi转载 2014-09-04 15:09:03 · 3013 阅读 · 0 评论 -
hadoop 自定义数据类型
1.Hadoop 内置的数据类型的介绍Hadoop提供了如下内置的数据类型,这些数据类型都实现了WritableCamparable接口,以便用这些类型定义的数据可以被序列化进行网络传输和文件存储,以及进行大小比较。IntWritable:整型数 (常用)Text:使用UTF8格式存储的文本 (常用)BooleanWritable:标准布尔型数值ByteWritab原创 2014-09-18 22:02:15 · 967 阅读 · 0 评论 -
hadoop 细节点
HDFS在选择Datanode存放数据副本时是在机架上随机选择Datanode,可能导致集群中节点的负载不均衡和整个HDFS集群系统性能下降原创 2014-10-02 16:49:04 · 434 阅读 · 0 评论 -
MapReduce TopK 文件
问题描述:对于每日访问google 的ip做个记录 对应计算出当天前K个访问次数最多的ip地址。对应此问题 先自定制一个ip格式的数据类型 继承WritableComparable接口。[java] view plaincopypackage reverseIndex; import java.io.DataInput;转载 2014-10-06 17:07:46 · 495 阅读 · 0 评论 -
hadoop hdfs api基本操作
1.1 上传本地文件到文件系统原创 2014-09-02 16:02:32 · 547 阅读 · 0 评论 -
hadoop之split
1. split大小的计算公式 minSize=max{minSplitSize,mapred.min.split.size} (minSplitSize大小默认为1B) maxSize=mapred.max.split.size(不在配置文件中指定时大小为Long.MAX_VALUE) splitSize=max{minSize,min{maxSize,blo原创 2014-09-09 16:44:10 · 1008 阅读 · 0 评论 -
分布式计算、并行计算及集群、网格、云计算的区别
转自:http://blog.csdn.net/cuidiwhere/article/details/7884545并行计算:并行计算是相对于串行计算来说的。可分为时间上的并行和空间上的并行。 时间上的并行就是指流水线技术,而空间上的并行则是指用多个处理器并发的执行计算。例如基于CUDA编程。并行计算的目的就是提供单处理器无法提供的性能(处理器能力或存储器),使用多处理器求解单个问题。转载 2014-03-10 21:01:46 · 2074 阅读 · 0 评论 -
hadoop 安装错误贴
1.namenode 无法启动原因1:原创 2014-07-20 16:07:04 · 431 阅读 · 0 评论 -
hadoop 开发错误贴
java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///原创 2014-09-06 15:43:19 · 655 阅读 · 0 评论 -
Hadoop实例:二度人脉与好友推荐
Hadoop实例:二度人脉与好友推荐转载 2015-10-07 11:29:14 · 1565 阅读 · 0 评论