2014年01月_Flood_Dragon

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

翻译 [译] 基于Hadoop的视频流服务(Using Hadoop for Video Streaming)

Using Hadoop for Video Streaming基于Hadoop的视频流服务Internet Memory supplies a service to browse archived Web pages, including multimedia content. We use Hadoop, HDFS and HBase for storing and index

2014-01-27 16:50:41 1434

转载 hbase安装配置（整合到hadoop）

hbase安装配置（整合到hadoop） Huangguisu1.快速单机安装：在单机安装Hbase的方法。会引导你通过shell创建一个表，插入一行，然后删除它，最后停止Hbase。只要10分钟就可以完成以下的操作。1.1下载解压最新版本选择一个 Apache 下载镜像：http://www.apache.org/dyn/closer.cgi/hbase

2014-01-27 11:12:02 754

转载利用HDFS java API增删改查操作(转载)

利用HDFS java API增删改查操作在做这个实验的时候需要特别注意下面三个问题：1、hdfs安全模式需要关闭命令：./hadoop dfsadmin -safemode leave2、工程中依赖的版本必须和集群的一致，否则也会报 version不一致错误3、hadoop集群用户权限的问题，以及各个目录的作用目前为什么会有这三个问题的原因待查！！！

2014-01-26 17:05:26 1796

转载 ubuntu中rar与unrar用法详解

本文转载：http://helloklzs.iteye.com/blog/1139993安装：sudo apt-get install rar这样就可以安装了删除是以下语句sudo apt-get install unrar用法: rar - - a 添加

2014-01-26 12:21:19 1138

转载 Hadoop小文件存储优化

一、概述首先明确概念，这里的小文件是指小于HDFS系统Block大小的文件（默认64M），如果使用HDFS存储大量的小文件，将会是一场灾难，这取决于HDFS的实现机制和框架结构，每一个存储在HDFS中的文件、目录和块映射为一个对象存储在NameNode服务器内存中，通常占用150个字节。如果有1千万个文件，就需要消耗大约3G的内存空间。如果是10亿个文件呢，简直不可想象。这里需要特别说明的

2014-01-26 12:03:47 1397

转载 Hadoop云盘系统(转载)

总体概况项目名称: 《Hadoop云盘系统》 Ø 项目开发环境：Linux下Hadoop分布式系统Ø 项目开发环境：Ubuntu11.04+Hadoop0.20.2+JDK1.6+Eclipse3.3.2。Ø 使用技术：Hadoop + JavaØ 作品展示地址：http://blog.csdn.net/jtlyuan/ar

2014-01-25 23:57:05 1693

转载基于Hadoop1.0.4的分布式云网盘(转载)

基于Hadoop1.0.4的分布式云网盘基于Hadoop1.0.4的分布式云网盘是一款基于Hadoop平台的简易分布式网盘，整个架构由一个服务器节点（Master）以及若干数据节点（Slave/DataNode）组成小型云集群，具有低成本，高可扩展性等优势，能基本满足一个实验室的使用需求。主要实现技术：Struct2.0+Servlet+Log4j+HDFS API,在Ma

2014-01-25 23:41:48 1832

转载 Nginx搭建flv视频点播服务器

Nginx搭建flv视频点播服务器前一段时间使用Nginx搭建的多媒体服务器只能在缓冲过的时间区域内拖放, 而不能拖放到未缓冲的地方. 这就带来了一个问题: 如果视频限速的速率很小, 那么客户端观看视频时肯定不流畅, 而且用户不能向前拖放, 用户体验很不好. 如果视频限速的速率很大或者不限速, 服务器是承受不了的, 特别是在某个热门视频高并发访问的情况下, 而且客户端浏览器

2014-01-23 12:13:19 2407

转载利用nginx搭建http和rtmp协议的流媒体服务器

实验目的:让Nginx支持flv和mp4格式文件，同时支持Rtmp协议；同时打开rtmp的hls功能资料:HTTP Live Streaming（缩写是 HLS）是一个由苹果公司提出的基于HTTP的流媒体网络传输协议。HLS只请求基本的HTTP报文，与实时传输协议（RTP)不同，HLS可以穿过任何允许HTTP数据通过的防火墙或者代理服务器。它也很容易使用内容分发网络来传输媒体流。

2014-01-23 12:08:45 1308

转载搭建视频点播服务器 nginx/ flv /jw flv player

最近需要独立完成一个视频点播系统，作为当前A系统的一个大模块，一开始没什么头绪，因为之前没有接触过这方面的东西，后来经过不断的查找资料，总算慢慢找到一些线索，至少能提出并实践一个简易版的视频点播服务系统，思路如下：目前我们这有3台服务器：一台是应用服务器，安装jdk和tomcat环境，提供A系统应用服务的，另一台是数据库服务器，安装oracle；第三台是视频服务器，用来存放视频文

2014-01-23 12:06:01 1576

转载模仿某公司地图二维建筑绘制方法

我的源代码：建筑物类：需要传入两个参数：一个建筑物地基的所有顶点组成的数组（按顺时针或逆时针顺序），和建筑物的相对高度package { import flash.display.Shape; import flash.display.Sprite; import flash.geom.Point; /** * ...

2014-01-23 10:30:04 1277

转载 T级图片数据Cache思路以及图片服务器搭建方法

通过 pp.sohu.com，淘宝，拍拍网的域名分析：1871.img.pp.sohu.com.cn ，1872.img.pp.sohu.com.cn，1873.img.pp.sohu.com.cn ...大致分析，是通过squid 集群的方式实现：大致的结构图如下：分析的理由如下：（一）一般 Squid Server 集群简单的运作模式是：

2014-01-23 10:21:43 859

转载 Hadoop、Pig、Hive、Storm、NOSQL 学习资源收集【Updating】

（一）hadoop 相关安装部署1、hadoop在windows cygwin下的部署： http://lib.open-open.com/view/1333428291655http://blog.csdn.net/ruby97/article/details/7423088http://blog.csdn.net/savechina/article/detail

2014-01-22 16:38:50 1443

转载 MapReduce高级编程之自定义InputFormat

在上一篇中，我们实现了按 cookieId 和 time 进行二次排序，现在又有新问题：假如我需要按 cookieId 和 cookieId&time 的组合进行分析呢？此时最好的办法是自定义 InputFormat，让 mapreduce 一次读取一个 cookieId 下的所有记录，然后再按 time 进行切分 session，逻辑伪码如下：for OneSplit in MyIn

2014-01-22 15:53:46 776

转载在Hadoop的streaming中使用自定义的inputformat和outputformat

在Hadoop的streaming中有一个选项是指定输入输出格式化的：-inputformat TextInputFormat(default)|SequenceFileAsTextInputFormat|JavaClassName Optional. -outputformat TextOutputFormat(default)|JavaClassName Optional.

2014-01-22 15:09:34 1496

转载 Hadoop 新 MapReduce 框架 Yarn 详解

Hadoop MapReduceV2(Yarn) 框架简介原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架（0.20.0 及之前版本）的同仁应该很熟悉如下的原 Ma

2014-01-22 14:45:41 526

转载开源分布式文件系统

FastDFS是一个开源的轻量级分布式文件系统，她对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。存储节点存储文件，完成文件管

2014-01-21 14:54:42 774

转载使用hadoop存储图片服务器

公司的一个服务需要存储大量的图片服务器，考虑使用hadoop的hdfs来存放图片文件.以下是整个架构思路: 使用hadoop作为分布式文件系统，hadoop是一个实现了HDFS文件系统和MapReduce的开源项目，我们这里只是使用了它的hdfs.首先从web页面上上传的文件直接调用hadoop接口将图片文件存入hadoop系统中，hadoop可以设定备份数，这样在had

2014-01-21 14:53:59 1191

转载 hadoop三个配置文件的参数含义说明

一般来说，hadoop主要有三个默认参数文件，分别为core-default.xml，hdfs-default.xml，mapred-default.xml。其它需要用户配置的参数文件为core-site.xml，hdfs-site.xml，mapred-site.xml，下面分别介绍下相关参数的含义三个重要配置文件1，core-site.xml[node1 conf]$

2014-01-21 12:43:02 847

转载 Hadoop实战-中高级部分之 Hadoop MapReduce工作原理

第一部分：MapReduce工作原理 MapReduce 角色•Client ：作业提交发起者。•JobTracker: 初始化作业，分配作业，与TaskTracker通信，协调整个作业。•TaskTracker：保持JobTracker通信，在分配的数据片段上执行MapReduce任务。提交作业•在作业提交之前，需要对作

2014-01-21 11:49:40 652

转载 Hadoop实战-中高级部分之 Hadoop作业调优参数调整及原理

第一部分：core-site.xml•core-site.xml为Hadoop的核心属性文件，参数为Hadoop的核心功能，独立于HDFS与MapReduce。参数列表•fs.default.name•默认值 file:///•说明：设置Hadoop namenode的hostname及port，预设是Standalone mode,如果是伪分

2014-01-21 11:44:36 616

转载 Hadoop实战-初级部分之 Hadoop MapReduce JAVA API

第一部分：Word Count 程序讲解 •编写一个MapReduce 程序的步骤–编写一个Mapper类–编写一个Reducer类–编写一个Driver类（即Job），来将Mapper与Reducer类来进行组合。 java代码：查看复制到剪贴板打印Mapper

2014-01-21 11:16:50 574

原创 Flex在匿名方法移除自身的侦听方法

public static function removePopUp(popUp:IFlexDisplayObject):void { popHideEffect(popUp); zoomHide.addEventListener(EffectEvent.EFFECT_END,function(evt:EffectEvent):void { if (

2014-01-17 11:43:41 738

转载总结linux清理垃圾命令

可以使用以下命令清理系统垃圾sudo apt-get autoclean 清理旧版本的软件缓存sudo apt-get clean 清理所有软件缓存sudo apt-get autoremove 删除系统不再使用的孤立软件执行sudo nautilus /boot删除除了最新内核以外的其它文件，（比如2006-08-17 官方内核是 26，那就可以删除所有

2014-01-16 14:36:42 7293

转载 MapReduce 模式、算法和用例

本文译自 Mapreduce Patterns, Algorithms, and Use Cases在这篇文章里总结了几种网上或者论文中常见的MapReduce模式和算法，并系统化的解释了这些技术的不同之处。所有描述性的文字和代码都使用了标准hadoop的MapReduce模型，包括Mappers, Reduces, Combiners, Partitioners,和 sort

2014-01-08 16:11:05 626

转载关于学习Hadoop中未总结的资料

1）Cygwin相关资料　　（1）Cygwin上安装、启动ssh服务失败、ssh localhost失败的解决方案　　地址：http://blog.163.com/pwcrab/blog/static/16990382220107267443810/　　（2）windows2003+cygwin+ssh　　地址：http://wenku.baidu.com/view

2014-01-07 18:02:01 795

转载 HDFS中JAVA API的使用

HDFS是一个分布式文件系统，既然是文件系统，就可以对其文件进行操作，比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程。　　对分HDFS中的文件操作主要涉及一下几个类：　　Configuration类：该类的对象封转了客户端或者服务器的配置。　　FileSystem类：该类的对象是一个文件系统对象，可以用该对象的

2014-01-07 13:42:24 732

转载 HDFS API hello world

代码：[java] view plaincopypublic class HdfsAPI { public static void main(String[] args) throws IOException { put("input/test.txt", "/user/xuefeng/test.txt")

2014-01-07 13:38:53 817

转载 rg.apache.hadoop.security.AccessControlException: Permission denied: user=xxj, access=WRITE

sulution：added this entry to conf/hdfs-site.xmldfs.permissionsfalse

2014-01-07 13:35:21 1201

转载 hadoop的FileSystem 文件系统实现上传下载文件

实现文件的上传和下载：import java.io.BufferedInputStream;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.i

2014-01-03 18:01:22 628

翻译 Hadoop Map/Reduce教程(官方文档)

目的这篇教程从用户的角度出发，全面地介绍了Hadoop Map/Reduce框架的各个方面。先决条件请先确认Hadoop被正确安装、配置和正常运行中。更多信息见：Hadoop快速入门对初次使用者。Hadoop集群搭建对大规模分布式集群。概述Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上

2014-01-03 17:39:06 788

转载 Hadoop命令大全

1、列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help2、显示关于某个命令的详细信息 $ bin/hadoop fs -help command-name3、用户可使用以下命令在指定路径下查看历史日志汇总 $ bin/hadoop job -history output-dir这条命令会显示作业的细节信息，失败和终止的任务细节。

2014-01-03 16:47:26 559

转载 Hadoop实战实例

Hadoop实战实例 Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样， MapReduce的run-time系统会解决输入数据的分布细节，跨越机器集群的程序执行调度，处理机器的失效，并且管理机器之间的通讯请求

2014-01-03 12:43:54 910

转载 Ubuntu中ANT的安装和配置

一. 可以使用 sudo apt-get install ant安装，但是这种装法不好。首先安装的ant不是最新的版本，其次还要装一堆其他的附带的东西。所以我才用自己手动ant安装。二. 手动安装 1. 到Apache官网下载最新版本的ant：http://ant.apache.org/bindownload.cgi 2. 解压下载下来的.

2014-01-02 15:17:39 632

转载 Linux下成功编译hadoop-eclipse-plugin-${version}.jar

hadoop-1.2.1 eclipse插件编译在ubuntu上进行hadoop相关的开发，需要在eclipse上安装hadoop开发插件。最新释放出的hadoop包含源码的包，以hadoop-1.1.1为例，包含相关的eclipse插件的源码，因此可以针对自己的eclipse版本来编译一个hadoop的eclipse插件，我的eclipse的版本代号为indigo，以此

2014-01-02 11:42:06 1342

转载 ubuntu下安装hadoop

ubuntu版本12.04.3 64位hadoop是用运行在java虚拟机上的，所以需要先安装jdk，jdk安装配置方法在另一篇博文ubuntu12.04下安装jdk1.7源码包准备：我下载的是hadoop-1.2.1.tar.gz,这个版本比较稳定，下载地址可以到官网提供的镜像http://www.apache.org/dyn/closer.cgi/hadoop/comm

2014-01-02 10:36:00 804