- 博客(36)
- 资源 (12)
- 收藏
- 关注
翻译 [译] 基于Hadoop的视频流服务(Using Hadoop for Video Streaming)
Using Hadoop for Video Streaming基于Hadoop的视频流服务Internet Memory supplies a service to browse archived Web pages, including multimedia content. We use Hadoop, HDFS and HBase for storing and index
2014-01-27 16:50:41 1434
转载 hbase安装配置(整合到hadoop)
hbase安装配置(整合到hadoop) Huangguisu1.快速单机安装:在单机安装Hbase的方法。会引导你通过shell创建一个表,插入一行,然后删除它,最后停止Hbase。只要10分钟就可以完成以下的操作。1.1下载解压最新版本选择一个 Apache 下载镜像:http://www.apache.org/dyn/closer.cgi/hbase
2014-01-27 11:12:02 755
转载 利用HDFS java API增删改查操作(转载)
利用HDFS java API增删改查操作在做这个实验的时候需要特别注意下面三个问题:1、hdfs安全模式需要关闭 命令:./hadoop dfsadmin -safemode leave2、工程中依赖的版本必须和集群的一致,否则也会报 version不一致错误3、hadoop集群用户权限的问题,以及各个目录的作用目前为什么会有这三个问题的原因待查!!!
2014-01-26 17:05:26 1797
转载 ubuntu中rar与unrar用法详解
本文转载:http://helloklzs.iteye.com/blog/1139993安装:sudo apt-get install rar这样就可以安装了删除是以下语句sudo apt-get install unrar用法: rar - - a 添加
2014-01-26 12:21:19 1140
转载 Hadoop小文件存储优化
一、概述首先明确概念,这里的小文件是指小于HDFS系统Block大小的文件(默认64M),如果使用HDFS存储大量的小文件,将会是一场灾难,这取决于HDFS的实现机制和框架结构,每一个存储在HDFS中的文件、目录和块映射为一个对象存储在NameNode服务器内存中,通常占用150个字节。如果有1千万个文件,就需要消耗大约3G的内存空间。如果是10亿个文件呢,简直不可想象。这里需要特别说明的
2014-01-26 12:03:47 1397
转载 Hadoop云盘系统(转载)
总体概况 项目名称: 《Hadoop云盘系统》 Ø 项目开发环境:Linux下Hadoop分布式系统Ø 项目开发环境:Ubuntu11.04+Hadoop0.20.2+JDK1.6+Eclipse3.3.2。Ø 使用技术:Hadoop + JavaØ 作品展示地址:http://blog.csdn.net/jtlyuan/ar
2014-01-25 23:57:05 1694
转载 基于Hadoop1.0.4的分布式云网盘(转载)
基于Hadoop1.0.4的分布式云网盘基于Hadoop1.0.4的分布式云网盘是一款基于Hadoop平台的简易分布式网盘,整个架构由一个服务器节点(Master)以及若干数据节点(Slave/DataNode)组成小型云集群,具有低成本,高可扩展性等优势,能基本满足一个实验室的使用需求。主要实现技术:Struct2.0+Servlet+Log4j+HDFS API,在Ma
2014-01-25 23:41:48 1832
转载 Nginx搭建flv视频点播服务器
Nginx搭建flv视频点播服务器 前一段时间使用Nginx搭建的多媒体服务器只能在缓冲过的时间区域内拖放, 而不能拖放到未缓冲的地方. 这就带来了一个问题: 如果视频限速的速率很小, 那么客户端观看视频时肯定不流畅, 而且用户不能向前拖放, 用户体验很不好. 如果视频限速的速率很大或者不限速, 服务器是承受不了的, 特别是在某个热门视频高并发访问的情况下, 而且客户端浏览器
2014-01-23 12:13:19 2407
转载 利用nginx搭建http和rtmp协议的流媒体服务器
实验目的:让Nginx支持flv和mp4格式文件,同时支持Rtmp协议;同时打开rtmp的hls功能资料:HTTP Live Streaming(缩写是 HLS)是一个由苹果公司提出的基于HTTP的流媒体 网络传输协议。HLS只请求基本的HTTP报文,与实时传输协议(RTP)不同,HLS可以穿过任何允许HTTP数据通过的防火墙或者代理服务器。它也很容易使用内容分发网络来传输媒体流。
2014-01-23 12:08:45 1308
转载 搭建视频点播服务器 nginx/ flv /jw flv player
最近需要独立完成一个视频点播系统,作为当前A系统的一个大模块,一开始没什么头绪,因为之前没有接触过这方面的东西,后来经过不断的查找资料,总算慢慢找到一些线索,至少能提出并实践一个简易版的视频点播服务系统,思路如下: 目前我们这有3台服务器:一台是应用服务器,安装jdk和tomcat环境,提供A系统应用服务的,另一台是数据库服务器,安装oracle;第三台是视频服务器,用来存放视频文
2014-01-23 12:06:01 1576
转载 模仿某公司地图二维建筑绘制方法
我的源代码: 建筑物类:需要传入两个参数:一个建筑物地基的所有顶点组成的数组(按顺时针或逆时针顺序),和建筑物的相对高度package { import flash.display.Shape; import flash.display.Sprite; import flash.geom.Point; /** * ...
2014-01-23 10:30:04 1277
转载 T级图片数据Cache思路以及图片服务器搭建方法
通过 pp.sohu.com,淘宝,拍拍网的域名分析:1871.img.pp.sohu.com.cn ,1872.img.pp.sohu.com.cn,1873.img.pp.sohu.com.cn ...大致分析,是通过squid 集群的方式实现:大致的结构图如下: 分析的理由如下:(一 )一般 Squid Server 集群 简单的运作模式是:
2014-01-23 10:21:43 859
转载 Hadoop、Pig、Hive、Storm、NOSQL 学习资源收集【Updating】
(一)hadoop 相关安装部署1、hadoop在windows cygwin下的部署: http://lib.open-open.com/view/1333428291655http://blog.csdn.net/ruby97/article/details/7423088http://blog.csdn.net/savechina/article/detail
2014-01-22 16:38:50 1444
转载 MapReduce高级编程之自定义InputFormat
在上一篇中,我们实现了按 cookieId 和 time 进行二次排序,现在又有新问题:假如我需要按 cookieId 和 cookieId&time 的组合进行分析呢?此时最好的办法是自定义 InputFormat,让 mapreduce 一次读取一个 cookieId 下的所有记录,然后再按 time 进行切分 session,逻辑伪码如下:for OneSplit in MyIn
2014-01-22 15:53:46 776
转载 在Hadoop的streaming中使用自定义的inputformat和outputformat
在Hadoop的streaming中有一个选项是指定输入输出格式化的:-inputformat TextInputFormat(default)|SequenceFileAsTextInputFormat|JavaClassName Optional. -outputformat TextOutputFormat(default)|JavaClassName Optional.
2014-01-22 15:09:34 1496
转载 Hadoop 新 MapReduce 框架 Yarn 详解
Hadoop MapReduceV2(Yarn) 框架简介原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,读者可参考 Hadoop 官方简介。使用和学习过老 Hadoop 框架(0.20.0 及之前版本)的同仁应该很熟悉如下的原 Ma
2014-01-22 14:45:41 526
转载 开源分布式文件系统
FastDFS是一个开源的轻量级分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡的作用。存储节点存储文件,完成文件管
2014-01-21 14:54:42 775
转载 使用hadoop存储图片服务器
公司的一个服务需要存储大量的图片服务器,考虑使用hadoop的hdfs来存放图片文件.以下是整个架构思路: 使用hadoop作为分布式文件系统,hadoop是一个实现了HDFS文件系统和MapReduce的开源项目,我们这里只是使用了它的hdfs.首先从web页面上上传的文件直接调用hadoop接口将图片文件存入hadoop系统中,hadoop可以设定备份数,这样在had
2014-01-21 14:53:59 1191
转载 hadoop三个配置文件的参数含义说明
一般来说,hadoop主要有三个默认参数文件,分别为core-default.xml,hdfs-default.xml,mapred-default.xml。其它需要用户配置的参数文件为core-site.xml,hdfs-site.xml,mapred-site.xml,下面分别介绍下相关参数的含义三个重要配置文件1,core-site.xml[node1 conf]$
2014-01-21 12:43:02 847
转载 Hadoop实战-中高级部分 之 Hadoop MapReduce工作原理
第一部分:MapReduce工作原理 MapReduce 角色•Client :作业提交发起者。•JobTracker: 初始化作业,分配作业,与TaskTracker通信,协调整个作业。•TaskTracker:保持JobTracker通信,在分配的数据片段上执行MapReduce任务。提交作业•在作业提交之前,需要对作
2014-01-21 11:49:40 652
转载 Hadoop实战-中高级部分 之 Hadoop作业调优参数调整及原理
第一部分:core-site.xml•core-site.xml为Hadoop的核心属性文件,参数为Hadoop的核心功能,独立于HDFS与MapReduce。参数列表•fs.default.name•默认值 file:///•说明:设置Hadoop namenode的hostname及port,预设是Standalone mode,如果是伪分
2014-01-21 11:44:36 616
转载 Hadoop实战-初级部分 之 Hadoop MapReduce JAVA API
第一部分:Word Count 程序讲解 •编写一个MapReduce 程序的步骤–编写一个Mapper类–编写一个Reducer类–编写一个Driver类(即Job),来将Mapper与Reducer类来进行组合。 java代码:查看复制到剪贴板打印Mapper
2014-01-21 11:16:50 574
原创 Flex在匿名方法移除自身的侦听方法
public static function removePopUp(popUp:IFlexDisplayObject):void { popHideEffect(popUp); zoomHide.addEventListener(EffectEvent.EFFECT_END,function(evt:EffectEvent):void { if (
2014-01-17 11:43:41 738
转载 总结linux清理垃圾命令
可以使用以下命令清理系统垃圾sudo apt-get autoclean 清理旧版本的软件缓存sudo apt-get clean 清理所有软件缓存sudo apt-get autoremove 删除系统不再使用的孤立软件执行sudo nautilus /boot删除除了最新内核以外的其它文件,(比如2006-08-17 官方内核是 26,那就可以删除所有
2014-01-16 14:36:42 7294
转载 MapReduce 模式、算法和用例
本文译自 Mapreduce Patterns, Algorithms, and Use Cases在这篇文章里总结了几种网上或者论文中常见的MapReduce模式和算法,并系统化的解释了这些技术的不同之处。所有描述性的文字和代码都使用了标准hadoop的MapReduce模型,包括Mappers, Reduces, Combiners, Partitioners,和 sort
2014-01-08 16:11:05 626
转载 关于学习Hadoop中未总结的资料
1)Cygwin相关资料 (1)Cygwin上安装、启动ssh服务失败、ssh localhost失败的解决方案 地址:http://blog.163.com/pwcrab/blog/static/16990382220107267443810/ (2)windows2003+cygwin+ssh 地址:http://wenku.baidu.com/view
2014-01-07 18:02:01 795
转载 HDFS中JAVA API的使用
HDFS是一个分布式文件系统,既然是文件系统,就可以对其文件进行操作,比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程。 对分HDFS中的文件操作主要涉及一下几个类: Configuration类:该类的对象封转了客户端或者服务器的配置。 FileSystem类:该类的对象是一个文件系统对象,可以用该对象的
2014-01-07 13:42:24 732
转载 HDFS API hello world
代码:[java] view plaincopypublic class HdfsAPI { public static void main(String[] args) throws IOException { put("input/test.txt", "/user/xuefeng/test.txt")
2014-01-07 13:38:53 817
转载 rg.apache.hadoop.security.AccessControlException: Permission denied: user=xxj, access=WRITE
sulution:added this entry to conf/hdfs-site.xmldfs.permissionsfalse
2014-01-07 13:35:21 1201
转载 hadoop的FileSystem 文件系统实现上传下载文件
实现文件的上传和下载:import java.io.BufferedInputStream;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.i
2014-01-03 18:01:22 628
翻译 Hadoop Map/Reduce教程(官方文档)
目的这篇教程从用户的角度出发,全面地介绍了Hadoop Map/Reduce框架的各个方面。先决条件请先确认Hadoop被正确安装、配置和正常运行中。更多信息见:Hadoop快速入门对初次使用者。Hadoop集群搭建对大规模分布式集群。概述Hadoop Map/Reduce是一个使用简易的软件框架,基于它写出来的应用程序能够运行在由上
2014-01-03 17:39:06 788
转载 Hadoop命令大全
1、列出所有Hadoop Shell支持的命令 $ bin/hadoop fs -help2、显示关于某个命令的详细信息 $ bin/hadoop fs -help command-name3、用户可使用以下命令在指定路径下查看历史日志汇总 $ bin/hadoop job -history output-dir这条命令会显示作业的细节信息,失败和终止的任务细节。
2014-01-03 16:47:26 559
转载 Hadoop实战实例
Hadoop实战实例 Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样, MapReduce的run-time系统会解决输入数据的分布细节,跨越机器集群的程序执行调度,处理机器的失效,并且管理机器之间的通讯请求
2014-01-03 12:43:54 910
转载 Ubuntu中ANT的安装和配置
一. 可以使用 sudo apt-get install ant安装,但是这种装法不好。首先安装的ant不是最新的版本,其次还要装一堆其他的附带的东西。所以我才用自己手动ant安装。二. 手动安装 1. 到Apache官网下载最新版本的ant:http://ant.apache.org/bindownload.cgi 2. 解压下载下来的.
2014-01-02 15:17:39 633
转载 Linux下成功编译hadoop-eclipse-plugin-${version}.jar
hadoop-1.2.1 eclipse插件编译 在ubuntu上进行hadoop相关的开发,需要在eclipse上安装hadoop开发插件。最新释放出的hadoop包含源码的包,以hadoop-1.1.1为例,包含相关的eclipse插件的源码,因此可以针对自己的eclipse版本来编译一个hadoop的eclipse插件,我的eclipse的版本代号为indigo,以此
2014-01-02 11:42:06 1342
转载 ubuntu下安装hadoop
ubuntu版本12.04.3 64位hadoop是用运行在java虚拟机上的,所以需要先安装jdk,jdk安装配置方法在另一篇博文ubuntu12.04下安装jdk1.7源码包准备:我下载的是hadoop-1.2.1.tar.gz,这个版本比较稳定,下载地址可以到官网提供的镜像http://www.apache.org/dyn/closer.cgi/hadoop/comm
2014-01-02 10:36:00 805
Hortonworks Data Platform: HDFS Administration Guide
2015-10-26
Hortonworks Data Platform: YARN Resource Management
2015-10-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人