- 博客(12)
- 资源 (13)
- 收藏
- 关注
转载 HDFS集中式缓存管理(Centralized Cache Management)
Hadoop从2.3.0版本开始支持HDFS缓存机制,HDFS允许用户将一部分目录或文件缓存在HDFS当中,NameNode会通知拥有对应块的DataNodes将其缓存在DataNode的内存当中集中式缓存管理有着许多显著的优势:防止那些被频繁使用的数据从内存中清除因为DataNode的缓存由NameNode来管理,applications在做任务安排时可以查询这个缓存
2014-07-28 11:01:53 1066
原创 pig命令学习
注释:For multi-line comments use /* …. */For single-line comments use --
2014-07-24 01:26:08 1040
转载 实战Nginx与PHP(FastCGI)的安装、配置与优化
一、什么是 FastCGIFastCGI是一个可伸缩地、高速地在HTTP server和动态脚本语言间通信的接口。多数流行的HTTP server都支持FastCGI,包括Apache、Nginx和lighttpd等,同时,FastCGI也被许多脚本语言所支持,其中就有PHP。FastCGI是从CGI发展改进而来的。传统CGI接口方式的主要缺点是性能很差,因为每次HTTP服务器遇到动态程序
2014-07-23 16:17:56 620
原创 sqoop2 hadoop ha搭建注意
Hadoop libraries must be available on node where you are planning to run Sqoop server with proper configuration for major services - NameNode and either JobTrackeror ResourceManager depending whet
2014-07-23 00:21:27 1545
转载 Spark-1.0.0 standalone分布式安装教程
Spark目前支持多种分布式部署方式:一、Standalone Deploy Mode;二Amazon EC2、;三、Apache Mesos;四、Hadoop YARN。第一种方式是单独部署,不需要有依赖的资源管理器,其它三种都需要将spark部署到对应的资源管理器上。 除了部署的多种方式之外,较新版本的Spark支持多种hadoop平台,比如从0.8.1版本开始分别支持Had
2014-07-22 23:19:45 1174
原创 hive Version information not found 错误解决办法
. 修改conf/hive-site.xml 中的 “hive.metastore.schema.verification” 值为 false 即可解决 “Caused by: MetaException(message:Version information not found in metastore. )” 5. 调试 模式命令 hive -hiveconf hive.ro
2014-07-22 20:56:04 3102
原创 基于Ubuntu 13.04 的Nginx 流媒体服务器的搭建
1、安装依赖包:apt-get install build-essential zlib1g-dev libssl-dev tcl8.4 tk8.4 gettext2、安装git工具:#wget http://www.codemonkey.org.uk/projects/git-snapshots/git/git-latest.tar.gz#tar xzvf git-lat
2014-07-22 11:09:09 1371
转载 yarn 日志聚集配置
日志聚集相关配置参数日志聚集是YARN提供的日志中央化管理功能,它能将运行完成的Container/任务日志上传到HDFS上,从而减轻NodeManager负载,且提供一个中央化存储和分析机制。默认情况下,Container/任务日志存在在各个NodeManager上,如果启用日志聚集功能需要额外的配置。(1) yarn.log-aggregation-enable参数解释
2014-07-14 01:26:42 848
hadoop-cdh4.6配置文件
2014-05-02
ext2Spring
2013-11-23
hadoopDemo-mapreduce
2013-11-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人