- 博客(12)
- 资源 (13)
- 收藏
- 关注
RSS订阅转载 HDFS集中式缓存管理（Centralized Cache Management）
Hadoop从2.3.0版本开始支持HDFS缓存机制，HDFS允许用户将一部分目录或文件缓存在HDFS当中，NameNode会通知拥有对应块的DataNodes将其缓存在DataNode的内存当中集中式缓存管理有着许多显著的优势：防止那些被频繁使用的数据从内存中清除因为DataNode的缓存由NameNode来管理，applications在做任务安排时可以查询这个缓存
2014-07-28 11:01:53
1066
原创 pig命令学习
注释：For multi-line comments use /* …. */For single-line comments use --
2014-07-24 01:26:08
1040
转载 实战Nginx与PHP（FastCGI）的安装、配置与优化
一、什么是 FastCGIFastCGI是一个可伸缩地、高速地在HTTP server和动态脚本语言间通信的接口。多数流行的HTTP server都支持FastCGI，包括Apache、Nginx和lighttpd等，同时，FastCGI也被许多脚本语言所支持，其中就有PHP。FastCGI是从CGI发展改进而来的。传统CGI接口方式的主要缺点是性能很差，因为每次HTTP服务器遇到动态程序
2014-07-23 16:17:56
619
原创 sqoop2 hadoop ha搭建注意
Hadoop libraries must be available on node where you are planning to run Sqoop server with proper configuration for major services - NameNode and either JobTrackeror ResourceManager depending whet
2014-07-23 00:21:27
1545
转载 Spark-1.0.0 standalone分布式安装教程
Spark目前支持多种分布式部署方式：一、Standalone Deploy Mode；二Amazon EC2、；三、Apache Mesos；四、Hadoop YARN。第一种方式是单独部署，不需要有依赖的资源管理器，其它三种都需要将spark部署到对应的资源管理器上。 除了部署的多种方式之外，较新版本的Spark支持多种hadoop平台，比如从0.8.1版本开始分别支持Had
2014-07-22 23:19:45
1173
原创 hive Version information not found 错误解决办法
. 修改conf/hive-site.xml 中的 “hive.metastore.schema.verification” 值为 false 即可解决 “Caused by: MetaException(message:Version information not found in metastore. )” 5. 调试 模式命令 hive -hiveconf hive.ro
2014-07-22 20:56:04
3087
原创 基于Ubuntu 13.04 的Nginx 流媒体服务器的搭建
1、安装依赖包：apt-get install build-essential zlib1g-dev libssl-dev tcl8.4 tk8.4 gettext2、安装git工具:#wget http://www.codemonkey.org.uk/projects/git-snapshots/git/git-latest.tar.gz#tar xzvf git-lat
2014-07-22 11:09:09
1370
转载 yarn 日志聚集配置
日志聚集相关配置参数日志聚集是YARN提供的日志中央化管理功能，它能将运行完成的Container/任务日志上传到HDFS上，从而减轻NodeManager负载，且提供一个中央化存储和分析机制。默认情况下，Container/任务日志存在在各个NodeManager上，如果启用日志聚集功能需要额外的配置。（1） yarn.log-aggregation-enable参数解释
2014-07-14 01:26:42
847
hadoop-cdh4.6配置文件
2014-05-02
ext2Spring
2013-11-23
hadoopDemo-mapreduce
2013-11-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人