小码农的专栏

今天在CDH5.3.2上测试原有运行在CDH3U5的MR任务，其中几个任务正常执行，其中一个任务莫名报了如下异常：org.apache.hadoop.yarn.exceptions.YarnRuntimeException:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.FSLimitException

版本约定操作系统版本centos6.5,64位jdk1.6的版本也支持jdk1.7的版本python版本为2.6或者2.7集群版本cdh5.3.2cloudera manager 5.3mysql5.0以上版本 CM安装前说明防火墙关闭         service iptables stop chkconfig i

说明Solr在CDH5.3.2中主要用于Cloudera Search整体的解决方案，本文暂只描述Solr在CDH5.3.2中的一般使用情况。关于SolrSolr是Apache Lucene项目的开源企业搜索平台。其主要功能包括全文检索、命中标示、分面搜索、动态聚类、数据库集成，以及富文本（如Word、PDF）的处理。Solr是高度可扩展的，并提供了分布式搜索和

Solr性能调优Solr性能调优是个复杂的过程，本文旨在描述Solr在使用过程中对性能优化的注意事项。在安装完成之后的调优有些配置最好在安装之后立马修改，这样可以避免修改配置之后需要重复索引。配置一个必须的Lucene版本配置一个我们安装的最新版本的Lucene版本，最新的版本将拥有最新的特性以及对一些已知bug的修复，推荐使用solr最新版的lucene版

说明：此处描述的数据迁移主要是针对原有通过本地文件系统保存Solr索引文件的数据迁移到CDH5中通过HDFS保存Solr索引文件的流程。原有solr数据环境：10.100.3.38,collection：xcloud-actlog-p-nc1z1,shard数：2迁移solr数据环境：10.100.3.95,10.100.3.96,10.100.3.97,10.100.3.98,1

关于Key-Value Indexer组件CDH5.3.2中的Key-Value Indexer使用的是Lily HBase NRT Indexer服务，Lily HBase Indexer是一款灵活的、可扩展的、高容错的、事务性的，并且近实时的处理HBase列索引数据的分布式服务软件。它是NGDATA公司开发的Lily系统的一部分，已开放源代码。Lily HBase Indexer使

动态资源池是用来做资源配置和调度策略管理，动态资源池中可以运行YARN应用和Impala查询任务。动态资源池允许用户在运行YARN应用或Impala查询任务的时候指定特定的池并调度池中可用的资源。一个典型的应用场景就是当我们通过Oozie调度Pig任务的时候，如果我们同时提交大量的Oozie任务，Oozie任务在启动launch的时候是需要占用资源的，可能就会导致资源占满而使后续的Pig任务无法执