小码农的专栏

原创 kettle6.0linux安装配置

kettlekettle部署分为kettle server部署和客户端的kettle client部署，二者安装包完全一致，除因为不同操作系统执行相对应的脚本文件外(linux执行shell文件，windows执行bat文件)，其它配置基本一致。kettle版本：6.0,下载地址：http://sourceforge.net/projects/pentaho/files/Data%

原创 pentaho bi server5.4MySQL部署

bi server版本约定BI Server版本：5.4.0.1，下载地址：http://sourceforge.net/projects/pentaho/files/Business%20Intelligence%20Server/5.4/操作系统：Centos6.5 x64系统，IP地址：10.100.3.73。JDK版本：JDK1.7或以上MySQL版本：MySQL5

原创 YARN动态资源池使用配置

动态资源池是用来做资源配置和调度策略管理，动态资源池中可以运行YARN应用和Impala查询任务。动态资源池允许用户在运行YARN应用或Impala查询任务的时候指定特定的池并调度池中可用的资源。一个典型的应用场景就是当我们通过Oozie调度Pig任务的时候，如果我们同时提交大量的Oozie任务，Oozie任务在启动launch的时候是需要占用资源的，可能就会导致资源占满而使后续的Pig任务无法执

原创 CDH5安装组件服务部署分布图

原创 Solr 数据迁移

说明：此处描述的数据迁移主要是针对原有通过本地文件系统保存Solr索引文件的数据迁移到CDH5中通过HDFS保存Solr索引文件的流程。原有solr数据环境：10.100.3.38,collection：xcloud-actlog-p-nc1z1,shard数：2迁移solr数据环境：10.100.3.95,10.100.3.96,10.100.3.97,10.100.3.98,1

原创 CDH5 Solr性能调优

Solr性能调优Solr性能调优是个复杂的过程，本文旨在描述Solr在使用过程中对性能优化的注意事项。在安装完成之后的调优有些配置最好在安装之后立马修改，这样可以避免修改配置之后需要重复索引。配置一个必须的Lucene版本配置一个我们安装的最新版本的Lucene版本，最新的版本将拥有最新的特性以及对一些已知bug的修复，推荐使用solr最新版的lucene版

原创 Lily HBase Indexer使用整理

关于Key-Value Indexer组件CDH5.3.2中的Key-Value Indexer使用的是Lily HBase NRT Indexer服务，Lily HBase Indexer是一款灵活的、可扩展的、高容错的、事务性的，并且近实时的处理HBase列索引数据的分布式服务软件。它是NGDATA公司开发的Lily系统的一部分，已开放源代码。Lily HBase Indexer使

原创 Cloudera Search Solr初探

说明Solr在CDH5.3.2中主要用于Cloudera Search整体的解决方案，本文暂只描述Solr在CDH5.3.2中的一般使用情况。关于SolrSolr是Apache Lucene项目的开源企业搜索平台。其主要功能包括全文检索、命中标示、分面搜索、动态聚类、数据库集成，以及富文本（如Word、PDF）的处理。Solr是高度可扩展的，并提供了分布式搜索和

原创 org.apache.hadoop.hdfs.protocol.FSLimitException$PathComponentTooLongException

今天在CDH5.3.2上测试原有运行在CDH3U5的MR任务，其中几个任务正常执行，其中一个任务莫名报了如下异常：org.apache.hadoop.yarn.exceptions.YarnRuntimeException:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.FSLimitException

原创 CDH5.3.2安装详细文档以及相关问题处理

版本约定操作系统版本centos6.5,64位jdk1.6的版本也支持jdk1.7的版本python版本为2.6或者2.7集群版本cdh5.3.2cloudera manager 5.3mysql5.0以上版本 CM安装前说明防火墙关闭         service iptables stop chkconfig i