CDP平台各组件的版本

机缘

cloudera与readheat合并后停止CDH平台的维护更新，推出CDP版本。
公司升级过程中遇到的一些问题在这里纪录一下。

---

收获

cdp升级后各组件对应的版本信息
组件名称 CDP7.17
Apache Hadoop 3.1.1.1.1.70-551
Apache Hbase 2.2.3.7.1.7.0-551
Apache Hive 3.1.3000.7.77-551
Hue 4.5.0
Apache Impala 3.4.0
Apache Kudu 1.15.0
Apache Solr 8.4.1
Apache Oozie 5.10
Apache Ranger 2.1.0
Apache atlas 2.10
Apache Spark 2.4.7（同时集成Spark3-3.1.1.3）
Apache Sqoop 1.4.7
Apache ZooKeeper 3.5.5
Apache Phoenix 5.1.1
Apache Parquet 1.10.99
Apache Avro 1.8.2
Apache Nifi 1.13.2 代替Apache Flume
Apache TEZ 0.9.1
Apache Zeppelin 0.8.2
Cloudera Manager Agent 7.44
hadoop-kms 3.1.1
HCatalog 3.1.3000
HttpFS 3.1.1
HBase Indexer 1.5.0
MapReduce 3.1.1
Supervisord 3.4
Apache Kafka 2.5.0
Streams Messaging Manager 2.1.0
Streams Replication Manager 2.1.0
Schema Registry 0.10.0
Apache Flink 1.14.0
SQL Stream Builder 1.14.0-csa1.6.0.0
Apache livy 0.6.0
Apache Arrow 0.8.0
Apache Calcite 1.19.0
Cruise Control 2.0.100
Apache ORC 1.5.1
Python2 2.7.18
Python3 3.7.6

---

日常

NiFi 是将数据从A点移动到B点的强大工具，具有基于GUI的拖放体验。它是一个命令和控制工具，这意味着构建，迁移，见识和管理数据流，只需在浏览器上单击和拖动内容即可。诸如安全性，沿袭和可伸缩性之类的非功能特性几乎是内置的。
Flune 是单向（进入Hadoop）命令行 解决方案工具。用于将基于文件的数据从少量来源中提取到Hadoop中。某种程度的扩展和定制是可能的，但是需要手工编码以扩展接口。有时，Flume被设计为“实时数据处理器” 但实际上，它只是适应于抓取日志尾部。
所以可以理解 NiFi功能远远大于Flume，Flume只是其中功能的一部分。Nifi包括数据整合、加工、分发管理等功能。

在CDH中设置多字段分隔符为
ROW FORMAT SERDE
‘org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe’
WITH SERDEPROPERTIES(
‘field.delim’=‘|^^|’,
‘line.delim’=‘\n’,
‘serialization.encoding’=‘GBK’,
‘serialization.null.format’=‘’
)
在CDP中设置多字段分隔符为
ROW FORMAT SERDE
‘org.apache.hadoop.hive.serde2.MultiDelimitSerDe’
WITH SERDEPROPERTIES(
‘field.delim’=‘|^^|’,
‘line.delim’=‘\n’,
‘serialization.encoding’=‘GBK’,
‘serialization.null.format’=‘’
)

在CDP中Hbase表是直接对Hive授权的 不需要在使用grant命令对hive用户授权了
将solr索引文件导入到solr表的mr类
“hadoop jar /opt/cloudera/parcels/CDH/jars/search-mr-1.0.0-cdh5.15.2-job.jar org.apache.solr.hadoop.MapReduceIndexerTool
–zk-host
–clllection
–morphline-flie
–input-list
–go-live
–output-dir
”

"
HBase bulkload的命令
hbase classpath hadoop jar /opt/cloudera/parcels/CDH/jars/hbase-server-1.2.0-cdh5.16.2.jar completebulkload
/user/my/jrrlfile/table/20211130/backup/F2 my_ns:mytalbe"

---

憧憬

我会在cdp平台升级中不断更新遇到的问题并分享响应的解决方法。

Tips