u011967615的博客

在/etc/spark/conf/目录下把老的spark的classpath.txt  spark-env.sh   复制到/data/cloudera/parcels/SPARK2-2.0.0.cloudera2-1.cdh5.7.0.p0.118100/etc/spark2/conf.dist/下,/etc/spark2/conf是该目录的链接，然后修改spark-env.sh中SPARK_H

命令生成的collection文件夹中改IK的配置貌似没用在/data/cloudera/parcels/CDH-5.10.0-1.cdh5.10.0.p0.41/lib/solr/webapps/solr/WEB-INF/ 目录下创建文件夹classesIKAnalyzer.cfg.xml和自定义的停词库和语料库放在classes文件夹中schema.xml的types

总结一下这两天hbase迁数据的过程Import导入 直接使用import导入hbase的时候实在太慢，并且占用的yarn资源也很多，对yarn上的其他应用资源的申请影响很大bulkload导入 后来改用先生成hfile，然后用LoadIncrementalHFiles导入，用import和importTsv都可以生成hfile，但是这样也有个问题就是生成的storefile很大，并且有序的