datasophon组件安装时踩坑记录

如果有环境变量不起作用。重启服务器。

grant all privileges on *.* to 'root'@'%' identified by 'xxxx';

1. 安装hdfs后有一个namenode进程未启动

解决：在那个未启动的节点上执行 hdfs namenode -bootstrapStandby  之后在web页面重启hdfs

2. hive on spark 编译

hive on spark编译https://blog.csdn.net/qq_39035267/article/details/126608808之后替换datasophon节点上的hive的jar包。只替换红框中的和hive-spark-client-3.1.3等包

集成hive on spark集成hudi需要注意的点：

下载spark-without-hadoop的包。删除lib目录下 parquet相关的jar包。上传至hdfs

set spark.yarn.jars = hdfs://nameservice1/sparkjars/* ;
set hive.execution.engine =spark; 

同时替换hive的lib目录的parquet-hadoop-bundle-xx.jar

<!--配置hive on spark-->
<property>
   <name>spark.yarn.jars</name>
   <value>hdfs://nameservice1/sparkjars/*</value>
</property>
<property>
   <name>hive.execution.engine</name>
   <value>spark</value>
</property>
<property>
   <name>hive.spark.client.connect.timeout</name>
   <value>100000</value>
</property>
  

3. doris版本替换

下载2.0.1得包，之后在be和fe的bin目录放置status_be.sh 和status_fe.sh

之后修改service.ddl 中的包版本

之后先安装多个fe 和多个be  如果其他fe报错的话在页面手动添加follower

 4. hive版本修改(spark版本一样，spark直接下载二进制包就行。hive没测试用的3.1.3)

修改/opt/datasophon-manager-1.1.1/conf/meta/DDP-1.0.0/HIVE/service_ddl.json里面的hive版本

重启命令：bin/datasophon-api.sh restart api

需要修改/opt/datasophon/datasophon-worker/script/datasophon-env.sh的hive版本(重启)

重启命令：service datasophon-worker restart

修改/etc/profile.d/datasophon-env.sh的hive版本  然后source 

5.安装kerberos以后的组件问题。

5.1 yarn重启后出现NodeManager进程没法启动的问题。原因缺少libcrypto.so.1.1这个包。

解决：

wget https://www.openssl.org/source/openssl-1.1.1g.tar.gz
tar xzf openssl-1.1.1g.tar.gz
cd openssl-1.1.1g
./config
make
sudo make install


之后编译后的文件创建软链接到 /usr/lib64目录下

ln -s /export/software/openssl-1.1.1g/libcrypto.so.1.1   /usr/lib64/libcrypto.so.1.1

5.2 hive on spark 没法启动

解决：

在spark-default.conf中
spark.kerberos.principal        hive/(metastore那台节点的host)@HADOOP.COM
spark.kerberos.keytab        /etc/security/keytab/hive.service.keytab   

也要修改hive-site.xml中的keytab为metastore的


 这两个参数的value设为空 然后分发到其他节点 重启yarn
<property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    </property>
    <property>
        <name>yarn.scheduler.fair.allocation.file</name>
        <value>${INSTALL_PATH}/hadoop-3.3.3/etc/hadoop/fair-scheduler.xml</value>
    </property>


原因：hive on spark的原理是通过hivemestore解析后的job通过spark提交给yarn 

其他节点的hiveserver2 也要配置为hive/(metastore那台节点的host)@HADOOP.COM

后期发现在dbeaver无法执行hive on spark 原因是：hiveserver2服务是hive用户启动的，改用root用户启用即可。
nohup hiveserver2 >> /opt/datasophon/hive-3.1.3/logs/hiveserver2.log  2>&1 &

6.安装dolphinscheduler 时注意事项：

参数： yarn.application.status.address 和yarn.job.history.status.address记得修改