大数据
大数据
hello_小先生
这个作者很懒,什么都没留下…
展开
-
Dolphinscheduler 集成DATAX
datax默认环境变量存配置位置/opt/module/dolphinscheduler/conf/env/dolphinscheduler_env.sh。usr/java/jdk1.8.0_181-cloudera 为环境安装的位置 通过 which java 或者 echo $JAVA_HOME 查看。1. 环境配置: 按照自己服务器中相关环境安装的位置配置相应的环境变量.如果不配置,会使用datax默认的环境变量.2. 修改环境变量以后执行调度任务。执行下面命令,添加软连接.原创 2024-08-07 13:09:42 · 318 阅读 · 0 评论 -
HUE页面点击“管理用户“ 报500异常
HUE页面点击"管理用户" 报500异常原创 2024-08-09 14:39:33 · 328 阅读 · 0 评论 -
hive 从 textfile格式的表中写入数据到orc格式的表中报错
错误信息: Caused by: java.lang.ClassCastException: org.apache.hadoop.io.Text cannot be cast to org.apache.hadoop.hive.ql.io.orc.OrcSerde$OrcSerdeRow。原创 2024-08-06 14:32:48 · 239 阅读 · 0 评论 -
hive远程访问密码设置
123456转载 2024-08-05 16:11:15 · 31 阅读 · 0 评论 -
Hive建表以后comment中的中文注释为???
查看 comment 字段是否为 utf8, 如果不是utf8使用以下命令修改字段的编码,修改以后重启mysql.由于是通过CDH安装的hive 所以直接在页面配置中修改属性 javax.jdo.option.ConnectionURL。问题: 搭建hive以后在建表的时候发现 hive表中的中文注释为?解决: 1 查看元数据中的表的编码。修改完成后,重启hive。原创 2024-08-06 14:22:18 · 441 阅读 · 0 评论 -
CDH搭建大数据集群过程中的问题记录
之前初始化 namenode 在 /dfs/nn 留下了残留数据,从而影响再次初始化。手动格式化namenode,查看日志:hdfs namenode -format。删除agent目录下面的cm_guid文件,并重启失败节点的agent服务恢复。2. 主机名不要有 _ 等特殊字符, 否则CDH启动 agent会报错。清空残留数据后,重新初始化。原创 2024-08-09 14:58:02 · 149 阅读 · 0 评论 -
hive 中 translate 替换
hive中 translate在替换字符串的时候会将替换的字符串拆成一个个的字符去替换。例: select translate('aaabbbcccddd','bc','')输出: aaaddd。原创 2024-08-08 14:45:09 · 135 阅读 · 0 评论 -
DBeaver提示Method not supported
DBeaver提示Method not supported原创 2024-08-11 09:14:36 · 225 阅读 · 0 评论 -
dolphinscheduler(2.0.5)集成CDH安装的sqoop
a. 可以选择直接修改DS配置文件中的环境变量(所有安装了ds的机器都要修改) /opt/module/dolphinscheduler/conf/env。1. 将 mysql-connector-java-8.0.27.jar 包导入至 dolphinscheduler的lib目录下,并分发至安装了DS的所有机器。(3) 确保每台安装了dolphinscheduler的机器上安装了sqoop。b. DS的管理页面创建一个新的环境变量。原创 2024-08-11 14:57:23 · 708 阅读 · 0 评论