![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 64
zachonee
这个作者很懒,什么都没留下…
展开
-
idea开发Spark应用配置pom.xml
pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org原创 2021-03-06 11:24:51 · 683 阅读 · 0 评论 -
Spark-rapids报错定位:Could not load cudf jni library... | ai.rapids.cudf.NativeDepsLoader.loadNativeDeps
@[TOC](Spark-rapids报错定位:Could not load cudf jni library… | ai.rapids.cudf.NativeDepsLoader.loadNativeDeps(NativeDepsLoader.java:91)java.io.IOException: Error loading dependencies)spark-shell提交任务spark-shell \ --master yarn \ --driver-memory 1G \原创 2021-02-27 19:41:16 · 575 阅读 · 0 评论 -
sqoop将mysql导入hive异常:running import job: java.io.IOException: Hive exited with status 1
搭建hadoop环境遇到一个大坑:hadoop技术栈版本不匹配问题。搭建完hive后,和hdfs之间单独运行测试没有问题。搭建完sqoop后,sqoop和hdfs配合使用也没问题。三者共同使用,执行以下命令,将mysql中的表导入到hive中:sqoop import --connect 'jdbc:mysql://192.168.174.131:3306/ecp?useUnicode=true&...原创 2018-04-24 13:50:09 · 2450 阅读 · 0 评论