- 博客(2)
- 收藏
- 关注
RSS订阅原创 在一个数据分析系统中，后端要做的任务
如果访问不到HDFS，将hdfs-site.xml，以及core-site.xml拷贝到spark的conf目录下。将hive/conf/hive-site.xml 拷贝到spark的conf目录下。2）将hive-site.xml 文件拷贝到项目的 resources 目录中。将Hive元数据库MySQL的驱动jar包拷贝到spark的jars目录下。3）使用spark操作hive数据库的代码实现。2、hive数仓建表，从本地导入数据。清洗数据+筛选数据+数据计算。4、spark处理数据。
2023-06-07 20:27:40
110
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人