大数据
关注
分享
扫一扫
文章平均质量分 53
失业的中年程序员
还没放弃技术的失业中年程序员
展开
-
Spark云计算平台Databricks使用，SQL
输入名字，Storage location选择workspace，数据都是保存在AWS S3云存储。选择test，Create -> Create table。点击browse，本地上传people.json文件。选择Calalog，点击Creae schema。点击Create table。原创 2024-05-05 23:48:36 · 623 阅读 · 1 评论 -
Spark云计算平台Databricks使用，上传文件
Databricks，是属于 Spark 的商业化公司，由美国加州大学伯克利 AMP 实验室的 Spark 大数据处理系统多位创始人联合创立。在Workspaces点击open，跳转到workspace的工作区。把本地文件拖入Files框，或者点击Files框选择文件。，可用于数据集成，数据管道等任务。上传的文件保存在AWS的S3的桶里。原创 2024-05-05 20:54:32 · 338 阅读 · 0 评论 -
Spark云计算平台Databricks使用，第一个scala程序
databricks创建集群，原创 2024-05-05 20:19:16 · 623 阅读 · 1 评论 -
Spark使用Java读取Mysql
2 Idea,maven工程。Spark版本：3.5.0。创建表user表和插入数据。原创 2024-04-30 15:10:24 · 462 阅读 · 3 评论 -
Hadoop问题汇总
1) hadoop运营java.jar文件时,报Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster错误。2) hadoop运营java.jar文件时,报The auxService:mapreduce_shuffle does not exist错误。原创 2024-04-24 02:22:40 · 152 阅读 · 0 评论 -
Hadoop Yarn运行模式 WordCount例子(JAVA)
Hadoop版本：3.3.5Hadoop运行模式：yarn模式yarn架构，参考。原创 2024-04-24 02:12:19 · 255 阅读 · 2 评论 -
Hadoop HDFS基本操作之命令行操作（Linux Centos ）
Linux登录用户hadoop启动hadoop：hdfs-dfs.sh。原创 2024-04-18 16:07:10 · 737 阅读 · 0 评论 -
腾讯云服务器Linux centos hadoop安装配置
JDK下载地址：清华镜像，版本：jdk-8u202-linux-x64.tar.gz，版本：hadoop-3.3.5.tar.gz用户名hadoop。原创 2024-04-18 12:43:23 · 1413 阅读 · 1 评论