自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(10)
  • 收藏
  • 关注

原创 Pandas处理分析数据常用语句

本文包括了一些常用的数据清洗和数据处理时的常用语句

2024-04-06 17:30:39 250 1

原创 在VSCode上运行Jupyter Notebook

在VSCode上运行Jupyter Notebook

2024-03-28 19:11:13 4095

原创 常用SQL语句汇总(主要为查询语句)

本文主要为一些常用的SQL语句。以查询为主,部分为常用的增、删、改语句。

2024-03-28 15:22:35 757

原创 使用hive处理.csv文件,再通过sqoop写入mysql数据库

home/hadoop/Desktop/videoGame.csv 是文件在linux的存储位置。根据自己的需要修改一下相应的内容,注意大小写。

2024-02-06 15:35:07 453

原创 解决每次重启电脑后,linux系统中ens33中的inet地址发生改变的问题

在Linux系统中,ens33 是一种网络接口的命名方式,而 “inet 地址” 通常指的是IPv4地址。如果你想让 ens33 网络接口的 IPv4 地址在电脑重启后不发生改变,可以使用静态IP地址而不是动态分配的方式(比如DHCP)。

2024-02-04 22:42:16 580 1

原创 本地计算机java代码和虚拟机中的hadoop集群连接失败问题

在idea中编写java代码,无法连接到VMware中Ubuntu下搭建的hadoop环境的解决办法

2023-11-18 11:16:58 491 1

原创 VMware中Linux系统下(Ubuntu)Hadoop的安装和使用步骤

VMware中Linux系统下(Ubuntu)Hadoop的安装和使用步骤此篇文章中安装的是:jdk1.8.0_202、hadoop-3.2.4。

2023-10-06 23:42:52 2403 4

原创 Win11使用docker compose 部署spark和mysql,进行 Spark SQL 读写数据库操作

http://127.0.0.1:8888/lab(这个直接在log里点链接就行)在docker desktop中可看到添加成功。容器名称可用docker ps 查一下。在powershell中进入mysql。内容要与yml文件里的内容保持一致。

2023-10-06 23:40:49 202 1

原创 Win11 Docker 快速部署spark(快速部署pySpark 、使用Docker compose部署spark)

构建镜像完成后,还需要修改 docker-compose.yml 文件,使其从新的镜像 s1mplecc/spark-hadoop:3中启动容器集群,同时映射 Hadoop Web UI 端口。HDFS 上的文件被读取为 RDD,在内存上进行 Transformation 后写入 HDFS。由于设置了 ssh 免密通信,首先需要启动 ssh 服务,然后依次启动 HDFS 和 YARN 集群。:挂载本地目录 D:/Docker/spark/share 到容器目录 /opt/share;

2023-10-06 23:39:48 1878 1

原创 Win11 在Docker中部署Hadoop、Spark

在/usr/local/hadoop/etc/hadoop/目录下修改(直接在docker中找到相应文件夹改即可)注:一般情况很快就更新好了,如果更新超级慢(注意看一下是否修改了docker的镜像。修改hadoop-env.sh文件,加入Hadoop home参数。修改hadoop-env.sh文件,加入Hadoop home参数。查看 HDFS 中的 /output 文件夹的内容。全部修改为(删掉localhost)全部修改为(删掉localhost)直接在此界面修改(把原来的全删了)

2023-10-06 23:38:08 470 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除