Double701-CSDN博客

原创 Linux系统中文输入法的添加

1.打开Linux系统后，使用使用`sudo apt update && sudo apt upgrade`（适用于Debian/Ubuntu），更新系统。2.打开终端，安装输入法框架（如IBus）： sudo apt install ibus ibus-pinyin。6.添加后在终端输入：ibus restart，确保IBus启动。4.点击右侧ADD按钮，添加中文输入法（chinese）2. 启动IBus：’ibus-setup‘5.添加“拼音”输入法。

2025-06-15 22:38:47 1470

原创 Spark RDD 常用操作

1）可以打开一个 Linux 终端窗体，在其中输入下面的命令启动 PySparkShell 交互式编程环境。2）在其中输入下面的代码，可以查看 RDD 类包含的功能方法（在 Spark 中有一个专门的术语，称为。1）使用 parallelize()方法从普通集合元素创建 RDD。1-1.从集合元素创建 RDD。

2025-06-15 22:29:30 219

原创 Spark单机运行环境搭建-5.Pip的安装配置

包管理工具安装配置好之后，考虑到实际使用时需要访问网络下载软件，下。源改成国内镜像（如阿里云、清华镜像站点等），以加快下载速度。的设置是否达到了预期目标。终端执行下面的命令安装。

2025-06-15 22:13:08 127

原创 Spark单机运行环境搭建-4.PySparkShell交互编程环境

如果不出意外的话，应该会打印输出从文件中读取到的数据。服务是否正常运行，具体步骤参考前述内容即可，这。读取文件数据的做法，在这里同样测试一下。运行环境准备就绪，现在就可以启动。也再次证明之前的配置是正确的。启动输出的提示信息可以看出，）测试完毕，直接按下。交互编程环境的界面。

2025-06-15 22:08:41 135

原创 Spark单机运行环境搭建-3.Python3.6的安装

种做法存在一定风险，因为可能影响到其它一些程序的使用。还有一种做法，就是在系统中。，其中后者在内存分配方式上做了优化，实际使用时任选其一即可。版本，然后根据实际需要切换使用（有现成工具辅助。这里准备采取第二种做法，即保留预装的。的预编译版本，所以就要使用一个非常优秀的第。）现在面临两个选择，一是将系统默认安装的。运行环境，可以在运行脚本之前设置一下。语言的运行环境中才能使用。目录中会多出两个执行程序，即。从输出的文件列表可以看出，实际是一个软链接文件，指向。的交互式编程工具，它。

2025-06-15 22:05:18 156

原创 Spark单机运行环境搭建-2.SparkShell交互编程环境

动过程中可能会出现一个NumberFormatException的异常信息，这个问题不影响使用。”并回车（冒号输入也包含在内）。正常的话，运行完毕就会打印输出。如可能重启过虚拟机），要使用。的安装配置是正确的。服务是否在运行，如果没有。命令输出的进程名中不包含。）通过上述的测试，说明。先输入下面两行简单的。服务启动，正如在配置。服务的三个程序，说明。境，可以按下键盘上的。

2025-06-14 18:45:55 263

原创 Spark单机运行环境搭建-1.Spark的安装配置

5）初步测试一下配置好的Spark能否正常工作。注意：如果新开一个终端窗体，如果一切正常的话，终端上会输出计算得到的。命令，除非重启动虚拟机才会全局有效。近似值，这个值不固定，所以每次运。中，并创建一个软链接文件指向。的配置更简单，所有配置文件均。终端，在其中执行以下命令将。目录并修改目录的用户属性。需要在新终端重新执行一次。文件，在其中添加有关。

2025-06-14 18:41:00 192

原创 Hadoop伪分布集群环境搭建-6.HDFS和YARN的测试

注意：如果新开一个终端窗体，命令，除非重启动虚拟机才会全局有效。的相关命令，为方便起见这里先把。）现在可以测试是否能够正常操作。的浏览器访问，则需要将网址中的。的浏览器访问，则需要将网址中的。YARN暂时还无法真正测试，待。，比如创建目录，上传文件等。环境搭建完毕，到时就可以提交。考虑到后续还会经常执行一些。需要在新终端重新执行一次。）因为我们这里没有配置。文件，在其中添加有关。里面启动浏览器，访问。

2025-06-14 18:15:51 189

原创 Hadoop伪分布集群环境搭建-5.YARN的配置

在完成了前面的基础搭建以及一些必要软件的下载学习后，我们要开始学习Hadoop伪分布集群环境搭建。文件，在其中增加与内存检查相关的设置。服务相关的程序，执行过程中会分别运行。核的话，一些应用程序可能就无法正常。启动，在生产环境这两个参数应去掉。资源受限，若要求必须有多少内存和。集群资源管理服务已在运行。命令的输出结果可以看出，）配置完毕，可以启动。

2025-06-14 18:08:42 237

原创 Hadoop伪分布集群环境搭建-4.HDFS的配置

格式化操作，这个工作只执行一次。如果要重新初始化，应先清除相关目录中的内容（）配置文件修改完毕，首次运行之前还要初始化。存储过的数据会丢失），否则执行会失败。这里配置的是单节点，里面默认就是。配置文件的内容，这个文件中有运行。服务程序，执行过程中会分别运行。的配置文件目录，先修改其中的。的文件系统，相当于平时的磁盘。即本机，故不用任何修改。这三个程序在运行，就说明。是内部重新定义了一个。的进程是否正常运行，

2025-06-14 18:03:12 161

原创 Hadoop伪分布集群环境搭建-3.Hadoop的安装

完全控制这个目录，避免因为文件的访问权限导致出现问题。目录的用户和组权限设一下，方便启动。样建立一个软链接文件。

2025-06-14 17:56:05 160

原创 Hadoop伪分布集群环境搭建-2.Linux免密登录

在完成了前面的基础搭建以及一些必要软件的下载学习后，我们要开始学习Hadoop伪分布集群环境搭建，接下来是2.Linux免密登录。命令再次执行一下远程连接，测试一下是否能够免密登录，正常的。命令，可以把本地主机的公钥复制到远程主机的。终端窗体中执行以下命令，因为远程登录服务。命令执行一下远程连接，测试一下是否正常。文件上，以便双方连接通信时使用。生成免密登录所需的密钥信息。话此时就不再需要输入密码，

2025-06-14 17:51:36 209

原创 Hadoop伪分布集群环境搭建-1.JDK的安装配置

Hadoop伪分布集群环境搭建，先学习JDK。JDK目录（相当于Windows。虚拟机，这样设置的环境变量就会。终端，在其中执行以下命令，将。安装完毕，最好重新启动一下。并创建一个软链接指向。文件，在其中添加有关。

2025-06-14 17:45:00 120

原创 Spark大数据环境搭建-4.MobaXterm远程连接工具

又分便携版（解压即用）和安装版，其中免费版就可满足大部分场合下的使用需求，下载地址是。输入连接所用帐户spark的密码（密码也是spark）并回车，在弹出的是否要保存密码。可自动连接，或者在保存的连接信息上点击鼠标右键，选择弹出菜单中的。成功连接远程服务器后的界面，如图所示。支持的各种远程连接类型，点击选择其中的第一项。图标，点击后会打开一个连接会话设置窗体，这。”（不再显示本信息），然后点击。的一个目录中，然后启动里面的。

2025-06-14 17:38:06 735

原创 Spark大数据环境搭建-3.Vi编辑器

命令后面带一个文件名的话，那么就会直。接打开并显示文件的具体内容，比如“如果指定的文件不存在，此时就相。编辑器分类命令，掌握好这些最基本的。编辑器中反复多次操作训练加以强化.当于创建一个新的文件进行编辑。操作系统在安装后，只需在。编辑器初始界面如下图。编辑命令清单，通过在。

2025-06-14 17:27:45 201

原创 Spark大数据环境搭建-2.Ubuntu基本设置

(1)设置完成后，打开此虚拟机，在虚拟机中打开一个linux终端窗口，）为避免版本冲突先卸载内置的。

2025-06-14 16:48:15 137

原创 Spark大数据环境搭建-1.Ubuntu 虚拟机的安装

（1）新建虚拟机:在VMware主界面，点击“创建新的虚拟机”，进入新建虚拟机向导。（2）选择安装类型:选择“典型(推荐)”，适合初学者，点击“下一步”。（3）在安装来源设置窗体，选择“安装程序光盘映像文件(iso)”，点击右侧的浏览按钮，找到下载好的 ubuntu-20.04.4-desktop-amd64.iso 文件，然后点击下一步。（4）在简易安装信息的窗体中，将这几项均设为“spark”，（其他的也可以）方便后面使用，然后点击下一步。（5）在命名虚拟机的窗体中，可以设定一下虚拟机名称或直接按默认，

2025-06-14 16:30:38 821 1

2401_89956011的博客