- 博客(14)
- 收藏
- 关注
RSS订阅原创 spark-submit在hdfs集群中执行,yarn网页端日志文件提示：Operation category READ is not supported in state standby
命令：hdfs haadmin -transitionToStandby --forcemanual 集群节点名字。4.2 spark程序在namenode1上执行，所以将namenode2强制设置为standby状态。可以看出namenode1为standby状态，namenode2为active状态。错误原因：hadoop的standby模式不允许read操作。4.1查看hadoop两个namenode节点的状态。hadoop的standby模式不允许读操作。重新执行1.执行语句中的命令，执行成功。
2024-07-09 16:14:15
523
原创 spark-submt在hdfs集群执行，提示： “main“ org.apache.spark.SparkException: Failed to get main class in JAR...
在/etc/profile文件中配置spark环境变量，然后source /etc/profilez生效。spark在hadoop上以集群模式执行代码。输出结果在yarn上的日志文件中。错误原因：找不到spark目录。
2024-07-09 15:55:49
272
原创 linux上执行spark_submit提示：java.io.IOException:无法运行程序“python3“：CreateProcess error=2，系统找不到指定的文件
python3已经安装在系统中，并且配置了环境变量，但是spark_submit执行的时候，提示找不到python3文件。在/etc/profile文件中添加PYSPARK_PYTHON参数，并指定该值为python3可执行程序的路径。执行的.py代码中，指定pyspark_python的值为python3可执行程序的路径。4.验证结果，执行成功。
2024-07-07 18:36:11
327
原创 Linux操作系统Python3.11回退为Python3.8
特别声明：由于我这里安装python3.11的时候已经安装了python3.8的依赖包，故此次不需要重新安装依赖包，如果是第一次安装python3.8版本的话，需要在3.安装python3.8之前安装如下依赖包。3.5.2编译：./configure prefix=/usr/local/python-3.8.10。2.2.2删除/usr/local/bin目录下的所有内容。2.2.3删除/usr/local/lib目录下的所有内容。2.2.1删除/usr/bin目录下的python3文件。
2024-07-07 16:08:23
565
原创 windows操作系统python3.11与spark3.1.2版本不兼容，错误提示：IndexError: tuple index out of range
python3.11与spark3.1.2版本不兼容问题
2024-07-06 16:07:00
403
原创 关于pycharm安装spark自定义解释器后提示：ImportError: cannot import name ‘SparkContext‘ from ‘pyspark‘错误
备注：projectvenv（推荐的工程环境）、Baseconda（针对有conda经验的用户）和customenvironment（包括新建与现有环境选择）按理说应该选择自定义的环境，但是自定义的总是提示该错误，于是选择了工程环境。pycharm执行该语句提示：ImportError: cannot import name 'SparkContext' from 'pyspark'若运行结果显示py4j模块不存在，在pycharm中选择终端然后输入：pip install py4j命令，安装该模块即可。
2024-07-04 17:08:08
274
原创 HBASE高可用集群，备用节点web端访问失败问题
hosts文件中，mynode5的名字与本地环回IP中间的换行符丢失导致，本地找不到mynode5的字符串，故访问失败，联想127.0.0.1 activate.navicat.com，应该是昨天激活Navicat的时候，被激活软件写入到hosts文件中的内容，故删除该内容，修改如下。（2）测试日志，杀掉主节点（mynode4）的HMaster进程后，备用节点变成了主节点，说明HA配置没有问题。搭建hbase高可用集群之后，主节点web端访问正常，备用节点web端访问失败。
2024-07-03 17:30:35
284
原创 HiveQL常用语句
PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] --创建分区表时，指定需要分区的字段。CREATE [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name --EXTERNAL：创建外部表时使用。[CLUSTERED BY (col_name, col_name, ...) --创建分桶表时使用。--行之间以换行符分隔。（2）MAP类型字段查询：map_name["键"]
2024-06-30 16:21:01
902
原创 hive初始化提示Loading class `com.mysql.jdbc.Driver‘...和java.sql.SQLNonTransientConnectionException...
编辑$HIVE_HOME/conf/hive-site.xml文件，将javax.jdo.option.ConnectionDriverName的值从: com.mysql.jdbc.Driver更改为: com.mysql.cj.jdbc.Driver。（二）org.apache.hadoop.hive.metastore.HiveMetaException: Failed to get schema version.（一）针对“二、错误提示（一）”（二）针对“二、错误提示（二）”
2024-06-28 16:36:29
593
原创 MySQL8忘记root密码遇到的问题：-bash: mysqld_safe: 未找到命令、Failed to start MySQL Server.
（一）问题提示“权限不够"，查看MySQL安装目录，发现该目录下“binlog.index、binlog.000015、ib_buffer_pool”三个文件的主组和附加组变成了root用户，并且文件的修改日期均为6月27号修改root密码的时间点，故判定为问题是该三个文件所属组的问题。使用mysqld命令代替mysql_safe命令，需要通过user命令指定跳过权限表的用户。（三）重新执行开启MySQL服务的命令，MySQL正常启动。五、使用更改后的密码连接MySQL，登录成功，问题解决！
2024-06-27 16:16:41
401
原创 yarn高可用集群执行MapReduce任务提示：Container...beyond the ‘VIRTUAL‘ memory limit. Current usage...
（四）mapreduce.reduce.java.opts：reduce任务JVM虚拟机内存限制。当（三）的值>（一）的值或者（四）的值>（二）的值时，就会出现“二、错误现象”中的内容。（二）mapreduce.reduce.memory.mb：reduce任务的内存限制。（三）mapreduce.map.java.opts：map任务JVM虚拟机内存限制。（一）mapreduce.map.memory.mb：map任务的内存限制。原则上（一）的值>（三）的值；（二）的值>（四）的值；
2024-06-27 12:58:57
505
原创 yarn高可用集群中执行MapReduce任务报错:Last 4096 bytes of stderr :错误: 找不到或无法加载主类 org.apache.hadoop.mapreduce.v2..
2.配置yarn.resourcemanager.scheduler.address.rm-id信息：对于每个rm-id，为ApplicationMasters指定调度程序。1.配置yarn.resourcemanager.webapp.address.rm-id信息：对于每个rm-id，指定RM Web应用程序对应的。（二）将（一）输出结果添加到yarn-site.xml文件中。（三）将（一）输出结果添加到yarn-site.xml文件中。（一）重复执行一、中的（一）执行代码。
2024-06-26 13:04:43
522
原创 XShell拖转上传文件一直卡在传输中问题
在需要上传的Linux中安装：lrzsz——用于文件传输的程序，它们分别是。安装成功后，拖拽文件到XShell中即可上传成功。命令：yum -y install lrzsz。（Receive Zmodem）和。
2024-06-23 15:24:27
107
原创 CentOS7中pip3 install 安装包，提示Could not fetch URL https://pypi.org/simple/pip/: There was a problem ...
step1:在/etc/profile环境变量，中追加如下内容。然后生效：source /etc/profile。step2:更改pip原地址。再次安装后即可成功！
2024-06-17 15:12:48
508
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人