- 博客(8)
- 收藏
- 关注
RSS订阅原创 pycharm远程运行代码时进程无反应
该代码在执行spark on yarn 运行模式，其中spark的配置很关键。大概率是spark配置又问题。
2024-10-31 16:05:14
191
原创 在YARN上运行spark参数配置
这些configs用于写入HDFS并连接YARN ResourceManager。这个目录中包含的配置将被分发到YARN集群中，以便应用程序使用的所有容器使用相同的配置。如果配置引用的Java系统属性或环境变量不是由YARN管理的，它们也应该在Spark应用程序的配置(driver, executor和AM)中设置。确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群(客户端)配置文件的目录。
2024-10-31 15:58:57
186
原创 py4j.protocol.Py4JError: org.apache.spark.api.python.PythonUtils.getPythonAuthSocketTimeout does not
使用远程服务器运行程序时报错。
2024-10-28 20:19:05
189
原创 在pycharm中远程开发时出现错误Cannot find remote credentials for target config com.jetbrains.plugins.remotes并解决
确保配置正确，虚拟环境解释器路径正确，主机名等信息无误。根本问题是确认成功连接到远程解释器。
2024-10-24 15:17:39
195
原创 beeline连接hive时报错＜小记＞
由于权限配置问题导致的。具体来说，User: guohailong is not allowed to impersonate anonymous 表示当前用户在尝试以匿名身份进行操作时没有足够的权限。在hive-site.xml添加配置。
2024-10-17 14:00:51
260
原创 (python pip安装第三方库超时问题（raise ReadTimeoutErrorself._pool, None, ‘Read timed out.’)
(python pip安装第三方库超时问题（raise ReadTimeoutErrorself._pool, None, ‘Read timed out.’)pip下载超时处理。
2024-06-01 13:13:54
606
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人