- 博客(7)
- 收藏
- 关注
原创 建立ssh代理服务
N :SSH客户端不要执行远程命令,表示只建立连接而不启动远程shell或执行其他命令。远程确保/etc/ssh/sshd_config有。-R :用于远程端口转发。user是本地用户名。
2024-06-30 16:57:27
213
原创 nginx配置wss
指令: 这些头部设置确保请求中包含客户端的原始信息,适用于常规的反向代理设置。: 设置 HTTP 版本为 1.1,这是 WebSocket 所要求的。: 这些头部设置用于支持 WebSocket 的连接升级。
2024-06-06 02:21:05
293
原创 用spark-submit将py提交到yarn时警告Neither spark.yarn.jars nor spark.yarn.archive is set
意思是spark无法找到要在YARN集群上执行任务所需的JAR包或归档文件。它会尝试从SPARK_HOME目录上传所需的库文件,所以会卡在这里一段时间。意思是将$SPARK_HOME/jars/里的文件全部打包为当前目录的spark-libs.jar。然后再到$SPARK_HOME/conf/spark-env.sh中添加。到SPARK_HOME中找到jars文件夹,将它们打包。用spark-submit将py提交到yarn时警告。然后将其上传到hdfs中,先自己创建好目录。
2024-05-06 22:53:19
332
原创 ubuntu配置hadoop,HDFS和YARN(单机)
vim workers后,里面默认只有一个localhost,可以按照需求填写节点主机的ip,这里不做修改。创建软连接hadoop后cd进去,进入hadoop/etc/hadoop下,修改文件配置。vim打开hadoop-env.sh后添加以下内容,这里JAVA_HOME注意别填错了。执行start-dfs.sh可以打开9870端口进入webui就代表成功了。下载hadoop,用清华镜像下载很快,新建个目录输入以下命令。现在配置完了,接着初始化文件系统。输入后疯狂按回车,再输入。记得创建这两个文件夹。
2024-05-05 16:10:28
1069
1
原创 nginx配置websocket
1、在nginx.conf的http块中添加websocket支持。3、nginx -s reload重启nginx,问题解决。问题出现的原因:没有正确配置WebSocket。
2024-04-25 14:38:07
331
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人