尝试读取本地主机文件时出错。_Spark读写压缩文件API使用详解及部署在k8s

最新推荐文章于 2024-02-23 09:56:33 发布
最新推荐文章于 2024-02-23 09:56:33 发布
阅读量985 收藏
点赞数
文章标签： 尝试读取本地主机文件时出错。
本文介绍了在Spark运行于Kubernetes(K8s)环境中，尝试读取远程Hadoop集群上LZO压缩文件时遇到的问题及解决方案。详细步骤包括在Alpine容器中安装LZO依赖，编译Hadoop-LZO本地库，以及在Dockerfile中配置和提交作业时指定所需文件。
摘要由CSDN通过智能技术生成

最近简单的研究了一下Spark on K8s，期间遇到了些许问题，在这里总结一下分享给大家。

环境介绍

hadoop集群：部署在实体机上

spark: k8s上

需求

要实现的功能是使用spark读取远程hadoop集群上的lzo文件

问题

使用Spark官方提供的DockerFile新建容器是没有问题的，但是由于我的测试环境的数据是lzo压缩文件，导致Spark读取数据时会报本地库的错误：

19/09/20 06:02:46 WARN LzoCompressor: java.lang.UnsatisfiedLinkError: Cannot load liblzo2.so.2 (liblzo2.so.2: cannot open shared object file: No such file or directory)!19/09/20 06:02:46 ERROR LzoCodec: Failed to load/initialize native-lzo library19/09/20 06:02:46 ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0)java.lang.RuntimeException: native-lzo library not available at com.hadoop.compression.lzo.LzopCodec.createDecompressor(LzopCodec.java:104) at com.hadoop.compression.lzo.LzopCodec.createInputStream(LzopCodec.java:89) at com.hadoop.mapreduce.LzoLineRecordReader.initialize
最低0.47元/天 解锁文章
weixin_39999025
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Mysql出现问题：ERROR 1012:Can‘t read record in system table (errno: %d)解决方案
小虚竹的专栏
04-03 3079
Mysql出现问题：ERROR 1012:Can‘t read record in system table (errno: %d)解决方案
尝试读取本地主机文件时出错。_系统编程文件读写这件小事
weixin_39642622的博客
11-27 4983
来源：公众号【编程珠玑】作者：守望先生ID：shouwangxiansheng在《系统编程-文件IO》中简单介绍了文件I/O的基本流程，无论选项或者参数多么变化多端，其流程大抵相同，不过是获取文件描述符，用描述符进行操作，关闭描述符，三步而已。那么文件读写又是怎样的流程？需要注意什么？write/read在说明这些常见出错之前，就必须先了解其基本用法了。需要注意的是，write/read...
DNS Client Events错误尝试读取本地主机文件时出错
11-06
解决 系统日志提示: DNS Client Events错误 尝试读取本地主机文件时出错
DNS Client Events 8019
baidu_32397749的博客
03-02 2178
错误信息： 系统无法使用以下设置为网络适配器 注册主机(A 或 AAAA)资源记录(RR): 适配器名称 : {809D9E05-E1C2-48BA-ABED-E7A1031FCBA2} 主机名 : ex2016edge 主域后缀 : xxx.com DNS 服务器列表 : xxx.xxx.xxx.xxx, xxx.xxx.xxx.xxx 将更新发送给服务器 :...
尝试～！
nailwl
07-02 1750
<br />灵感不是想出来的，要写。<br /> <br />机遇不是等出来的，要勇。
尝试读取本地主机文件时出错。_通过有效的数据流标记和跟踪实现可维护的跨主机攻击调查...
weixin_39631370的博客
11-24 2282
笔记作者：Alston原文标题：Enabling Refinable Cross-Host Attack Investigation with Efficient Data Flow Tagging and Tracking原文作者：Yang Ji, Sangho Lee, Mattia Fazzini, Joey Allen, Evan Downing, Taesoo Kim, Ale...
如何解决DNS解析错误故障
最新发布
huangyunling的博客
02-23 910
DNS解析故障。最常见的症状是访问站点对应的IP地址没有问题，但访问其域名时却出现错误，可以手动判断错误，也可以使用百川云网站监测自动发现解析错误
解决本地HOSTS文件不读取问题
Panda_IAmGoodPanda的博客
02-07 8164
本地DNS解析一般分为浏览器和宿主机. 宿主机的DNS在C:\Windows\System32\drivers\etc文件夹下的hosts配置,具体配置方法在最后面贴出. 今天工作中使用nginx时老是报not found #0005错误,稀里糊涂搞了一上午的nginx,结果没有什么用,正暗自神伤的时候,忽然灵机一动查看了一下本地DNS缓存, 发现没有读取修改后的配置
本地dns总是显示旧的，错误的
08-31 992
今天一位同事的电脑，总是链接的是测试环境。 远程链接看了看， cmd ping XXX.XXX.com 显示错误IP地址， ipconfig /displaydns  显示错误IP地址 ipconfig /flushdns 显示刷新成功， ipconfig /displaydns 已经有dns缓存了，并且是错误的IP。 说明当前该dns不需要请求就有缓存，
https的证书错误，错误码-1012问题及解决方案
热门推荐
jia12216的专栏
10-17 1万+
经过半天的折腾终于解决了这个鸡肋的证书问题。 我们自己生成了一个ssl证书，使用https发送消息时会用到。 但是当把证书加入工程中，用AFNetworking发送请求时总是报-1012但是另一个人却能正常使用，把命令输入到浏览器上请求返回的结果正常。 2015-10-17 16:02:42:117 caocao[568:183040] HttpManager.m:__76-[HttpMan
解决VMware尝试访问日志文件时出错
09-10
解决VMware尝试访问日志文件时出错:主要解决了在打开vs工程时提示：尝试访问日志文件时出错，日志记录功能可能不能正常使用
win7 DNS错误
02-18
win7 DNS错误 常常能上局域网，但不能上互联网。
刷新主机dns
守护大白菜的博客
09-12 619
ipconfig  /flushdns
lzo Cannot load liblzo2.so.2
a1008223的专栏
05-16 799
lzo ./configure --enable-shared make && sudo make install hadoop-lzo mvn clean test 失败，虽然/usr/local/lib 已经有了，还是报错，最后经过大神指导 把 usr/local/lib/liblzo2.*复制到/usr/lib下就可以 了 sudo cp liblzo2....
spark 读取lzo 环境依赖
guitarCC的博客
09-26 968
bug:由于lzo压缩本身不属于hadoop体系自带压缩方式以及spark自带的解析方式，所以往往需要额外配置，idea 本地环境想要读取lzo文件，就要使本地环境支持lzo依赖出于开发的便利，需要idea中读取到lzo压缩的数据
vs2022下读取文件出错
hacking_fan的博客
05-06 959
刚开始时我移动鼠标到fclose时，发现它说fp可以为0，我并没有在意，后来我又想着为什么fp可以为0，我查了很多帖子有了思路，可能是第一条if句里fp并没有指向该文件，发生了什么不知道的错乱，我就把第一个if句改了一下。然后运行可以了，单行读取能行，多行读取也可以，但是我在网上看到很多代码读取时说不这样改是可以运行的，可是我就是不行，特记下此篇供以后学习思考。刚开始是while循环读取，不是if单行读取，我又怀疑是循环出了问题，把while变为if，还是不对；
Hadoop 2.x安装配置LZO
conkeyn的专栏
02-18 217
文档转载自：http://blog.csdn.net/lalaguozhe/article/details/10912527 今天尝试在Hadoop 2.x(YARN)上安装和配置LZO，遇到了很多坑，在这边记录整个安装配置过程1. 安装LZO下载lzo 2.06版本，编译64位版本，同步到集群中   wget http://www.oberhumer.com/opensource/lzo...
关于 Apache Spark 中大数据处理的某些方面，第 4 部分：多功能 JSON 和 YAML 解析器
m0_51679196的博客
09-12 259
多功能 JSON 和 YAML 解析器
c++读取json文件_Spark本地文件读写
05-26
您好！这两个问题看起来不是很相关，我先回答第一个问题：如何在C++中读取JSON文件。 在C++中，可以使用第三方库来读取JSON文件，例如nlohmann/json或者RapidJSON。以下是使用nlohmann/json库读取JSON文件的示例代码： ``` #include <iostream> #include <fstream> #include "json.hpp" using json = nlohmann::json; int main() { // 从文件中读取JSON数据 std::ifstream file("example.json"); json j; file >> j; // 访问JSON数据 std::string name = j["name"]; int age = j["age"]; std::vector<std::string> hobbies = j["hobbies"]; // 打印JSON数据 std::cout << "Name: " << name << std::endl; std::cout << "Age: " << age << std::endl; std::cout << "Hobbies: "; for (const auto& hobby : hobbies) { std::cout << hobby << " "; } std::cout << std::endl; return 0; } ``` 在上述代码中，我们首先使用`std::ifstream`从文件中读取JSON数据，并将其存储在`nlohmann::json`对象中。然后，我们可以像访问普通的C++对象一样，使用`[]`运算符来访问JSON数据中的字段。最后，我们将JSON数据打印到控制台上。 希望这个示例能帮助您了解如何在C++中读取JSON文件。如果您有任何其他问题，请随时问我！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值