Python-Snappy的安装 以及报错解决

15 篇文章 0 订阅

错误1:

如果linux环境中,缺少g++,则会报错:


解决办法:

安装g++ (或者下面这个,替代g++的)
yum install gcc-c++


-------------------------------------------------------------------------------------------------------------------------------------------

错误2:

直接使用pip install ,会报错:

    cc1plus: warning: command line option "-Wstrict-prototypes" is valid for Ada/C/ObjC but not for C++
    snappymodule.cc:31:22: error: snappy-c.h: No such file or directory
    snappymodule.cc:77: error: 'snappy_status' was not declared in this scope
    snappymodule.cc:78: error: expected ',' or ';' before '{' token
    snappymodule.cc:45: warning: '_state' defined but not used
    snappymodule.cc:56: warning: 'SnappyCompressError' defined but not used
    snappymodule.cc:57: warning: 'SnappyUncompressError' defined but not used
    snappymodule.cc:58: warning: 'SnappyInvalidCompressedInputError' defined but not used
    snappymodule.cc:59: warning: 'SnappyCompressedLengthError' defined but not used
    snappymodule.cc:77: warning: 'snappy_strerror' defined but not used
    error: command 'gcc' failed with exit status 1


报错根源是找不到关键文件: snappy-c.h


解决办法:

最简便的解决办法是,先装一下 snappy-devel

yum install snappy-devel


然后再装 python-snappy,就没有问题了

pip install python-snappy





  • 4
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
要解压.snappy.parquet文件,你可以按照以下步骤进行操作: 1. 首先,确保你已经安装python-snappy和pyarrow这两个库。你可以使用以下命令进行安装:\[1\] ``` pip install python-snappy pip install pyarrow ``` 2. 下载源码并编译打包,找到模块文件的target/datax/plugin/reader/hdfsreader.zip文件。将该文件解压到datax安装目录的${DATAX_HOME}/plugin/reader/下。请注意提前备份原有的hdfsreader插件,以防出现问题时可以回滚。\[2\] 3. 配置datax job,确保你的datax job中已经正确配置了相关的参数和路径。 4. 在代码中使用相应的库来解压.snappy.parquet文件。你可以使用python-snappy库来解压snappy压缩的数据,然后使用pyarrow库来读取和处理parquet文件。具体的代码开发步骤可以参考相关的文档和资料。\[3\] 总结起来,要解压.snappy.parquet文件,你需要安装python-snappy和pyarrow库,然后根据具体的需求进行代码开发和配置。希望这些信息对你有帮助! #### 引用[.reference_title] - *1* [成功解决RuntimeError: Decompression ‘SNAPPY‘ not available. Options: [‘GZIP‘, ‘UNCOMPRESSED‘]](https://blog.csdn.net/qq_41185868/article/details/109662915)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [Datax插件二次开发之HdfsReader支持parquet](https://blog.csdn.net/qq_34599449/article/details/122735299)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值