java将csv导入hdfs_读入csv文件从HDFS

在尝试使用Pydoop从HDFS读取CSV文件并用Pandas处理时遇到了问题。当前,`hd.open()`只显示文件内容到stdout,而`pd.read_csv()`则提示文件找不到。错误表明`/home/file.csv`不在指定路径下。
摘要由CSDN通过智能技术生成

我使用pydoop从HDFS文件读取数据框中,当我使用:读入csv文件从HDFS

import pydoop.hdfs as hd

with hd.open("/home/file.csv") as f:

print f.read()

它显示我的stdout文件。

有没有什么办法让我在这个文件中读取数据框?我试过使用熊猫的read_csv(“/ home/file.csv”),但它告诉我无法找到该文件。确切的代码和错误是:

>>> import pandas as pd

>>> pd.read_csv("/home/file.csv")

Traceback (most recent call last):

File "", line 1, in

File "/usr/lib64/python2.7/site-packages/pandas/io/parsers.py", line 498, in parser_f

return _read(filepath_or_buffer, kwds)

File "/usr/lib64/python2.7/site-packages/pandas/io/parsers.py", line 275, in _read

parser = TextFileReader(filepath_or_buffer, **kwds)

File "/usr/lib64/python2.7/site-packages/pandas/io/parsers.py", line 590, in __init__

self._make_engine(self.engine)

File "/

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值