将本地文本文件上传到HDFS上,然后导入hive/impala对应表中

1.本地文本文件上传前的准备

将文本保存为"uft-8"格式,并用"|"进行字段间的分割(个人习惯,可以选用其它符号,但要避免和编程语言产生冲突,Hive默认的字段分隔符为ascii码的控制符\001)。

2.将文本文件通过Xshell上传到HDFS上

(1)首先要新建(Alt+N)一个连接,主要填写主机IP,其他根据自己的需要填写。确定之后,打开(Alt+O)刚刚建立的连接,输入用户名和密码,这样就连上了你的服务器了。

(2)新建文件传输(Ctrl+Alt+F),将你的本地文本文件复制到相应的文件夹中,比如我将tbl_adrs_code.txt放在了/home/sjz/dataclean/data下。

(3)输入HDFS命令并执行:

hdfs dfs -put /home/sjz/dataclean/data/tbl_adrs_code.txt /data_clean
(/home/sjz/dataclean/data/tbl_adrs_code.txt是输入文件的路径,data_clean是dhs上的目标文件夹,文件夹需要建好哦,在目标文件夹前要"/",不然会出错:put:'data_clean':No such file or directory)此时你的文件已经复制到dfs上了。

3.在hive/impala上建立对应的

  • 10
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CDH(Cloudera Distribution of Hadoop)是一种开源的分布式计算框架,它包含了Hadoop、Yarn、HDFS等组件,同时还提供了HiveImpala等工具,可以方便地进行大数据处理和分析。 在CDH集群中,Yarn、HDFSHiveImpala是四个核心组件,运维这些组件需要掌握以下几个方面: 1. Yarn运维 Yarn是CDH中的资源管理器,它负责管理集群中的资源,并将这些资源分配给运行在集群上的各个应用程序。Yarn的运维涉及到以下几个方面: (1)配置管理:包括Yarn的配置文件、资源管理器的配置、容器管理器的配置等。 (2)集群监控:需要监控Yarn的运行状态、资源使用情况、队列状态等。 (3)任务调度:需要管理Yarn中的作业和任务,包括调度作业、监控任务执行、处理任务失败等。 2. HDFS运维 HDFS是CDH中的分布式文件系统,它负责存储集群中的数据,并提供高可用、高性能的数据访问服务。HDFS的运维涉及到以下几个方面: (1)配置管理:包括HDFS的配置文件、NameNode的配置、DataNode的配置等。 (2)集群监控:需要监控HDFS的运行状态、数据存储情况、数据访问情况等。 (3)数据管理:需要管理HDFS中的数据,包括上传、下载、删除、修改等操作。 3. Hive运维 Hive是CDH中的数据仓库工具,它可以将结构化数据映射到Hadoop中的HDFS和MapReduce上进行查询和分析。Hive的运维涉及到以下几个方面: (1)配置管理:包括Hive的配置文件、元数据存储配置、查询引擎配置等。 (2)查询优化:需要对Hive中的查询语句进行优化,以提高查询性能。 (3)数据管理:需要管理Hive中的数据,包括创建表、导入数据、备份数据等。 4. Impala运维 Impala是CDH中的实时查询工具,它可以在Hadoop中实现快速查询和分析。Impala的运维涉及到以下几个方面: (1)配置管理:包括Impala的配置文件、元数据存储配置、查询引擎配置等。 (2)查询优化:需要对Impala中的查询语句进行优化,以提高查询性能。 (3)数据管理:需要管理Impala中的数据,包括创建表、导入数据、备份数据等。 总之,CDH集群的运维需要从多个方面进行管理和监控,只有全面掌握各个组件的运维方法,才能保证集群的稳定性和高可用性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值