MongoDB数据导入到Hive

最新推荐文章于 2023-11-09 15:38:23 发布

weixin_33145229

最新推荐文章于 2023-11-09 15:38:23 发布

阅读量2.5k

点赞数 1

分类专栏：大数据文章标签： MongoDB Hive

本文链接：https://blog.csdn.net/weixin_33145229/article/details/86707559

版权

本文介绍了如何使用mongoexport工具将MongoDB数据导出为CSV格式，并详细阐述了导出过程中的参数设置，包括MongoDB服务器的连接信息、数据库和集合的选择以及字段筛选。接着，展示了创建Hive表的步骤，以及如何使用Hive的load data命令将CSV数据导入到Hive表中，最后演示了查询Hive表的方法。

摘要由CSDN通过智能技术生成

首先我们需要的是MongoDB的导出工具mongoexport，我们先看一下它的使用帮助。

/usr/local/hive » mongoexport --help                                                                                                   penelope@wjj-PC
Usage:
  mongoexport <options>

Export data from MongoDB in CSV or JSON format.

See http://docs.mongodb.org/manual/reference/program/mongoexport/ for more information.

general options:
      --help                                      print usage
      --version                                   print the tool version and exit

verbosity options:
  -v, --verbose=<level>                           more detailed log output (include multiple times for more verbosity, e.g. -vvvvv, or specify a
                                                  numeric value, e.g. --verbose=N)
      --quiet                                     hide all log output

connection options:
  -h, --host=<hostname>                           mongodb host to connect to (setname/host1,host2 for replica sets)
      --port=<port>                               server port (can also use --host hostname:port)

ssl options:
      --ssl                                       connect to a mongod or mongos that has ssl enabled
      --sslCAFile=<filename>                      the .pem file containing the root certificate chain from the certificate authority
      --sslPEMKeyFile=<filename>                  the .pem file containing the certificate and key
      --sslPEMKeyPassword=<password>              the password to decrypt the sslPEMKeyFile, if necessary
      --sslCRLFile=<filename>                     the .pem file cont