hdfs上部署mysql_sqoop安装包部署及mysql导入hdfsdemo

本文介绍了如何在HDFS上部署MySQL_Sqoop,并通过Sqoop将数据从MySQL导入到HDFS,以及解决过程中遇到的中文乱码问题。详细步骤包括启动Hadoop、执行导入命令、查看HDFS目录、设置字符编码以及从HDFS导出数据回MySQL。
摘要由CSDN通过智能技术生成

安装完成后:

1、启动hadoop

C:\Users\Administrator>start-all

This script is Deprecated. Instead use start-dfs.cmd and start-yarn.cmd

starting yarn daemons

8e1247cf7ad9

2、执行从mysql导入hdfs数据命令

C:\Users\Administrator>sqoop import --connect jdbc:mysql://localhost:3306/ghxtes

t --username root --password 123456 --table user --target-dir \sqoop-1.4.7\datam

ysql --driver com.mysql.jdbc.Driver

8e1247cf7ad9

3、查看hdfs目录

C:\Users\Administrator>hadoop fs -ls /sqoop-1.4.7/datamysql

8e1247cf7ad9

4、查看hdfs目录文件的内容,注意要写文件名,不能是目录

C:\Users\Administrator>hadoop fs -cat /sqoop-1.4.7/datamysql/part-m-00001

8e1247cf7ad9

解决显示中文乱码:

1、确保mysql中中文不乱吗,设置my.ini的

[client]

default-character-set=utf8

[mysql] default-character-set=utf8

[mysqld] default-character-set=utf8

2、设置cmd窗口编码,mysql中设置:set charset gbk;

3、显示hdfs文件内容乱码,设置cmd窗口编码为utf8

在cmd窗口执行:chcp 65001

8e1247cf7ad9

右键-》属性-》设置字体

8e1247cf7ad9

在浏览器中查看查看hdfs文件:

8e1247cf7ad9

5、删除hdfs目录

C:\Users\Administrator>hadoop fs -rm -r /sqoop-1.4.7

6、从hdfs导出数据到mysql

C:\Users\Administrator>sqoop export --connect jdbc:mysql://localhost:3306/ghxtes

t --username root --password 123456 --table userbak --export-dir /sqoop-1.4.7/da

tamysql  --driver com.mysql.jdbc.Driver

8e1247cf7ad9

8e1247cf7ad9

问题:

8e1247cf7ad9

解决上述问题方法:添加驱动参数     --driver com.mysql.jdbc.Driver

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值