DBInputFormat用法

最新推荐文章于 2019-08-17 15:47:03 发布
最新推荐文章于 2019-08-17 15:47:03 发布
阅读量1.8k 收藏 2
点赞数
分类专栏： Hadoop


输入的数据库数据：




代码：

[java] view plain copy print ?
  1. package hadoop_2_6_0;  
  2.   
  3. import java.io.DataInput;  
  4. import java.io.DataOutput;  
  5. import java.io.IOException;  
  6. import java.sql.PreparedStatement;  
  7. import java.sql.ResultSet;  
  8. import java.sql.SQLException;  
  9.   
  10. import org.apache.hadoop.conf.Configuration;  
  11. import org.apache.hadoop.fs.Path;  
  12. import org.apache.hadoop.io.LongWritable;  
  13. import org.apache.hadoop.io.Text;  
  14. import org.apache.hadoop.io.Writable;  
  15. import org.apache.hadoop.mapreduce.Job;  
  16. import org.apache.hadoop.mapreduce.Mapper;  
  17. import org.apache.hadoop.mapreduce.lib.db.DBConfiguration;  
  18. import org.apache.hadoop.mapreduce.lib.db.DBInputFormat;  
  19. import org.apache.hadoop.mapreduce.lib.db.DBWritable;  
  20. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;  
  21.   
  22. public class DBInputFormatTest {  
  23.   
  24.     public static class MyMapper extends  
  25.             Mapper<LongWritable, MyDBWritable, LongWritable, Text> {  
  26.         final Text v2 = new Text();  
  27.   
  28.         protected void map(LongWritable key, MyDBWritable value,Mapper<LongWritable, MyDBWritable, LongWritable, Text>.Context context)throws InterruptedException, IOException {  
  29.                 v2.set(value.toString());  
  30.                 context.write(key, v2);  
  31.         }  
  32.     }  
  33.   
  34.     public static class MyDBWritable implements Writable,DBWritable{  
  35.         int id;  
  36.         String name;  
  37.         public void write(PreparedStatement statement) throws SQLException {  
  38.             statement.setInt(1, id);  
  39.             statement.setString(2, name);  
  40.         }  
  41.   
  42.         public void readFields(ResultSet resultSet) throws SQLException {  
  43.             this.id=resultSet.getInt(1);  
  44.             this.name=resultSet.getString(2);  
  45.         }  
  46.   
  47.         public void write(DataOutput out) throws IOException {  
  48.             out.write(id);  
  49.             out.writeUTF(name);  
  50.         }  
  51.   
  52.         public void readFields(DataInput in) throws IOException {  
  53.             this.id=in.readInt();  
  54.             this.name=in.readUTF();  
  55.         }     
  56.         public String toString(){  
  57.             return "MyDBWritable[id="+id+",\t"+"name="+name+"]";  
  58.         }  
  59.     }  
  60.   
  61.     public static void main(String[] args) throws Exception {  
  62.         final Configuration conf = new Configuration();  
  63.         DBConfiguration.configureDB(conf, "com.mysql.jdbc.Driver", "jdbc:mysql://192.168.1.1:3306/oled", "root", "mysqladmin");  
  64.         final Job job = Job.getInstance(conf, DBInputFormatTest.class.getSimpleName());  
  65.         // 1.1  
  66.         //FileInputFormat.setInputPaths(job,"hdfs://192.168.1.10:9000/input/hehe");  
  67.         job.setInputFormatClass(DBInputFormat.class);  
  68.         // 1.2  
  69.         job.setMapperClass(MyMapper.class);  
  70.   
  71.         // 1.3   
  72.         //job.setPartitionerClass(HashPartitioner.class);  
  73.         //job.setNumReduceTasks(1);  
  74.         // 1.4  
  75.         // 1.5  
  76.   
  77.         // 2.2  
  78.         job.setOutputKeyClass(LongWritable.class);  
  79.         job.setOutputValueClass(Text.class);  
  80.           
  81.         //  
  82.         DBInputFormat.setInput(job, MyDBWritable.class, "select id,name from DB", "select count(1) from DB");  
  83.         // 2.3  
  84.         FileOutputFormat.setOutputPath(job, new Path("hdfs://192.168.1.100:9000/DBout1"));  
  85.         //job.setOutputFormatClass(TextOutputFormat.class);  
  86.         job.setJarByClass(DBInputFormatTest.class);  
  87.         job.waitForCompletion(true);  
  88.     }  
  89. }  


输出：

[java] view plain copy print ?
  1. [root@baolibin ~]# hadoop fs -text /DBout1/part-*  
  2. Warning: $HADOOP_HOME is deprecated.  
  3.   
  4. 0       MyDBWritable[id=1,      name=鲍礼彬]  



Console输出：

[java] view plain copy print ?
  1. 15/04/14 21:10:32 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  
  2. 15/04/14 21:10:32 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.  
  3. 15/04/14 21:10:32 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).  
  4. 15/04/14 21:10:34 INFO mapred.JobClient: Running job: job_local486772134_0001  
  5. 15/04/14 21:10:34 INFO mapred.LocalJobRunner: Waiting for map tasks  
  6. 15/04/14 21:10:34 INFO mapred.LocalJobRunner: Starting task: attempt_local486772134_0001_m_000000_0  
  7. 15/04/14 21:10:34 INFO mapred.Task:  Using ResourceCalculatorPlugin : null  
  8. 15/04/14 21:10:34 INFO mapred.MapTask: Processing split: org.apache.hadoop.mapreduce.lib.db.DBInputFormat$DBInputSplit@4abf053f  
  9. 15/04/14 21:10:34 INFO mapred.MapTask: io.sort.mb = 100  
  10. 15/04/14 21:10:34 INFO mapred.MapTask: data buffer = 79691776/99614720  
  11. 15/04/14 21:10:34 INFO mapred.MapTask: record buffer = 262144/327680  
  12. 15/04/14 21:10:34 INFO mapred.MapTask: Starting flush of map output  
  13. 15/04/14 21:10:34 INFO mapred.MapTask: Finished spill 0  
  14. 15/04/14 21:10:34 INFO mapred.Task: Task:attempt_local486772134_0001_m_000000_0 is done. And is in the process of commiting  
  15. 15/04/14 21:10:34 INFO mapred.LocalJobRunner:   
  16. 15/04/14 21:10:34 INFO mapred.Task: Task 'attempt_local486772134_0001_m_000000_0' done.  
  17. 15/04/14 21:10:34 INFO mapred.LocalJobRunner: Finishing task: attempt_local486772134_0001_m_000000_0  
  18. 15/04/14 21:10:34 INFO mapred.LocalJobRunner: Map task executor complete.  
  19. 15/04/14 21:10:34 INFO mapred.Task:  Using ResourceCalculatorPlugin : null  
  20. 15/04/14 21:10:34 INFO mapred.LocalJobRunner:   
  21. 15/04/14 21:10:34 INFO mapred.Merger: Merging 1 sorted segments  
  22. 15/04/14 21:10:35 INFO mapred.Merger: Down to the last merge-pass, with 1 segments left of total size: 47 bytes  
  23. 15/04/14 21:10:35 INFO mapred.LocalJobRunner:   
  24. 15/04/14 21:10:35 INFO mapred.JobClient:  map 100% reduce 0%  
  25. 15/04/14 21:10:35 INFO mapred.Task: Task:attempt_local486772134_0001_r_000000_0 is done. And is in the process of commiting  
  26. 15/04/14 21:10:35 INFO mapred.LocalJobRunner:   
  27. 15/04/14 21:10:35 INFO mapred.Task: Task attempt_local486772134_0001_r_000000_0 is allowed to commit now  
  28. 15/04/14 21:10:35 INFO output.FileOutputCommitter: Saved output of task 'attempt_local486772134_0001_r_000000_0' to hdfs://192.168.1.100:9000/DBout1  
  29. 15/04/14 21:10:35 INFO mapred.LocalJobRunner: reduce > reduce  
  30. 15/04/14 21:10:35 INFO mapred.Task: Task 'attempt_local486772134_0001_r_000000_0' done.  
  31. 15/04/14 21:10:36 INFO mapred.JobClient:  map 100% reduce 100%  
  32. 15/04/14 21:10:36 INFO mapred.JobClient: Job complete: job_local486772134_0001  
  33. 15/04/14 21:10:36 INFO mapred.JobClient: Counters: 18  
  34. 15/04/14 21:10:36 INFO mapred.JobClient:   File Output Format Counters   
  35. 15/04/14 21:10:36 INFO mapred.JobClient:     Bytes Written=37  
  36. 15/04/14 21:10:36 INFO mapred.JobClient:   File Input Format Counters   
  37. 15/04/14 21:10:36 INFO mapred.JobClient:     Bytes Read=0  
  38. 15/04/14 21:10:36 INFO mapred.JobClient:   FileSystemCounters  
  39. 15/04/14 21:10:36 INFO mapred.JobClient:     FILE_BYTES_READ=295  
  40. 15/04/14 21:10:36 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=139062  
  41. 15/04/14 21:10:36 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=37  
  42. 15/04/14 21:10:36 INFO mapred.JobClient:   Map-Reduce Framework  
  43. 15/04/14 21:10:36 INFO mapred.JobClient:     Map output materialized bytes=51  
  44. 15/04/14 21:10:36 INFO mapred.JobClient:     Map input records=1  
  45. 15/04/14 21:10:36 INFO mapred.JobClient:     Reduce shuffle bytes=0  
  46. 15/04/14 21:10:36 INFO mapred.JobClient:     Spilled Records=2  
  47. 15/04/14 21:10:36 INFO mapred.JobClient:     Map output bytes=43  
  48. 15/04/14 21:10:36 INFO mapred.JobClient:     Total committed heap usage (bytes)=323878912  
  49. 15/04/14 21:10:36 INFO mapred.JobClient:     Combine input records=0  
  50. 15/04/14 21:10:36 INFO mapred.JobClient:     SPLIT_RAW_BYTES=78  
  51. 15/04/14 21:10:36 INFO mapred.JobClient:     Reduce input records=1  
  52. 15/04/14 21:10:36 INFO mapred.JobClient:     Reduce input groups=1  
  53. 15/04/14 21:10:36 INFO mapred.JobClient:     Combine output records=0  
  54. 15/04/14 21:10:36 INFO mapred.JobClient:     Reduce output records=1  
  55. 15/04/14 21:10:36 INFO mapred.JobClient:     Map output records=1  





解析：

指明驱动、要访问的数据库、用户名、密码：

[java] view plain copy print ?
  1. DBConfiguration.configureDB(conf, "com.mysql.jdbc.Driver", "jdbc:mysql://192.168.1.1:3306/oled", "root", "mysqladmin");  

设置操作语句：

[java] view plain copy print ?
  1. DBInputFormat.setInput(job, MyDBWritable.class, "select id,name from DB", "select count(1) from DB");  

根据数据库字段，自定义数据类型，该类实现接口Writable、DBWritable。

[java] view plain copy print ?
  1. public static class MyDBWritable implements Writable,DBWritable 
技术蚂蚁
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
MapReduce源码之DBInputFormat
weixin_34327223的博客
08-11 157
2019独角兽企业重金招聘Python工程师标准>>> ...
DBInputformat 理解
01-27 1159
Mapreduce 从传统数据库 oracle  mysql 等等读取数据到hdfs  hive 等分布式存储系统在业务中是很常见，除了自己写自定义的inputformat格式，hadoop为我们提供了 DBInputFormat类，这个类原理很简单，getInputSplits函数为我们提供了如何来切分oracle或者mysql中的源数据， 分散到N个 MapTask当中去 publi
浅谈DBInputFormat
aiwode1234的专栏
06-26 684
通常情况下用sqoop把关系型数据库里面的内容导入到hdfs，但是sqoop在数据分布不均的情况下，效率非常低，如：可能你给sqoop任务分配了10个map，但是真正起导数据作用的就只有1个，非常影响效率，这时候就可以考虑自己写MR把数据导入到hdfs，这时就需要使用DBInputFormat。 DBInputFormat 主要用于把关系型数据库（如oracle,mysql）里面的数据导入到hd
MapReduce InputFormat——DBInputFormat
weixin_34357962的博客
11-30 146
一、背景 为了方便MapReduce直接访问关系型数据库（Mysql,Oracle），Hadoop提供了DBInputFormat和DBOutputFormat两个类。通过 DBInputFormat类把数据库表数据读入到HDFS，根据DBOutputFormat类把MapReduce产生的结果集导入到数据库表中。 二、技术细节 ...
30天大数据Hadoop生态圈体系完整教程
02-18
本教程为版权作品，盗版必究精心规划，课程涵盖Hadoop大数据生态圈全方位剖析，做到知识无死角，挑战高薪大数据职位；循序渐进，由浅入深学习大数据技能，大数据处理技术方方面面一览无余，积跬步以至千里。企业案例，理论与实际相结合，技术与操作同进行，学以致用，止于至善。从内到外理解大数据各种技术，Linux、Zookeeper、Hadoop、Hive、Avropb、HBase+Phoenix、Redis、Ganglia、Flume、Sqoop、Kafka等全部技术源码级传授，从无到有掌握Hadoop生态圈技术。
hadoop中Map-Reduce使用示例，输入(DBInputFormat),输出(DBOu-MR_HBase.zip
最新发布
11-06
hadoop中Map-Reduce使用示例，输入(DBInputFormat),输出(DBOu-MR_HBase
SNMHadoopTest
07-08
SNMHadoop测试该解决方案仅使用基本的 Hadoop（API 2.2+），并在 Cloudera 超小型集群（1 个主控和 3 个代理）上进行了测试。 master 上安装了一个经典的 PostgreSQL 数据库，用于存储 products 表。 为了利用 ...
基于Hadoop的大规模数据交换的研究
03-31
终于在Hadoop 0.19 版本时，新增的DBInputFormat 组件可以轻松地 在Hadoop 与许多关系型数据库之间导入导出数据。与此同时，许多第三方的数据交换工具 如雨后春笋般出现在人们的视野中。本文将着重阐述几种数据交换...
DBInputformat使用
asd781122的博客
03-21 125
1.安装了mysql以后，必须将mysql-connector-java-5.1.10.jar文件拷贝到每个$HADOOP_HOME/lib文件夹下。否则工作时候么有办法链接 2.使用linux系统的拷贝，不是hadoop fs -put 的上传文件到文件系统中。 3.拷贝以后需要重新启动hadoop。才能生效 转载于:https://www.cnblogs.com/Lamb...
Hadoop中DBInputFormat和DBOutputFormat使用
热门推荐
dajuezhao的专栏
08-09 1万+
一、背景      为了方便MapReduce直接访问关系型数据库（Mysql,Oracle），Hadoop提供了DBInputFormat和DBOutputFormat两个类。通过 DBInputFormat类把数据库表数据读入到HDFS，根据DBOutputFormat类把MapReduce产生的结果集导入到数据库表中。 二、技术细节 1、DBInputFormat（Mys
DBInputFormat的用法
张波的技术积累
12-21 1677
package inputformat; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import java.net.URI; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sq
Hadoop中的DBInputFormat
lavimer
01-15 2278
一：背景 为了方便MapReduce直接访问关系型数据库(MYSQL、Oracle等)，Hadoop提供了DBInputFormat和DBOutputFormat两个类，通过DBInputFormat类把数据库表的数据读入到HDFS中，根据DBOutputFormat类把MapReduce产生的结果集导入到数据库中。 二：实现 我们以MYSQL数据库为例，先建立数据库、表以及插入数据，如
DBinputformat的使用
maixia24的专栏
10-21 2059
很简单，就是把sql数据库导入hdfs中 经常用的方法是如下方法 setInput public static void setInput(JobConf job, ClassDBWritable> inputClass, String inputQuery,
MapReduce的DBInputFormat
Hello 我的
07-26 1128
使用MapReduce直接从关系型数据库中取数据 package com.bigdata.hadoop.mapred; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import java.net.URI; import java.sql.PreparedStatement; i
MapReduce中的常见InputFormat之DBInPutFormat和DBOutPutFormat案例详解
weixin_44961626的博客
08-17 582
MapReduce中的常见InputFormat之DBInPutFormat和DBOutPutFormat案例详解 一、背景 为了方便MapReduce直接访问关系型数据库（Mysql,Oracle），Hadoop提供了DBInputFormat和DBOutputFormat两个类。 通过DBInputFormat类把数据库表数据读入到HDFS，根据DBOutputFormat类把MapRedu...
db_input常用方法杂记
f1ybee的专栏
08-14 1058
db_input：弹窗 窗口类型：单选框(select)，多选框(multiselect)， 文本提示(note)，文本输入(string)等 一般窗口属性：模板(Templates)，类型(Type)，选项(Choices)，描述(Description)，默认选项(Default)等 优先级(priority)：一般有low，medium，high，critical，优先级依次提高 其中D...
使用DBInputFormat作为输入数据源
ls386239766的专栏
08-14 628
该代码展示了如何在hadoop中与数据库连接，并将数据库中的数据作为数据源
sqoop import 报错Communications link failure
let it go的博客
11-08 3061
1.问题描述        sqoop list-tables 工具正常，但是import 工具有问题。奇怪！！！！ [hadoop@master ~]$ sqoop import --username test --password test --connect jdbc:mysql://172.1.1.96:3306/test -m 1 --delete-target-dir --...
2023-05-14 06:47:47,352 INFO mapreduce.Job: Task Id : attempt_1684070500215_0004_m_000003_1, Status : FAILED Error: java.lang.RuntimeException: java.lang.RuntimeException: java.sql.SQLException: Access denied for user 'hive'@'localhost' (using password: YES) at org.apache.sqoop.mapreduce.db.DBInputFormat.setConf(DBInputFormat.java:167) at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:77) at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:137) at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:763) at org.apache.hadoop.mapred.MapTask.run(MapTask.java:347) at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:174) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1729) at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:168) Caused by: java.lang.RuntimeException: java.sql.SQLException: Access denied for user 'hive'@'localhost' (using password: YES)
05-15
具体来说，用户名为 'hive' 的用户在本地（localhost）使用给定的密码认证时失败了。 你需要检查连接 Hive 数据库的用户名和密码是否正确，并且该用户是否拥有执行任务所需的权限。可能需要联系管理员来解决这个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值