mr解析xml将数据（ipv4、ipv6）批量导入hbase

最新推荐文章于 2023-04-11 15:31:11 发布
最新推荐文章于 2023-04-11 15:31:11 发布
阅读量585 收藏 2
点赞数
分类专栏： hbase Java hadoop 文章标签： flume xml ipv6 ipv4 hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37739193/article/details/78780481
版权
Java 同时被 3 个专栏收录
39 篇文章 2 订阅
订阅专栏
hbase
24 篇文章 0 订阅
订阅专栏
hadoop
20 篇文章 4 订阅
订阅专栏
首先在hbase中建立相应的表：

hbase(main):003:0> create 'messages','cf'


[hadoop@h71 hui]$ vi messages3.java

import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.Iterator;
import java.util.List;
import java.util.Locale;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.mapreduce.TableOutputFormat;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Counter;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.dom4j.Attribute;
import org.dom4j.Document;
import org.dom4j.DocumentException;
import org.dom4j.Element;
import org.dom4j.io.SAXReader;

public class messages3 {

        public static void main(String[] args) throws Exception {

                final Configuration configuration = new Configuration();
                configuration.set("hbase.zookeeper.quorum", "192.168.8.71");

                configuration.set(TableOutputFormat.OUTPUT_TABLE, "messages");

                configuration.set("dfs.socket.timeout", "180000");

                final Job job = new Job(configuration, "HBaseBatchImport");
                job.setJarByClass(messages3.class);
                
                job.setMapperClass(BatchImportMapper.class);
                job.setReducerClass(BatchImportReducer.class);
                job.setMapOutputKeyClass(LongWritable.class);
                job.setMapOutputValueClass(Text.class);

                job.setInputFormatClass(TextInputFormat.class);
                job.setOutputFormatClass(TableOutputFormat.class);

                FileInputFormat.setInputPaths(job, "hdfs://192.168.8.71:9000/messages");

                job.waitForCompletion(true);
        }

        static class BatchImportMapper extends
                Mapper<LongWritable, Text, LongWritable, Text> {
                Text v2 = new Text();

                protected void map(LongWritable key, Text value, Context context)
                        throws java.io.IOException, InterruptedException { 
                        SAXReader reader = new SAXReader();
                        Document document = null;
                        try {
                           document = reader.read("/home/hadoop/hui/dao.xml");
                        } catch (DocumentException e1) {
                           e1.printStackTrace();
                        }
                        Element root = document.getRootElement();
                        List e2 = document.selectNodes("/peizhi/hbase/fengefu/@fuhao");
                        String h2 = ((Attribute)e2.get(0)).getText();
                        final String[] splited = value.toString().split(h2);
                        if(splited[3].length()<5){
                                System.out.println("gai hang shu jv wu yong");
                        }else{
                        try {
                                final String date0 = splited[0]+" "+splited[1]+" "+splited[2];
                                SimpleDateFormat dateformat1 = new SimpleDateFormat("MMM dd HH:mm:ss",Locale.ENGLISH);
                                Date date=dateformat1.parse(date0);
                                SimpleDateFormat datef=new SimpleDateFormat("MMddHHmmss");
                                String date1="2017"+datef.format(date);
                                String rowKey = date1;
                                v2.set(rowKey + " " + value.toString());
                                context.write(key, v2);
                        } catch (NumberFormatException e) {
                                final Counter counter = context.getCounter("BatchImport",
                                                "ErrorFormat");
                                counter.increment(1L);
                                System.out.println("chu cuo le" + splited[0] + " " + e.getMessage());
                        } catch (ParseException e) {
                                e.printStackTrace();
                        }
                        }
                }
        }

        static class BatchImportReducer extends
                        TableReducer<LongWritable, Text, NullWritable> {
                protected void reduce(LongWritable key,
                                java.lang.Iterable<Text> values, Context context)
                                throws java.io.IOException, InterruptedException {
                        SAXReader reader = new SAXReader();
                        Document document = null;
                        try {
                                document = reader.read("/home/hadoop/hui/dao.xml");
                        } catch (DocumentException e1) {
                                e1.printStackTrace();
                        }
                                Element root = document.getRootElement();
                        List e = document.selectNodes("/peizhi/hbase/zhengze");
                        List e2 = document.selectNodes("/peizhi/hbase/fengefu/@fuhao");
                        String h1 = ((Element)e.get(e.size()-1)).getText();
                        String h2 = ((Attribute)e2.get(0)).getText();
                        for (Text text : values) {
                                final String[] splited = text.toString().split(h2);
                                final Put put = new Put(Bytes.toBytes(splited[0]));
                                for (Iterator i = root.element("hbase").elementIterator(); i.hasNext();) {
                                                Element element = (Element) i.next();
                                                String name = null;
                                                String neirong = null;
                                                int a = 0;
                                                if (element.getQualifiedName().equals("ziduan")) {
                                                        name = element.attributeValue("name");
                                                        neirong = element.getText();
                                                        a = Integer.parseInt(neirong);
                                                        String pattern1 = h1;
                                                        Pattern p1 = Pattern.compile(pattern1);
                                                        Matcher matcher1 = p1.matcher(splited[4]);
                                                        if(matcher1.matches()){
                                            //splited[0]=20170123195900
                                                put.add(Bytes.toBytes("cf"), name.getBytes(), Bytes.toBytes(splited[a+1]));
                                                context.write(NullWritable.get(), put);
                                                        }else{
                                                                break;
                                                        }
                                                }
                                        }
                                }
                }
        }
}
[hadoop@h71 hui]$ hadoop fs -cat hdfs://192.168.8.71:9000/messages
Jan 23 19:59:00 192.168.101.254 s_sys@hui trafficlogger: empty map for 1:4097 in classnames
Feb 20 06:25:04 h107 rsyslogd: [origin software="rsyslogd" swVersion="8.4.2" x-pid="22204" x-info="http://www.rsyslog.com"] rsyslogd was HUPed
Jan 24 19:59:01 192.168.101.254 s_sys@hui trafficlogger: empty map for 1:4097 in classnames


[hadoop@h71 hui]$ vi dao.xml

<?xml version="1.0" encoding="UTF-8"?>
<peizhi>
        <hbase>
                <jianbao name="messages"></jianbao>
                <liezu name="cf"></liezu>
                <ziduan name="ipv4">3</ziduan>
                <ziduan name="ipv6">3</ziduan>
                <ziduan name="host">4</ziduan>
                <ziduan name="leixing">5</ziduan>
                <guolv ip="h107"></guolv>
                <fengefu fuhao=" "></fengefu>
                <zhengze>^([\d.]+)</zhengze>
        </hbase>
</peizhi>

所遇到的坑：

必须将dom4j-1.6.1.jar和jaxen-1.1-beta-7.jar同时导入所有节点的hbase-1.0.0-cdh5.5.2/lib/目录下，一开始我只将dom4j-1.6.1.jar导入了主节点的相应目录下报这个错： 
17/03/17 19:12:12 INFO mapreduce.Job: Task Id : attempt_1489747351579_0006_r_000000_0, Status : FAILED
Error: java.lang.ClassNotFoundException: org.dom4j.DocumentException
        at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        at java.lang.Class.forName0(Native Method)
        at java.lang.Class.forName(Class.java:270)
        at org.apache.hadoop.conf.Configuration.getClassByNameOrNull(Configuration.java:2138)
        at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:2103)
        at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2197)
        at org.apache.hadoop.mapreduce.task.JobContextImpl.getReducerClass(JobContextImpl.java:220)
        at org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:611)
        at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:389)
        at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1671)
        at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
必须要将所需要的xml文件导入到所有节点的相应目录下，一开始我只导入到了主节点的相应目录下报这个错： 
Error: java.lang.NullPointerException
        at messages3$BatchImportMapper.map(messages3.java:70)
        at messages3$BatchImportMapper.map(messages3.java:56)
        at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:145)
        at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787)
        at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
        at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1671)
        at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)

下面的这个方法是通过java内置类来转换ipv6和ipv4的：

[hadoop@h71 q1]$ vi messages33.java

import java.net.Inet4Address;
import java.net.Inet6Address;
import java.net.InetAddress;
import java.net.UnknownHostException;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.Iterator;
import java.util.List;
import java.util.Locale;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.mapreduce.TableOutputFormat;
import org.apache.hadoop.hbase.mapreduce.TableReducer;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Counter;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.dom4j.Attribute;
import org.dom4j.Document;
import org.dom4j.DocumentException;
import org.dom4j.Element;
import org.dom4j.io.SAXReader;

public class messages33 {

        public static void main(String[] args) throws Exception {

                final Configuration configuration = new Configuration();
                configuration.set("hbase.zookeeper.quorum", "192.168.8.71");

                configuration.set(TableOutputFormat.OUTPUT_TABLE, "messages");

                configuration.set("dfs.socket.timeout", "180000");

                final Job job = new Job(configuration, "HBaseBatchImport");
                job.setJarByClass(messages33.class);
                
                job.setMapperClass(BatchImportMapper.class);
                job.setReducerClass(BatchImportReducer.class);
                job.setMapOutputKeyClass(LongWritable.class);
                job.setMapOutputValueClass(Text.class);

                job.setInputFormatClass(TextInputFormat.class);
                job.setOutputFormatClass(TableOutputFormat.class);

                FileInputFormat.setInputPaths(job, "hdfs://192.168.8.71:9000/messages");

                job.waitForCompletion(true);
        }

        static class BatchImportMapper extends
                        Mapper<LongWritable, Text, LongWritable, Text> {
                Text v2 = new Text();

                protected void map(LongWritable key, Text value, Context context)
                                throws java.io.IOException, InterruptedException { 
                	SAXReader reader = new SAXReader();
            		Document document = null;
            		try {
						document = reader.read("/home/hadoop/hui/dao.xml");
					} catch (DocumentException e1) {
						e1.printStackTrace();
					}
                	Element root = document.getRootElement();
                	List e2 = document.selectNodes("/peizhi/hbase/fengefu/@fuhao");
                	String h2 = ((Attribute)e2.get(0)).getText();
                        final String[] splited = value.toString().split(h2);
                        try {
                        		final String date0 = splited[0]+" "+splited[1]+" "+splited[2];
                        		SimpleDateFormat dateformat1 = new SimpleDateFormat("MMM dd HH:mm:ss",Locale.ENGLISH);
                                Date date=dateformat1.parse(date0);
                                SimpleDateFormat datef=new SimpleDateFormat("MMddHHmmss");
                                String date1="2017"+datef.format(date);
                                String rowKey = date1;
                                v2.set(rowKey + " " + value.toString());
                                context.write(key, v2);
                        } catch (NumberFormatException e) {
                                final Counter counter = context.getCounter("BatchImport",
                                                "ErrorFormat");
                                counter.increment(1L);
                                System.out.println("chu cuo le" + splited[0] + " " + e.getMessage());
                        } catch (ParseException e) {
							e.printStackTrace();
						}
                }
        }

        static class BatchImportReducer extends
                        TableReducer<LongWritable, Text, NullWritable> {
                protected void reduce(LongWritable key,
                                java.lang.Iterable<Text> values, Context context)
                                throws java.io.IOException, InterruptedException {
                	SAXReader reader = new SAXReader();
            		Document document = null;
        				try {
							document = reader.read("/home/hadoop/hui/dao.xml");
						} catch (DocumentException e1) {
							e1.printStackTrace();
						}
        			Element root = document.getRootElement();
            		List e2 = document.selectNodes("/peizhi/hbase/fengefu/@fuhao");
            		String h2 = ((Attribute)e2.get(0)).getText();
                        for (Text text : values) {
                                final String[] splited = text.toString().split(h2);
                                final Put put = new Put(Bytes.toBytes(splited[0]));                                                          
                                for (Iterator i = root.element("hbase").elementIterator(); i.hasNext();) {
                        			Element element = (Element) i.next();
                        			String name = null;
                        			String neirong = null;
                        			int a = 0;
                                  InetAddress addressIPv6 = null;
                                  Inet6Address IPv6 = null;
                                  Inet4Address IPv4 = null;
                        			if (element.getQualifiedName().equals("ziduan")) {
                        				name = element.attributeValue("name");
                        				neirong = element.getText();
                        				a = Integer.parseInt(neirong);
                        					try{
                                            addressIPv6 = InetAddress.getByName(splited[a+1]);
                                            }
                                            catch (UnknownHostException e1){
                                            e1.printStackTrace();
                                            }
                                            if(name.equals("ipv4")){
                                            	if(addressIPv6 instanceof Inet4Address){
                                            		IPv4 = (Inet4Address) addressIPv6;
//                                            		System.out.println("addressIPv4 =" + addressIPv6.getHostAddress());
                                            		put.add(Bytes.toBytes("cf"), name.getBytes(), Bytes.toBytes(addressIPv6.getHostAddress()));
                                            		context.write(NullWritable.get(), put);
                                            	}
                    						}
                                            else if(name.equals("ipv6")){
                                            	if(addressIPv6 instanceof Inet6Address){
                                            		IPv6 = (Inet6Address) addressIPv6;
//                                            		System.out.println("addressIPv6 =" + addressIPv6.getHostAddress());
                                            		put.add(Bytes.toBytes("cf"), name.getBytes(), Bytes.toBytes(addressIPv6.getHostAddress()));
                                            		context.write(NullWritable.get(), put);
                                            	}else if(splited[a+1].equals("h107")){
                                            		break;
                                            	}
                                            }else{
                            					put.add(Bytes.toBytes("cf"), name.getBytes(), Bytes.toBytes(splited[a+1]));
                                                context.write(NullWritable.get(), put);
                                            }
                        			}
                        		}
                        	}
                }
        }
}
[hadoop@h71 hui]$ vi dao.xml
[hadoop@h72 hui]$ vi dao.xml
[hadoop@h73 hui]$ vi dao.xml 
<?xml version="1.0" encoding="UTF-8"?>
<peizhi>
	<hbase>
		<jianbao name="messages"></jianbao>
		<liezu name="cf"></liezu>
		<ziduan name="ipv4">3</ziduan>
		<ziduan name="ipv6">3</ziduan>
		<ziduan name="host">4</ziduan>
		<ziduan name="leixing">5</ziduan>
		<fengefu fuhao=" "></fengefu>
	</hbase>
</peizhi>
[hadoop@h71 ~]$ hadoop fs -cat /messages 
Jan 23 19:59:00 192.168.101.254 s_sys@hui trafficlogger: empty map for 1:4097 in classnames
Feb 20 06:25:04 h107 rsyslogd: [origin software="rsyslogd" swVersion="8.4.2" x-pid="22204" x-info="http://www.rsyslog.com"] rsyslogd was HUPed
Jan 24 19:59:01 :: s_sys@hui trafficlogger: empty map for 1:4097 in classnames
Jan 23 19:59:02 192.168.101.254 s_sys@hui trafficlogger: empty map for 1:4097 in classnames
[hadoop@h71 q1]$ /usr/jdk1.7.0_25/bin/javac messages33.java
[hadoop@h71 q1]$ /usr/jdk1.7.0_25/bin/jar cvf xx.jar messages33*class
[hadoop@h71 q1]$ hadoop jar xx.jar messages33 
hbase(main):108:0> scan 'messages'
ROW                                                          COLUMN+CELL                                                                                                                                                                     
 20170123195900                                              column=cf:host, timestamp=1489827720926, value=s_sys@hui                                                                                                                    
 20170123195900                                              column=cf:ipv4, timestamp=1489827720926, value=192.168.101.254                                                                                                                  
 20170123195900                                              column=cf:leixing, timestamp=1489827720926, value=trafficlogger:                                                                                                                
 20170123195902                                              column=cf:host, timestamp=1489827720926, value=s_sys@hui                                                                                                                    
 20170123195902                                              column=cf:ipv4, timestamp=1489827720926, value=192.168.101.254                                                                                                                  
 20170123195902                                              column=cf:leixing, timestamp=1489827720926, value=trafficlogger:                                                                                                                
 20170124195901                                              column=cf:host, timestamp=1489827720926, value=s_sys@hui                                                                                                                    
 20170124195901                                              column=cf:ipv6, timestamp=1489827720926, value=0:0:0:0:0:0:0:0                                                                                                                  
 20170124195901                                              column=cf:leixing, timestamp=1489827720926, value=trafficlogger:                                                                                                                
3 row(s) in 0.0190 seconds


小强签名设计
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
HBaseBulkImportXML:如何将 XML 文件中的数据批量导入 HBase 表的示例
07-02
HBaseBulkImportXML 如何将数据从 XML 文件批量导入 HBase 表的示例。 hbase-bulk-import-XML-example 执照 Apache 许可。 HBase 提供对大数据的随机读写访问，但将大数据放入 HBase 可能是一个挑战。 使用 API 将数据放入工作中，但因为它必须遍历 HBase 的写入路径（即在将其刷新到 HFile 之前通过 WAL 和 memstore），它比您简单地绕过该批次并自己创建 HFiles 和将它们直接复制到 HDFS 中。 幸运的是 HBase 带有批量加载功能，这个例子演示了它们是如何工作的。 HBase 批量加载过程包括两个步骤： 1. 通过 MapReduce 作业准备 HFile，以及2. 使用 LoadIncrementalHFiles.doBulkLoad 将 HFile 导入 HBase MapRe
XML简介（学习笔记）
09-20 356
此文章只是本人放学习笔记。仅供参考。有不对的地方还请各位大神多多指教。 (1) XML的起源和目的 XML是Extensible Markup Language的缩写，即可扩展标记语言。它是一种用来创建的标记的标记语言。1996年，万维网协会（或者叫W3C，http://www.w3c.org ）开始设计一种可扩展的标记语言，1998年2月，XML1.0成为了W3C的推荐标准。
java-ipv6:表示IPv6地址，网络和相关概念的Java库
05-13
Java IPv6库（v0.16） java-ipv6是一个Java库，用于处理IPv6相关概念，例如IPv6地址，网络掩码，地址池等。 IPv6地址 IPv6Address表示一个IPv6地址。 final IPv6Address iPv6Address = IPv6Address . fromString( " fe80::226:2dff:fefa:cd1f " ); final IPv6Address iPv4MappedIPv6Address = IPv6Address . fromString( " ::ffff:192.168.0.1 " ); 在内部，IPv6Address使用两个长值存储IPv6地址。 IPv6Address可用于对IPv6地址进行简单的计算，例如加法和减法。 final IPv6Address iPv6Address = I
HBase之Rowkey设计总结与实战篇
qq_43688472的博客
03-27 826
HBase之Rowkey设计总结与实战篇 一、引言 HBase由于其存储和读写的高性能，在OLAP即时分析中越来越发挥重要的作用，在易观精细化运营产品–易观方舟也有广泛的应用。作为Nosql数据库的一员**， HBase查询只能通过其Rowkey来查询(Rowkey用来表示唯一一行记录)，Rowkey设计的优劣直接影响读写性能。** HBase中的数据是按照Rowkey的ASCII字典顺序进行全局...
C/C++的XML解析库
梦想腾飞
11-04 2604
原文地址：http://blog.chinaunix.net/uid-25885064-id-3179829.html Mini-XML 2.6 官方下载：http://www.minixml.org/software.php  下载地址：http://sourceforge.net/projects/mxml/files/ 中文手册：http://www.
java代码将mysql表数据导入HBase表
最新发布
03-14
总结，通过上述步骤，我们可以成功地将MySQL中的数据导入到HBase。在实际项目中，可能需要考虑更多因素，例如数据清洗、错误处理、性能优化等。此外，为了实现大规模数据迁移，可以考虑使用批处理或MapReduce等技术...
MR程序Bulkload数据到hbase
03-12
标题中的“MR程序Bulkload数据到hbase”指的是使用MapReduce（MR）程序批量加载（Bulkload）数据到HBase数据库的过程。MapReduce是Apache Hadoop框架中的一个关键组件，用于处理和生成大规模数据集。而HBase是一个...
HBase原理－数据读取流程解析
01-27
和写流程相比，HBase读数据是一个更加复杂的操作流程，这主要基于两个方面的原因：其一是因为整个HBase存储引擎基于LSM-Like树实现，因此一次范围查询可能会涉及多个分片、多块缓存甚至多个数据存储文件;其二是因为...
Tomcat 配置IPV6
weixin_42132143的博客
02-15 4399
在server.xml配置文件的里面加上 address=”[::]” ，这样其实已经给tomcat同时开启ipv4和ipv6了
Hadoop安装Hbase启动失败报错解决方法
wuhahaq的博客
04-11 2040
Hadoop安装Hbase启动失败报错解决方法
大数据：HBase 集群搭建（master、slave1和slave2）
梁辰兴的博客
10-10 2702
大数据的概念在不断地发酵，进入这个领域的人越来越多。在大数据的领域内，HBase的概念已成为企业和求学者都需要关注的一个重点。HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。
数据导入HBase最常用的三种方式及实践分析
架构师思考实践
01-07 2353
【编者按】要使用Hadoop，数据合并至关重要，HBase应用甚广。一般而言，需要 针对不同情景模式将现有的各种类型的数据库或数据文件中的数据转入至HBase 中。常见方式为：使用HBase的API中的Put方法； 使用HBase 的bulk load 工具；使用定制的MapReduce Job方式。《HBase Administration Cookbook》一书对这三种方式有着详尽描述，由
Centos7.9.2009离线部署CDH5.14.2.3 hbase集群
Alderaan的博客
02-22 433
Cloudera官方从2021年1月31日开始，所有Cloudera软件都需要有效的订阅，并且只能通过付费墙进行访问。为此网上很多教程使用的官方下载链接，目前访问都提示需要输入账号密码验证，而没有订阅Cloudera账户登录会提示403无权限。对于6.3.3之前的社区版也下载不了，只能找已经下载过的朋友拿安装包了~~~...
Hadoop安装注意IPV6问题
jiajiano6的专栏
06-06 1996
因为hadoop默认是支持ipv6的 因此如果linux本身支持ipv6的话 就会把端口绑定到ipv6上 需要在Hadoop-env.sh中加一句  HADOOP_OPTS=-Djava.net.preferIPv4Stack=true
IPv6地址表示方法详解(转)
热门推荐
千里之行,始于足下
03-10 1万+
IPv6是互联网协议的第六版；最初它在IETF的 IPng选取过程中胜出时称为互联网新一代网际协议(IPng)，IPv6是被正式广泛使用的第二版互联网协议。现有标准IPv4只支持大概40亿(4×109)个网络地址，而IPv6支持3.4 ×1038个，这等价于在地球上每平方英寸有4.3×1020地址(6.7×1017地址/mm2)。(IPv5不是IPv4的继承，而是实验性的面向流的数据流协议，用
hbase 1.2.6 安装
let it go的博客
09-21 1955
1. 环境信息： Linux 系统： [hadoop@master bin]$ cat /etc/redhat-release CentOS Linux release 7.1.1503 (Core) hosts文件： [root@master ~]# cat /etc/hosts #127.0.0.1 localhost localhost.localdomain loca
scala版本,spark将hive的数据批量导入hbase
06-28
使用Scala编写Spark程序，可以将Hive中的数据批量导入HBase。具体步骤如下： 1. 在Scala中引入相关的Spark和HBase依赖库。 2. 创建SparkSession对象，并设置相关的配置参数。 3. 从Hive中读取数据，可以使用Spark...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小强签名设计

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值