win10下Spark java读取Hbase数据

最新推荐文章于 2023-01-27 11:13:33 发布
最新推荐文章于 2023-01-27 11:13:33 发布
阅读量2.7k 收藏 2
点赞数
分类专栏： 机器学习 文章标签： spark hbase hadoop java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Incy_1218/article/details/71453608
版权

本文采用的配置为spark2.1+hadoop2.7.3+Hbase1.3.0

安装hadoop

1、hadoop在官网下载src之后解压，创建新系统环境变量HADOOP_HOME并把值设置为hadoop解压所在目录。把这个链接https://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1下的bin目录下载下来，替换掉我们本地的hadoop bin目录。
2、 找到\hadoop-2.7.3\etc\hadoop\hadoop-env.cmd，然后把里面的JAVA_HOME的值改为你的jdk所在目录
具体可以参考http://blog.csdn.net/kokjuis/article/details/53537029

安装Hbase

1、下载Hbase，然后修改conf/hbase-site.xml为如下

configuration>
    <property>
           <!-- hbase提供的服务地址-->
           <name>hbase.master</name>
           <value>localhost:6000</value>
   </property>
   <property>
           <name>hbase.master.maxclockskew</name>
           <value>180000</value>
   </property>
   <property>
          <!-- hbase在hdfs里的目录 -->
           <name>hbase.rootdir</name>
           <value>hdfs://localhost:9000/hbase</value>
   </property>
   <property>
           <name>hbase.cluster.distributed</name>
           <value>false</value>
   </property>
   <property>
           <!-- ZK的主机地址 -->
           <name>hbase.zookeeper.quorum</name>
           <value>localhost</value>
   </property>
   <property>
            <!-- hbase在ZK上保存数据的目录 -->
           <name>hbase.zookeeper.property.dataDir</name>
           <value>/hbase</value>
   </property>
   <property>
           <name>dfs.replication</name>
           <value>1</value>
   </property>
</configuration>

2、修改 conf/hbase-env.cmd
设置JAVA_HOME，类似于部署hadoop

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_111

3、停止hadoop

sbin>stop-all.cmd

4、格式化Hadoop命名节点

bin>hdfs namenode -format

5、启动hadoop

sbin>start-all.cmd

6、启动Hbase

bin>start-hbase.cmd

7、访问Hbase shell

bin>hbase shell
  • 注意：如果不启动hadoop和Hbase的话，Hbase shell是没办法用的

用hbase shell插入数据

1、创建表：其中student为表名，info列族名称。这个列族将包含name,age,gender

hbase> create 'student', 'info'

2、插入数据

//首先录入student表的第一个学生记录
hbase> put 'student','1','info:name','Xueqian'
hbase> put 'student','1','info:gender','F'
hbase> put 'student','1','info:age','23'
//然后录入student表的第二个学生记录
hbase> put 'student','2','info:name','Weiliang'
hbase> put 'student','2','info:gender','M'
hbase> put 'student','2','info:age','24'

3、查看插入的数据

//如果每次只查看一行，就用下面命令
hbase> get 'student','1'
//如果每次查看全部数据，就用下面命令
hbase> scan 'student'

Spark安装

下载Spark然后解压即可

JAVA读取Hbase

1、在%SPARK_HOME%/jars目录下创建hbase，把HBase下lib中的jar包添加到hbase目录中去
2、在intlliJ中把文件夹添加到project structure的Dependency中。
3、用java读取刚刚插入到Hbase的student表

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.KeyValue;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableInputFormat;
import org.apache.hadoop.hbase.protobuf.ProtobufUtil;
import org.apache.hadoop.hbase.protobuf.generated.ClientProtos;
import org.apache.hadoop.hbase.util.Base64;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import scala.Tuple2;

import java.io.IOException;
import java.util.List;

import static org.apache.hadoop.hbase.mapreduce.TableMapReduceUtil.convertScanToString;

/**
 * Created by shying on 2017/5/9.
 */
public class Test_hbase {

    public static Configuration configuration;
    public static Connection connection;
    public static Admin admin;
    //初始化hbase链接
    public static void init(){
        configuration  = HBaseConfiguration.create();
        configuration.set("hbase.rootdir","hdfs://localhost:9000/hbase");
        try{
            connection = ConnectionFactory.createConnection(configuration);
            admin = connection.getAdmin();
        }catch (IOException e){
            e.printStackTrace();
        }
    }
    //关闭hbase链接
    public static void close(){
        try{
            if(admin != null){
                admin.close();
            }
            if(null != connection){
                connection.close();
            }
        }catch (IOException e){
            e.printStackTrace();
        }
    }

    //用hbase接口查询hbase中存在的表
    public static void listTables() throws IOException {
        init();
        HTableDescriptor hTableDescriptors[] = admin.listTables();
        for(HTableDescriptor hTableDescriptor :hTableDescriptors){
            System.out.println(hTableDescriptor.getNameAsString());
        }
        close();
    }

    public static void main(String[] args)throws IOException{

        //用hbase接口读取hbase数据
        listTables();
        //把hbase数据读取到
        SparkConf sparkConf = new SparkConf().setMaster("local").setAppName("hbase test");
        JavaSparkContext sc = new JavaSparkContext(sparkConf);
        Configuration conf = HBaseConfiguration.create();
        conf.set("hbase.rootdir","hdfs://localhost:9000/hbase");
        //Scan操作
        Scan scan = new Scan();
        scan.setStartRow(Bytes.toBytes("1"));
        scan.setStopRow(Bytes.toBytes("3"));
        scan.addFamily(Bytes.toBytes("info"));
        scan.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"));

        try {
            String tableName = "student";
            conf.set(TableInputFormat.INPUT_TABLE, tableName);

            ClientProtos.Scan proto = ProtobufUtil.toScan(scan);
            String ScanToString = Base64.encodeBytes(proto.toByteArray());

            conf.set(TableInputFormat.SCAN, ScanToString);
            JavaPairRDD<ImmutableBytesWritable, Result> myRDD = sc.newAPIHadoopRDD(conf, TableInputFormat.class,
                    ImmutableBytesWritable.class, Result.class);
             //输出数据条数
             System.out.println("count: " + myRDD.count());
            //把读取到的Result转化成String RDD并保存成test文件夹
            JavaRDD<String> result = myRDD.map(x -> Bytes.toString(x._2().getValue(Bytes.toBytes("info"), Bytes.toBytes("name"))));

            result.saveAsTextFile("./test");

        }
        catch (Exception e) {
            System.out.println(e);

        }
        sc.close();
    }
  • 注意：运行程序会经常抛出java.net.ConnectException，这是正常的。

最后test文件夹下part-00000的内容为

Xueqian
Weiliang

spark读取mysql

1、下载mysql connector for java,链接为https://dev.mysql.com/downloads/connector/j/5.1.html

2、把上述下载的jar包添加到项目dependency中。

3、spark java代码读取mysql

        Dataset<Row> jdbcDF = spark.read()
                .format("jdbc")
                .option("url", "jdbc:mysql://localhost/database?user=root&password=secret")
                .option("dbtable", "database.user")
                .option("driver", "com.mysql.jdbc.Driver")
                .load();
        jdbcDF.show();

参考链接：
Win10不需要Cygwin搭建大数据测试环境（1）-Hadoop
Win10不需要Cygwin搭建大数据测试环境（2）-HBase
Spark读取HBase内容_Java
Spark2.1.0入门：读写HBase数据

shelmi
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Spark读取HBase内容_Java
sundujing的博客
05-12 6687
Spark读取Hbase中表名为bi_coupon,列簇（column family）为a，column为a，这样对Hbase中数据操作，可通过myRDD来进行,表结构如下： /** * 文件名：Hbase.java * * 创建人：Sundujing - [email protected] * * 创建时间：2016年5月12日 下午4:32:03 * * 版权所有：Sunduji
java 读取hbase_HBase读写的几种方式（一）java篇
weixin_28940363的博客
02-12 2304
1.HBase读写的方式概况主要分为：纯JavaAPI读写HBase的方式；Spark读写HBase的方式；Flink读写HBase的方式；HBase通过Phoenix读写的方式；第一种方式是HBase自身提供的比较原始的高效操作方式，而第二、第三则分别是Spark、Flink集成HBase的方式，最后一种是第三方插件Phoenix集成的JDBC方式，Phoenix集成的JDBC操作方式也能在S...
Spark读取Hbase中的数据
luenxin的博客
03-20 2118
大家可能都知道很熟悉Spark的两种常见的数据读取方式（存放到RDD中）：（1）、调用parallelize函数直接从集合中获取数据，并存入RDD中；Java版本如下： 1 JavaRDD myRDD = sc.parallelize(Arrays.asList(1,2,3)); Scala版本如下：
spark hbase java_spark使用java读取hbase数据做分布式计算
weixin_29496633的博客
02-16 383
package com.sdyc.ndspark.sys;import org.apache.commons.logging.Log;import org.apache.commons.logging.LogFactory;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfigur...
Fire框架--Spark读写Hbase
Long752299361的博客
07-13 724
如何通过一行代码实现spark对Hbase的读写操作？本文演示基于fire框架快速实现spark与Hbase的集成
Spark学习之数据读取与保存总结(一)
09-17 699
一、动机 　　我们已经学了很多在 Spark 中对已分发的数据执行的操作。到目前为止，所展示的示例都是从本地集合或者普通文件中进行数据读取和保存的。但有时候，数据量可能大到无法放在一台机器中，这时就需要探索别的数据读取和保存的方法了。 　　Spark 及其生态系统提供了很多可选方案。本章会介绍以下三类常见的数据源。 　　• 文件格式与文件系统：对于存储在本地文件系统或分布式文件系统（比如 NFS、HDFS、Amazon S3 等）中的数据，Spark 可以访问很多种不同的文件格式，包括文本文件、JSO
spark读取hbase数据，并使用spark sql保存到mysql
09-24
使用spark读取hbase中的数据，并插入到mysql中
hbase-rdd：Spark RDD从HBase读取，写入和删除
02-05
hbase-rdd：Spark RDD从HBase读取，写入和删除
spark使用java读取hbase数据做分布式计算.pdf
11-24
spark使用java读取hbase数据做分布式计算.pdf
利用java api读取hbase数据遇到的一些坑及解决方法
01-20
java.lang.RuntimeException: org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions: Fri Feb 14 10:30:36 CST 2020, null, java.net.SocketTimeoutException: ...
Spark 读写Hbase
03-24 3887
启动 zookeeper----》hadoop----》hbase 创建hbase表student create 'student' ，'info' 添加数据 put 'student' ，'1' ，'info:name','James' put 'student' ，'1' ，'info:age','23' put 'student' ，'1' ，'info:gender','F' put 'student' ，'2' ，'info:name','Smith' put 'studen
【HBase入门】9. HBase Java编程（3）——数据查看、导入导出
CSDNGuoYuying的博客
01-27 1648
HBase Java编程（3）——数据查看、导入导出
Java API操作 HBase
noobiee的博客
04-10 4158
导入数据问题 Rowkey问题 Java API操作HBase Ref: HBase Java API之TableDescriptorBuilder，ColumnDescriptorBuilder创建表、列族_追梦*小生的博客-CSDN博客 JAVA连接HBase客户端及HBase写入数据和读取数据原理解析_菜鸟周星星的博客-CSDN博客 浅谈HBase的数据分布 - 知乎 Hbase API以及java如何操作Hbase的说明_Uncle_Mo的博客-CSDN博客_hbase j
使用Spark/Java读取已开启Kerberos认证的HBase
hellozhxy的博客
11-27 2193
1.赋予drguo用户相应的权限 2.KDC中创建drguo用户并导出相应的keytab文件 [root@bigdata28 ~]# kadmin.local  Authenticating as principal drguo/[email protected] with password. kadmin.local:  addprinc drguo/bigdata28 WARNING: no p...
java操作hbase
纯洁的小魔鬼
07-19 4808
Hbase是分布式、面向列的开源数据库。HDFS为Hbase提供可靠的底层数据存储服务，MapReduce为Hbase提供高性能的计算能力，Zookeeper为Hbase提供稳定服务和Failover机制。
Java 操作HBase
qq_42260493的博客
10-11 7486
1.创建一个学生信息表，用来存储学生的姓名（姓名作为行键，且假设姓名不会重复）以及考试成绩，其中考试成绩（score）是一个列族，存储了各个科目的考试成绩。HTableDescriptor包含了HBase中的表格的详细信息（例如表中的列族、表的类型、表是否只读、MemoStore的最大空间、Region分裂时机等）管理HBase数据库信息（包括创建、删除表、列出表项、使表有效/无效、添加/删除表的列族成员、检查HBase运行状态等）2.针对表的操作（创建表、删除表、判断表是否存在、使用/禁用表、列出表）
java连接Hbase操作数据库的全过程---java api操作Hbase数据库
小小的人儿的博客
05-09 3352
要看hadoop和hbase搭建过程的通过传送门过去看： hadoop：https://blog.csdn.net/qq1049545450/article/details/90019159 hbase：https://blog.csdn.net/qq1049545450/article/details/90023386 在使用java操作Hbase数据库之前，先进行以下配置： 对本地的h...
Java读取Hbase中表的数据并存储，再利用IO流写入到本地文件中
weixin_35749786的博客
12-21 71
可以使用Java的HBase API来连接HBase并读取表中的数据。 示例代码如下： import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.TableName; import org.apache....
spark sql读取hbase中数据的优化
最新发布
06-06
Spark SQL 读取 HBase 中数据的优化主要包括以下几个方面： 1. 数据分区：将 HBase 中的数据按照某个字段进行分区，可以提高数据的读取效率。 2. 数据过滤：在读取数据时，可以通过过滤器来过滤掉不需要的数据，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值