Spark应用连接HBase报NullPointerException

最新推荐文章于 2022-11-30 22:13:16 发布
最新推荐文章于 2022-11-30 22:13:16 发布
阅读量3.6k 收藏
点赞数
分类专栏： hadoop相关 文章标签： spark hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/q79969786/article/details/44753055
版权


Spark应用没有问题，但是提交以后一直报NullPointerException， 请仔细检查jar包，我的spark应用要连接HBase-0.98，但是classpath有HBase-0.94和protobuf-java-2.4.0a.jar的jar包

报错信息如下:

Exception in thread "main" java.lang.NullPointerException
        at com.bigdata.spark.streaming.TestOPHBase.main(TestOPHBase.java:122)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:358)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:75)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)


 

q79969786
关注
专栏目录
spark学习-53-Spark下Java版HBase下的根据权重获取最真实数据
九师兄
12-06 1079
1。我们有一个一批数据，数据格式相同，但是来源不同，根据来源有不同的真实级别，比方说编号0001是来自确认的警察局的数据，这个数据的真实度为100%，那么权重看可以设置为100，编号0002是来自人才市场的数据，这个数据的真实度为90%（因为可能有人信息不太真实，比如年龄），那么权重看可以设置为90，编号0003是来自智联招聘的数据，这个数据的真实度为80%（因为可能有人信息不太真实，比如年龄），那
spark：sparkstreaming 0.10版本 案例1：从 kafka 采集数据，并存储到 Hbase Demo示例 / 案例2：实时更新mysql
不花的花和尚的博客
06-19 799
pom： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/
SparkStreaming写入hbase数据库过程中，有空指针NullPointException产生如何处理以及RDD类型如何转换！！
reedom1991的博客
04-28 1054
所用的软件版本： spark2.3.0 hbase1.4.6 IDEA2019.1 业务代码如下： package com.bd.spark import org.apache.kafka.clients.consumer.ConsumerRecord import org.apache.kafka.common.serialization.StringDeserializer im...
解决spark在向hbase写入数据时报空指针错误
weixin_42365428的博客
04-08 1307
我电脑配置的各个版本：hadoop 2.85 spark 2.4.0 hbase 1.4.9 问题：向hbase写入数据时，当提交到spark 时,报Exception in thread “main” java.lang.NullPointerException，如下图： 报错的行数是这一行： 解决： １检查看在提交程序到spark时引入jar包文件中是否少了metrics-core－...
Hbase 启动报错java.lang.NullPointerException
weixin_45118947的博客
06-28 2121
Hbase 启动报错java.lang.NullPointerException 启动hbase后进入http://master:16010/master-status端口发现报错， java.lang.NullPointerException at org.apache.hadoop.hbase.tmpl.master.BackupMasterStatusTmplImpl.renderNoFlush(BackupMasterStatusTmplImpl.java:59) at org.apache.had
JavaSparkContext初始化错误 NullPointerException：isJavaVersionAtLeast(SystemUtils.java:1654)
iMatt的专栏
05-25 299
原因：spark使用的hadoop和当前java代码配置的hadoop版本不一致。 解决：修改build path。保证配置的spark和hadoop的版本与开发环境中的版本一致
Scala操作Hbase空指针异常java.lang.NullPointerException处理
weixin_30607659的博客
03-05 167
Hbase版本：Hortonworks Hbase 1.1.2 问题描述：使用Scala操作Hbase时，发生空指针异常（java.lang.RuntimeException: java.lang.NullPointerException），异常如下： 18/09/13 20:28:51 ERROR Executor: Exception in task 1.0 in stag...
（案例）Geomesa集成HBase和Spark：读写HBase
koukan3的博客
12-05 2814
一、 需求 从HBase集群中读取数据，并写入到集成了Geomesa 的HBase集群中。地理信息数据（点Point）需要保存为Geometry对象。 二、遇到的问题 1.使用Spark结合Geomesa写入HBase时，空指针异常NullPointerException 执行以下代码写入HBase时，报空指针异常： dataFrame.write.format("geomesa")....
Spark读写HBase：处理纽约出租车数据
koukan3的博客
11-10 1508
一、数据及部分代码来源： 解析geojson数据：https://github.com/jwills/geojson 纽约出租车数据：http://www.andresmh.com/nyctaxitrips/ https://www1.nyc.gov/site/tlc/about/tlc-trip-record-data.page 二、需求 =====1.已经将2013年全年的出租车载...
Spark Shell 启动报NullPointerException（包含getZipEntry）
fansy1990的专栏
02-18 1252
文章目录Spark Shell 启动NullPointerException提示getZipEntry1. 软件版本：2. 问题描述：3. 问题解决思路4. 后续 Spark Shell 启动NullPointerException提示getZipEntry 1. 软件版本： 软件 版本 CDH CDH-5.7.3-1.cdh5.7.3.p0.5 Spark Standalon...
Spark Jdbc报NullPointerException
一个不安分的程序员
11-24 2337
问题描述： 运行使用Spark Jdbc读取postgresql程序报错： Exception in thread "main" java.lang.NullPointerException at java.util.Hashtable.put(Hashtable.java:460) at java.util.Properties.setProperty(Properties.java:166) at org.apache.spark.sql.execution.datasources.jdbc
关于Hbase使用出现java.io.IOException: java.lang.reflect.InvocationTargetException解决
不依法度的博客
11-30 1761
关于Hbase使用出现java.io.IOException: java.lang.reflect.InvocationTargetException解决
hbase 查询大量数据异常并解决方法
热门推荐
dub_lys的博客
08-07 1万+
java.lang.RuntimeException: org.apache.hadoop.hbase.client.ScannerTimeoutException: 66216ms passed since the last invocation, timeou t is currently set to 60000         at org.apache.hadoop.hbase.cl
spark编程ERROR01——java.lang.NullPointerException
SYITwin的博客
03-25 3862
IDEA中运行spark程序，发现datafram可以进行df.show() 但是只要df.count() 就会显示下面的异常信息： 2022-03-25 17:56:13,691 ERROR executor.Executor: Exception in task 14.0 in stage 7.0 (TID 222) java.lang.NullPointerException at $line33.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.$a.
解决spark dataframe get 报空指针异常 java.lang.NullPointerException
萌兔兔MMQ！！
02-28 2022
Spark 编程读取hive，hbase, 文本等外部数据生成dataframe后，一般我们都会map遍历get数据的每个字段,此时如果原始数据为null时，如果不进行判断直接转化为string，就会报空指针异常 java.lang.NullPointerException 示例代码如下： val data = spark.sql(sql) val rdd = data.rdd.map(record => { val recordSize = record.size for(i <-
hbase总结：hbase连接异常
jamin_tan007的专栏
11-26 5129
异常提示： java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.   分析：出这个错误,是因为win中没有这只HADOOP_HOME,但是win7中怎么会有HADOOP_HOME呢,设置后指向什么位置呢,我的hadoop在服务器端上的啊； 网络上的答案：HAD
hbase 用HTablePool 类获取hbaseTable报错
小透明-溶冰
04-04 1719
转载自：http://bbs.hadoopor.com/thread-4724-1-1.html HTable table = new HTable(configuration,tabName);    这样是可能正常创建table对象 HTablePool pool = new HTablePool(configuration, 1000);    HTable ta
spark连接hbase读写数据
最新发布
03-23
可以使用 Spark 的 HBase Connector 来连接 HBase 并进行数据读写操作。以下是一个示例代码： ```scala import org.apache.hadoop.hbase.HBaseConfiguration import org.apache.hadoop.hbase.client.{Connection, ConnectionFactory, Put} import org.apache.hadoop.hbase.spark.HBaseContext import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession val sparkConf = new SparkConf().setAppName("Spark-HBase Connector Example") val spark = SparkSession.builder().config(sparkConf).getOrCreate() val hbaseConf = HBaseConfiguration.create() hbaseConf.set("hbase.zookeeper.quorum", "localhost") hbaseConf.set("hbase.zookeeper.property.clientPort", "2181") val hbaseContext = new HBaseContext(spark.sparkContext, hbaseConf) val tableName = "test_table" val columnFamily = "cf" val rowKey = "row1" val column = "col1" val value = "value1" val rdd = spark.sparkContext.parallelize(Seq((rowKey, column, value))) val putRdd = rdd.map { case (row, col, value) => val put = new Put(row.getBytes()) put.addColumn(columnFamily.getBytes(), col.getBytes(), value.getBytes()) (new org.apache.hadoop.hbase.client.TableIdentifier(tableName), put) } hbaseContext.bulkPut(putRdd) ``` 这段代码演示了如何使用 Spark 的 HBase Connector 将数据写入 HBase。首先，我们需要创建一个 HBaseContext 对象，然后使用 bulkPut 方法将数据写入 HBase。在这个例子中，我们将一行数据写入了名为 test_table 的表中，行键为 row1，列族为 cf，列为 col1，值为 value1。 注意：在实际使用中，需要根据实际情况修改 HBase 的配置和表名、列族、列等信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值