![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
小亚文
我喜欢随遇而安的生活,但我更需要自身的努力来创造更好的生活
展开
-
hbase版本从1.2升级到2.1 spark读取hive数据写入hbase 批量写入类不存在问题
在hbase1.2版本中,pom.xml中引入hbase-server1.2…0和hbase-client1.2.0就已经可以有如下图的类。但是在hbase2.1.0版本中增加这两个不行。hbase-server2.1.0中没有mapred包,同时mapreduce下就2个类。在2.1.0版本中增加hbase-mapreduce包就可以支持了。原创 2024-05-24 10:54:11 · 273 阅读 · 0 评论 -
SparkContext、SparkConf和SparkSession的说明
SparkContext 和 SparkConf 任何Spark程序都是SparkContext开始的,SparkContext的初始化需要一个SparkConf对象,SparkConf包含了Spark集群配置的各种参数。初始化后,就可以使用SparkContext对象所包含的各种方法来创建和操作RDD和共享变量。al conf = new SparkConf().setMaster("master").setAppName("appName")val sc = new SparkContext(转载 2021-06-07 18:41:03 · 3132 阅读 · 0 评论 -
Logger日志级别说明及设置方法
日志记录器(Logger)是日志处理的核心组件。log4j具有5种正常级别(Level)。日志记录器(Logger)的可用级别Level (不包括自定义级别 Level), 以下内容就是摘自log4j API (http://jakarta.apache.org/log4j/docs/api/index.html):static Level WARNWARN level表明会出现潜在错误的情形。static Level ERRORERROR level指出虽然发生错误事件,但仍然不影响系统的继续运行转载 2021-06-07 13:58:09 · 2166 阅读 · 0 评论