scala增量抽取mysql数据到hive的ods库中日志打印太多问题

已于 2022-12-15 04:51:59 修改
阅读量391 收藏
点赞数
分类专栏： 大数据 文章标签： hive spark mysql scala
于 2022-12-15 04:25:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44342968/article/details/128324224
版权

在用scala从mysql增量抽取数据到hive中，发现在本地idea测试的时候会出现一堆日志信息看着贼难受，就一直在找办法解决

先配置一下本地hadoop 

配置系统环境变量

指定用户

System.setProperty("HADOOP_USER_NAME","root")

设置日志打印级别

 val sc = spark.sparkContext
    sc.setLogLevel("ERROR")

把集群的这两个文件放进idea去 resources中 

 干干净净啦~

记录疯狂～
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
scala日志打印 日志框架
yy的博客
04-16 853
目录 maven 下载jar 添加jar到项目依赖 code 配置文件 日志文件 命令行日志打印 maven <properties> <maven.compiler.source>8</maven.compiler.source> <maven.compiler.target>8</maven.compiler.target> <scala.binary.ve.
利用scala全量静态抽取mysql数据到hive
weixin_44342968的博客
12-15 572
【代码】利用scala全量静态抽取mysql数据到hive。
Scala日志打印
practice
11-28 5961
基于scala-logging和logback的日志打印模板，其中logback是一个更高效/更优于log4j的日志打印框架，目前正逐渐替代log4j的位置，以下为实现日志打印的几个步骤： 1. 添加依赖 以maven为例： &lt;dependency&gt; &lt;groupId&gt;com.typesafe.scala-logging&lt;/groupId&gt; &lt...
ScalaTest——日志打印
雾幻的博客
10-24 949
5.1 Informers日志 Informer在ScalaTest中是为了打印日志方便观察，跟debug语句很相似，但它可以放在任何地方来输出一些跟测试相关的信息。使用Informer只要调用info(String)方法即可。如下面的例子： import org.scalatest.{FunSpec, ShouldMatchers} class AlbumTest extends FunSpe...
全国职业技能大赛大数据赛项十套赛题（shtd）
01-16
使用Scala编写spark工程代码，将MySQL的shtd_store库中表user_info、sku_info、base_province、base_region、order_info、order_detail的数据增量抽取到Hive的ods库中对应表user_info、sku_info、base_province、...
Scala代码积累之spark streaming kafka 数据存入到hive源码实例
03-01
Scala代码积累之spark streaming kafka 数据存入到hive源码实例，Scala代码积累之spark streaming kafka 数据存入到hive源码实例。
win10下搭建Hadoop环境（jdk+mysql+hadoop+scala+hive+spark） 3.docx
09-17
在Windows 10环境下搭建Hadoop生态系统，包括JDK、MySQL、Hadoop、Scala、Hive和Spark等组件，是一项繁琐但重要的任务，这将为你提供一个基础的大数据处理平台。下面将详细介绍每个组件的安装与配置过程。 **1. JDK...
锌：Scala增量编译器库，最初是sbt的一部分
02-04
大多数Scala开发人员每天都会使用它，而不会注意到-它嵌入在sbt，CBT和裤子等关键构建工具中。 Zinc的主要目标是在不牺牲正确性的情况下加快编译时间。 当您更改源文件时，Zinc会分析代码的依赖性并编译受更改影响...
scala中的数据结构
01-07
scala数据结构 1、种类 scala的数据结构有：数组Array、元组Tuple、容器Collection、序列Sequence、集合Set、映射Map、迭代器Iterator 2、数组 创建方式 (创建一个长度为10类型为Int的数组 1 val arr = new Array...
scala-logging：Scala包装SLF4J的便捷性能日志库
02-05
scala-logging：Scala包装SLF4J的便捷性能日志库
scala-trace-debug：基于宏的打印调试。 在您的IDE中找到日志语句
02-05
scala-trace-debug：在类固醇上打印调试 **不推荐使用此库。 如果您使用的是Scala 2.11或更高版本，请使用 ** scala-trace-debug是基于超链接的打印调试系统，旨在与支持堆栈跟踪突出显示的任何IDE或文本编辑器一起使用。 它起源于用Java开发的面向本科生的打印调试系统，并逐渐发展为可用于生产的产品。 使用Scala中的编译时宏和Java中的运行时开关，scala-trace-debug使您的打印语句和断言比以往更容易定位。 使用它可以在源代码中附加“智能”超链接，从而避免“ grep”的需要，并通过将ENABLE_TRACE_DEBUG环境变量设置为
Scala连接Mysql数据库和Sqlserver数据库，增量抽取数据存储到Hive数据库
zhengzaifeidelushang的博客
12-17 1746
Scala连接Mysql数据库和Sqlserver数据库 Mysql和Sqlserver源数据库单表数据量超过200G，现在需要把数据搬运到HDFS上存储，释放源数据库存储空间。这里采用Scala开发Spark程序，按照索引ID增量抽取数据插入到hive数据库中,每次增量抽取300万条数据。 如下图所示： 每次抽取300万条数据，并且每次存储最大ID到一张记录表中，在最大ID基础上实现每次增量抽取300万条数据到Hive数据库表中。 下面详细记录了Scala连接Mysql数据库和Sqlserver数据库，
云计算实战 （海量日志管理）hive -- hive + hiveclient (hive 客户端)
Open source of memory
12-03 311
      五个节点的hadoop服务器集群搭建完成后，得想办法提高开发效率，mapreduce 我不是高手，写起来有点麻烦，公司业务不等人，还是决定上hive。       话说想玩好hadoop 还得学精mapreduce ，或许我把这个任务往后放放。       废话不多说，接下来介绍下hive 的安装和实际应用。       hive 安装：       本人hadoop 用的就是...
如何编写 Scala 工程代码，将 MySQL 库中表 table1 的数据增量抽取到 Hive 的 ods 库中 对应表 table1 中。...
weixin_42594427的博客
02-18 561
首先，准备一份 Scala 工程，安装相应的依赖包，定义一个 Scala 类，将 MySQL 数据库中的表 table1 的数据抽取到一个 DataFrame 中，然后使用 Spark 的 write 方法将这个 DataFrame 写入到 Hive 的 ods 库的 table1 表中。 ...
在idea跑spark程序日志信息太多？
少年阿宏
12-14 404
//写一个父类 class LoggerTrait{ Logger.getLogger("org.apache.spark").setLevel(Level.WARN) Logger.getLogger("org.apache.hadoop").setLevel(Level.WARN) Logger.getLogger("org.spark_project").setLevel(Level.WARN) } //Spark程序继承父类就好了
scala打印服务器消息,详解如何使用Spark和Scala分析Apache访问日志
weixin_39555415的博客
07-30 2310
详解如何使用Spark和Scala分析Apache访问日志发布时间：2020-09-10 03:57:47来源：脚本之家阅读：122作者：解道JDON栏目：服务器安装首先需要安装好Java和Scala，然后下载Spark安装，确保PATH 和JAVA_HOME 已经设置，然后需要使用Scala的SBT 构建Spark如下：$ sbt/sbt assembly构建时间比较长。构建完成后，通过运行下面...
大数据量mysql数据分区(时间)导入hive，Spark，scala实现
weixin_44947939的博客
04-06 2184
大数据量mysql数据分区(时间)导入hive，Spark，scala实现
spark抽取mysql数据到hive_使用spark将内存中的数据写入到hive表中
weixin_34324082的博客
02-22 907
使用spark将内存中的数据写入到hive表中hive-site.xmlhive.metastore.uristhrift://master:9083Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.javax.jdo.option.ConnectionURLjd...
Scala日志log4j，序列化Gson
最新发布
eight_Jessen的博客
12-11 576
对于 Maven 项目，可以在 pom.xml 文件中添加以下内容：</</</</
编写scala代码抽取MySQL库中table的增量数据进入hive的ods库中表table
02-16
可以按照以下步骤编写Scala代码抽取MySQL库中table的增量数据进入Hive的ODS库中表table： 1. 使用Scala中的JDBC API连接MySQL数据库，执行SQL查询语句，获取需要增量抽取的数据。 2. 对于增量数据的抽取，可以使用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

记录疯狂～

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值