阿正的博客

专注大数据、云计算

自定义博客皮肤

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Exception in thread “streaming-start” java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer

Exception in thread “streaming-start” java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/util/Collection;)V...

2019-07-31 22:16:33

阅读数 144

评论数 0

kafkaUtils提示User class threw exception: java.lang.AbstractMethodError

版本不一致造成的!!!因为我的IDEA对应的 spark-streaming-kafka-0-10_2.11 的spark.version版本是2.2,而我集群的是2.3,修改我的IDEA对应的也是2.3后再打jar包提交即可解决问题 ...

2019-07-31 17:29:16

阅读数 57

评论数 0

SparkStreaming消费kafka数据实时的进行抽取、过滤、转换,然后存储到HDFS中

概要:本例子为SparkStreaming消费kafka消息的例子,实现的功能是将数据实时的进行抽取、过滤、转换,然后存储到HDFS中。 实例代码 package com.fwmagic.test import com.alibaba.fastjson.{JSON, JSONExcepti...

2019-07-31 15:03:33

阅读数 112

评论数 0

SparkStreaming之读取Kafka数据

本文主要记录使用SparkStreaming从Kafka里读取数据,并计算WordCount 主要内容: 1.本地模式运行SparkStreaming 2.yarn-client模式运行 相关文章:1.Spark之PI本地2.Spark之WordCount集群3.SparkStreaming...

2019-07-31 14:58:03

阅读数 54

评论数 0

flume接收kafka消息 后台启动 接收几天后突然flume采集不到数据,但kafka的topic有数据的问题所在

因为集群启用了kerberos认证,需要定期手动认证,不然启动的flume的application虽然启动着,但消费不到kafka的latest的数据。

2019-07-29 13:57:05

阅读数 33

评论数 0

Robo3T使用小结

1,设置时间显示 在未设置前数据内的时间数都比当前时间少8小时。比如2019-2-27 15:00,在MongoDB里面时间就是2019-2-27 7:00 设置很简单,点击Options==>Display Date In...==>将UTC改为Local Time...

2019-07-29 09:56:50

阅读数 190

评论数 0

SparkSRE-基于Spark的语义推理引擎

http://openkg.cn/dataset/sparksre-spark

2019-07-24 13:47:08

阅读数 9

评论数 0

scala Md5加密

import java.security.MessageDigest object Md5 { def hashMD5(content: String): String = { val md5 = MessageDigest.getInstance("MD5") ...

2019-07-24 13:45:52

阅读数 34

评论数 0

SQL增加列

ALTER TABLE com_tag ADD com_id int(11) DEFAULT NULL COMMENT '公司id' AFTER id 在id列后面增加一列com_id

2019-07-19 18:47:09

阅读数 22

评论数 0

java 正则表达式--检验日期格式

使用Pattern类和Matcher类完成一个日期格式是否符合要求的验证过程。 例如:日期格式要求为:yyyy-mm-dd 正则表达式验证规则过程: 日期: 2015 - 12 - 08 格式: 四位数字 两位数字 两位数字 正则: \\d{4} - \\d{2} - \\d{2} 其中“...

2019-07-18 22:58:31

阅读数 17

评论数 0

scala 时间格式转换(String、Long、Date)

1)scala 时间格式转换(String、Long、Date) 1、时间字符类型转Date类型 [java] view plain copy import java.text.SimpleDateFormat val time = "2017-12-18 00:01:56&qu...

2019-07-17 22:01:07

阅读数 24

评论数 0

spark写入tidb的坑

1、tidb中定义的字段是json,但计算完的数据不是json 2、spark解析json的字段不一致,需加入判断json.contains(key)再去getString,否则可能空指针异常 3、tidb定义的是json,但计算完的数据可能为\N(空值在hdfs的底层默认存储方式) ...

2019-07-17 15:40:24

阅读数 45

评论数 0

com.mysql.jdbc.MysqlDataTruncation: Data truncation: Invalid JSON text: invalid character '\\' looki

com.mysql.jdbc.MysqlDataTruncation: Data truncation: Invalid JSON text: invalid character '\\' looking for beginning of value 拿出部分数据定位查看原来hdfs的空值在底层...

2019-07-16 13:47:40

阅读数 138

评论数 0

hadoop查看文件总条数及按某个关键词查询

hadoop fs -cat /xxxDetailFormat/xxx_team_format/part-00000|grep 'xxx' hadoop fs -cat/xxxDetailFormat/xxx_team_format/part-00000|wc -l 查看总条数 hadoop ...

2019-07-10 10:06:32

阅读数 110

评论数 0

关于fastjson解析提示nullpointerexception的信息

查看所解析字段是否为""空字符串 --》导致空指针异常 及时没有发现空字符串 可能在程序中drop掉了[]而出现的,所以解析的时候filter下非法数据就可以 0x01 问题描述 正常情况下fastJson解析失败会抛异常,但解析字符串数据为null、”“、“ ”这些情况...

2019-07-05 10:06:58

阅读数 79

评论数 0

Error:scalac: Scala compiler JARs not found

idea改项目名,build时提示上述错误,查看下pom文件的名称是否与项目名一致!!!!!若不是,则reimport该项目的project再build即可

2019-07-04 19:46:24

阅读数 474

评论数 0

Scala 字符替换 特殊字符 引号 中括号

ss=ss.replaceAll("\"","") // 引号替换为空 ss=ss.replaceAll("\\[","") // [替换为空 ss=ss.replaceAll("\...

2019-07-02 10:22:39

阅读数 81

评论数 0

提示
确定要删除当前文章?
取消 删除