阿正的博客

专注大数据、云计算

排序：
默认
按更新时间
按访问量
RSS订阅

原 ERROR SparkContext:无法指定请求的地址: bind: Service 'sparkDriver' failed after 16 retries!

18/10/25 13:07:58 WARN Utils: Service 'sparkDriver' could not bind on port 0. Attempting port 1. 18/10/25 13:07:58 WARN Utils: Service 'sparkDriver' ...

2019-08-22 16:51:34

阅读数 38

评论数 0

转 Spark读取MySQL数据

import java.util.{Properties, UUID} import org.apache.spark.sql.{SaveMode, SparkSession} import org.apache.spark.SparkConf object SparkReadMySQL { de...

2019-08-21 11:43:38

阅读数 20

评论数 0

原 Linux:命令行光标移动和删除整行

ctrl+a ctrl+e 分别代表把管标移动到最前和最后 ctrl+u ctrl+k 分别代表光标处往前和光标处往后删除

2019-08-19 17:28:52

阅读数 19

评论数 0

原 MongoDB模糊查询

模糊查询简介 MongoDB查询条件可以使用正则表达式，从而实现模糊查询的功能。模糊查询可以使用$regex操作符或直接使用正则表达式对象。 MySQL MongoDB select * from student wherename like ’%joe%’ ...

2019-08-19 14:49:11

阅读数 6

评论数 0

原 ERROR yarn.ApplicationMaster: Promise already completed.

使用sparkStreaming读取kafka数据时，再需要借助hdfs存储路径下的文件可借助streamingContext，不使用spark.sparkSession即可

2019-08-09 17:06:28

阅读数 15

评论数 0

原 Mysql 存在既更新，不存在就添加（sql语句）

INSERT 语句的一部分,如果指定 ON DUPLICATE KEY UPDATE ，并且插入行后会导致在一个UNIQUE索引或PRIMARY KEY中出现重复值，则在出现重复值的行执行UPDATE，如果不会导致唯一值列重复的问题，则插入新行 sql 语句原型： insert into tab...

2019-08-07 11:58:35

阅读数 18

评论数 0

原 mysql 添加索引 创建索引

-- 1.添加PRIMARY KEY（主键索引） ALTER TABLE `table_name` ADD PRIMARY KEY (`column`) ; -- 2.添加UNIQUE(唯一索引) ALTER TABLE `table_name` ADD UNIQUE (`column`); --...

2019-08-05 10:59:26

阅读数 14

评论数 0

转 Spark Streaming性能调优详解

SparkStreaming提供了高效便捷的流式处理模式，但是在有些场景下，使用默认的配置达不到最优，甚至无法实时处理来自外部的数据，这时候我们就需要对默认的配置进行相关的修改。由于现实中场景和数据量不一样，所以我们无法设置一些通用的配置（要不然SparkStreaming开发者就不会弄那么多参数...

2019-08-01 10:51:37

阅读数 21

评论数 0

原 Spark Streaming时间间隔性能测试

SparkStreaming能支持的最短时间间隔取决于数据源产生的速度，及对RDD的操作。本文针对同一数据源（日志由spark实时收集），测试RDD几种操作对应的合适的时间间隔。时间间隔time以如下形式作用于spark streaming： new StreamingContext(sparkC...

2019-08-01 10:42:56

阅读数 38

评论数 0

原 sparkstreaming和kafka0.10版本整合

https://blog.csdn.net/sinat_27545249/article/details/78471034#%E5%9C%A8checkpoint%E4%B8%AD%E5%AD%98%E5%82%A8

2019-08-01 10:17:28

阅读数 25

评论数 0

原 Exception in thread “streaming-start” java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer

Exception in thread “streaming-start” java.lang.NoSuchMethodError: org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/util/Collection;)V...

2019-07-31 22:16:33

阅读数 92

评论数 0

原 kafkaUtils提示User class threw exception: java.lang.AbstractMethodError

版本不一致造成的！！！因为我的IDEA对应的 spark-streaming-kafka-0-10_2.11 的spark.version版本是2.2，而我集群的是2.3，修改我的IDEA对应的也是2.3后再打jar包提交即可解决问题 ...

2019-07-31 17:29:16

阅读数 38

评论数 0

转 SparkStreaming消费kafka数据实时的进行抽取、过滤、转换，然后存储到HDFS中

概要：本例子为SparkStreaming消费kafka消息的例子，实现的功能是将数据实时的进行抽取、过滤、转换，然后存储到HDFS中。 实例代码 package com.fwmagic.test import com.alibaba.fastjson.{JSON, JSONExcepti...

2019-07-31 15:03:33

阅读数 56

评论数 0

转 SparkStreaming之读取Kafka数据

本文主要记录使用SparkStreaming从Kafka里读取数据，并计算WordCount 主要内容： 1.本地模式运行SparkStreaming 2.yarn-client模式运行 相关文章：1.Spark之PI本地2.Spark之WordCount集群3.SparkStreaming...

2019-07-31 14:58:03

阅读数 48

评论数 0

原 flume接收kafka消息 后台启动 接收几天后突然flume采集不到数据，但kafka的topic有数据的问题所在

因为集群启用了kerberos认证，需要定期手动认证，不然启动的flume的application虽然启动着，但消费不到kafka的latest的数据。

2019-07-29 13:57:05

阅读数 16

评论数 0

转 Robo3T使用小结

1，设置时间显示 在未设置前数据内的时间数都比当前时间少8小时。比如2019-2-27 15:00,在MongoDB里面时间就是2019-2-27 7:00 设置很简单，点击Options==>Display Date In...==>将UTC改为Local Time...

2019-07-29 09:56:50

阅读数 70

评论数 0

原 SparkSRE-基于Spark的语义推理引擎

http://openkg.cn/dataset/sparksre-spark

2019-07-24 13:47:08

阅读数 8

评论数 0

原 scala Md5加密

import java.security.MessageDigest object Md5 { def hashMD5(content: String): String = { val md5 = MessageDigest.getInstance("MD5") ...

2019-07-24 13:45:52

阅读数 22

评论数 0

原 SQL增加列

ALTER TABLE com_tag ADD com_id int(11) DEFAULT NULL COMMENT '公司id' AFTER id 在id列后面增加一列com_id

2019-07-19 18:47:09

阅读数 11

评论数 0

转 java 正则表达式--检验日期格式

使用Pattern类和Matcher类完成一个日期格式是否符合要求的验证过程。 例如：日期格式要求为：yyyy-mm-dd 正则表达式验证规则过程: 日期： 2015 - 12 - 08 格式： 四位数字 两位数字 两位数字 正则： \\d{4} - \\d{2} - \\d{2} 其中“...

2019-07-18 22:58:31

阅读数 10

评论数 0

提示
确定要删除当前文章？
取消 删除