kafka消费者报错:Class org.apache.kafka.common.serialization.StringDeserializer could not be found.

org.apache.kafka.common.config.ConfigException: Invalid value org.apache.kafka.common.serialization.StringDeserializer for configuration key.deserial...

2019-04-03 09:27:44

阅读数 198

评论数 0

spark2.0 读取本地json数据到Elasticsearch时,过滤非法json

package es import net.minidev.json.parser.JSONParser import org.apache.spark.SparkConf import org.apache.spark.rdd.RDD import org.apache.spark.sql.{...

2019-03-18 14:59:26

阅读数 67

评论数 0

spark restful api 启动任务,运行完之后到historyserver

首先1、 spark-env.sh中添加export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDi...

2018-04-11 13:26:02

阅读数 871

评论数 0

python 插入mysql数据库字符串中含有单引号或双引号报错

可以使用pymysql.escape_string(str_content)转换一下

2018-03-14 16:19:15

阅读数 2410

评论数 0

elasticsearch5 官方文档整理。。。。中

Document APIIndex API1, IndexResponse response = client.prepareIndex("twitter", "tweet", "1") ...

2018-03-01 11:10:34

阅读数 275

评论数 0

Hbase 查询语句记录

1.1.1 查询前几条数据scan 'logs',{LIMIT=>1}1.1.2 3查询表的总条数count 'logs'1.1.3 4删除表数据truncate 't1'1.1.4 5查看过滤器 show_filters1.1.1 6行键过滤器scan 'logs',{FI...

2018-03-01 11:04:19

阅读数 7452

评论数 0

spring batch 并行执行任务

@RequestMapping("/startall") @ResponseBody String startall() throws ParseException { if (TimeFlag.getJobRun()) { System.out.prin...

2018-02-24 13:55:27

阅读数 762

评论数 0

快学scala 记录

用scala的ArrayBuffer 调用java方法要导入隐式转换import scala.collection.JavaConversions.bufferAsJavaListimport scala.collection.mutable.ArrayBufferval command =Arr...

2018-01-31 16:19:33

阅读数 63

评论数 0

sparkmllib交替最小二乘法

http://spark.apache.org/docs/2.2.0/ml-collaborative-filtering.html不需要用户和商品属性的信息,这类算法通常称为协同过滤算法例子:根据两个用户的年龄相同来判断他们可能有相似的偏好,这不叫协同过滤。相反,根据两个用户播放过许多相同歌曲来...

2018-01-17 17:01:22

阅读数 223

评论数 0

elasticsearch 内存溢出

ES在做聚合的时候,容易发生内存溢出https://www.elastic.co/guide/cn/elasticsearch/guide/current/_limiting_memory_usage.html

2017-12-22 15:19:39

阅读数 2599

评论数 0

elasticsearch 去重

ES字段折叠(collapse)可以去重,但是不hits里面的总数是不去重的,而聚合的cardinality方法去重,会有误差,默认30000之内的数据没有误差,参数precisionThresholdecisionThreshold最大可以调到40000.DSL语句GET /mtd_custom...

2017-12-16 12:28:03

阅读数 5255

评论数 0

sparksql 从oracle读取数据然后整合到elasticsearch

pom.xm<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://mav...

2017-11-16 14:54:45

阅读数 2465

评论数 1

elasticsearch5 官方文档整理。。。。中

Document API经过实践证明,ES不适合做数据库用,尤其数据展示要求严格的。在项目中索引名尽量使用别名:即使你认为当前的索引设计是完美的,将来你也会发现有一些部分需要被改变,而那个时候你的索引已经在生产环境中被使用了。在应用中使用索引别名而不是索引的真实名称,这样你就能够在任何需要的时候执...

2017-07-26 13:15:25

阅读数 1613

评论数 1

elasticsearch5安装

安装es:http://www.jianshu.com/p/a4d236ed17c3安装head:http://blog.csdn.net/u013066244/article/details/63279337最后将head/_site/app.js 中的localhost改成自己的ip就行了分片...

2017-07-20 14:21:52

阅读数 179

评论数 0

flume到kafka,structuredStreaming从kafka消费

flume配置a1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure r1a1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port...

2017-07-14 17:34:33

阅读数 985

评论数 0

spark2.2 structured Streaming

其实官方文档都说明了:http://spark.apache.org/docs/latest/structured-streaming-kafka-integration.htmlpackage com.renjiaming.spark2T2 import java.util.concurrent...

2017-07-14 11:03:38

阅读数 533

评论数 0

mybatis+log4j 打印sql

一直打印不出sql  各种百度  最后居然包不全 需要的jar slf4j-log4j12-1.6.1.jar commons-logging.1.1.3 log4j.1.2.17 slf4j-api

2016-01-24 17:39:44

阅读数 809

评论数 0

一键分享按钮

方法一:                                方法二:                分享到:        QQ空间        新浪微博                       ...

2015-08-20 11:32:58

阅读数 479

评论数 0

纯copy,留着自己用

Spring定时任务的简单例子(转载) (2008-02-27 11:03:21) 转载▼ 标签: it 分类:技术文摘     这几天因为工作的需要,用到了spring的定时任务的功能,网上查资料,并且实际运用了一下,觉得spring还是很智...

2015-06-10 15:17:25

阅读数 311

评论数 0

Tomcat中的ssl加密配置 粘过来的

Tomcat中的ssl加密配置   2008-05-22 15:21:03|  分类: http|举报|字号 订阅 最近看到了网上不少的网站都有自己的ssl数据证书,今天自己也配置了一下,并整合到了自己的EasyON数字酒店项目里,先简单给大家介绍一下ssl的相关知识。 SSL...

2015-01-31 13:02:36

阅读数 425

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭