anlu的博客

在最能奋斗的年纪选择奋斗

tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.mapre

Exception in thread &quot;main&quot; java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.&amp;lt;init&a...

2019-01-04 14:43:44

阅读数 418

评论数 0

nessus漏洞修复-------Apache Tomcat Default Files

1.删除Tomcat中webapp下所有,保留你自己项目和ROOT两个,然后删除ROOT下所有文件,新建一个文件404.html,至于这个404页面写啥东西无所谓了 2.在conf/web.xml中添加如下 &amp;lt;error-page&amp;gt;        ...

2018-11-30 11:06:10

阅读数 1368

评论数 0

com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.6<dependency>

spark读取elasticsearch的时候,出错了,报错 com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.6 Exception in thread &q...

2018-09-14 10:57:40

阅读数 1587

评论数 0

解决mysql集群模式中出现“1040,too māny connections”

一.mysql集群中,有一台机器连接的时候报错 ERROR 1040 (HY000): Too many connections解决方案有两种1.如果是线上环境,不能随意起停数据库,所以得手动释放一些无用的链接,2.修改/etc/my.cnf 中的max_connections=1000,wait...

2018-01-19 14:33:30

阅读数 302

评论数 0

spark 读取elasticsearch中数据不完整问题

使用spark读取elasticsearch中的数据,使用es提供的api来进行, sc.esRDD("logstash").values 官方网站也是这种方式读取数据的,但是我测试的时候有时候会出现读取数据不完整的情况,比如本来读取的数据是这样的 Map(msg -&g...

2017-06-28 14:37:58

阅读数 1410

评论数 5

redis报错JedisException: Could not get a resource from the pool

使用Java操作redis的时候报错,但是我的redis启动了,那么究竟是神马原因导致连接失败呢? 可能得方式有三种,密码,防火墙,网络 1.网络畅通,没毛病,能ping通 2.密码:redis还需要密码来登录,通过redis.conf中的 #requirepass foobared   ...

2017-06-06 16:49:54

阅读数 6213

评论数 1

Detected both log4j-over-slf4j.jar AND bound slf4j-log4j12.jar on the class path, preempting StackOv

我在idea中建立maven项目,但是报错  java.lang.IllegalStateException: Detected both log4j-over-slf4j.jar AND bound slf4j-log4j12.jar on the class path, preempting...

2017-04-17 17:40:25

阅读数 2550

评论数 0

Spark通过https的方式读取elasticsearch中的数据

为了安全起见,es中配置了https访问方式,但是spark读取es中的数据的时候是通过普通的http的方式访问的,现在读取的话肯定报错,找了一圈,上代码 val conf=new SparkConf().setAppName("es test")///.setMas...

2016-12-13 16:54:36

阅读数 4674

评论数 1

关于jvm内存分配的问题heap size [268435456] not equal to maximum heap size [2147483648],需要修改的jvm配置

*此操作需要root权限 [root@localhost ~]# sysctl -w vm.max_map_count=262144 1 查看修改结果 [root@localhost ~]# sysctl -a|grep vm.max_map_count vm.max_m...

2016-12-12 14:57:25

阅读数 4033

评论数 1

使用Fregata实现spark的逻辑回归算法

import fregata.spark.data.LibSvmReader import fregata.spark.metrics.classification.{AreaUnderRoc, Accuracy} import fregata.spark.model.classification...

2016-12-08 13:54:57

阅读数 1080

评论数 0

Fregata使用简介

最近TalkingData开源了Fregata,Fregata的主要作用是加速基于spark的机器学习的计算速度,据说10亿*10亿级别的数据如果缓存到内存中的话用1s钟就可以算完,如果不缓存的话,十秒钟搞定,如果这么来的话,那真是碉堡了,废话不多说,直接走起 我用maven构建的项目, ...

2016-12-08 10:13:20

阅读数 1919

评论数 0

关于spark读取elasticsearch中数据,但是无法实现过滤数据的问题

最近出现了一个问题,就是spark读取elasticsearch中的数据的时候,明明elasticsearch中有数据,但是spark读取数据,然后进行过滤的时候会把相关的数据都给过滤掉了, 找来找去是因为写index的时候出现的问题 当我使用这种方式读取es中的数据的时候,会出现的问题是 ...

2016-11-25 09:56:57

阅读数 1266

评论数 0

Detected both log4j-over-slf4j.jar AND slf4j-log4j12.jar on the class path, preempting StackOverflow

SLF4J: Detected both log4j-over-slf4j.jar AND slf4j-log4j12.jar on the class path, preempting StackOverflowError. SLF4J: See also http://www.slf4j.o...

2016-11-01 10:19:19

阅读数 2090

评论数 2

Spark读取elasticsearch5.0中程序报错

本人使用spark读取elasticsearch5.0中内容时报错,其中pom.xml中配置如下 org.apache.camel camel-core 2.17.3 org.apache.camel ca...

2016-10-31 14:42:57

阅读数 7939

评论数 3

SparkStreaming0nHDFS实战

public class WordCountOnline2 { public static void main(String[] args) { final SparkConf conf=new SparkConf().setAppName("SparkStreamingOnHDF...

2016-05-29 20:23:49

阅读数 412

评论数 0

SparkStreaming---wordCount源码解读

从上面的程序我们看出sparkStreaming其实是将一段时间间隔的数据作为一个整体,然后这段时间内的数据就可以作为rdd来进行计算,这也是SparkStreaming的核心,这一节介绍几类,在sparkStreaming中源码的解读 1.StreamingContext:先看下官方的解释 /*...

2016-05-29 14:34:02

阅读数 262

评论数 0

SparkStreaming---WordCount程序

public class WordCountOnline { public static void main(String[] args) { /** * 第一步,配置SparkConf * 1.至少两条线程:因为SparkStreaming应用程序在运行的时候至少有一条线程用于...

2016-05-28 18:07:30

阅读数 348

评论数 0

Spark Streaming---初步理解

总论:SparkStreaming是一个流计算引擎,它会按照时间段来计算数据,比如每一秒钟计算一次数据,它是基于时间单位的,与内容无关 数据的来源:有很多,可以是日志数据,电商数据,app等, 架构:SparkStreaming 一般是和Kafka配合使用,熟悉Kafka的朋友都知道,Kafka是...

2016-05-28 16:21:15

阅读数 264

评论数 1

scala的构造器

Scala实例化的时候,除了方法之外,所有的东西都会被实例化,例如 class Teacher (val name:String,val age:Int){ println("this is the primary constructor") var gender:St...

2016-05-01 13:42:05

阅读数 312

评论数 0

Scala的类的私有属性和对象的私有字段

在Scala中,一个类定义了一个属性,如果不是private的 var age=0 那么它也会默认当成private级别的属性,同时会默认生成setter和getter方法,当调用的时候,会通过age的函数来取得age的值,就是getter方法 而默认生成的setter方法是 age_是ag...

2016-05-01 08:03:57

阅读数 921

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭