自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(26)
  • 收藏
  • 关注

原创 解决IntelliJ IDEA 控制台中文乱码问题

解决方法: Help->Edit Custom VM OPtions中加 -Dfile.encoding=utf-8,重启idea参考:https://blog.csdn.net/qq_39136928/article/details/81240894

2020-06-10 12:49:15 416

原创 安装pip报错解决

目录1.pip安装过程中发生如下错误:2.解决办法: 1.获取具体版本的pip,我本机为2.6.6 2.运行刚才获取的pip文件1.pip安装过程中发生如下错误:_blocking_errnos = {errno.EAGAIN, errno.EWOULDBLOCK}2.解决办法: 1.获取具体版本的pip,我本机为2.6.6 ...

2019-06-10 16:38:14 942

原创 解决"com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.2"

目录问题描述:问题原因:解决方法:问题描述: 开发环境为spark2.0 运行sparksql时发生如下错误: com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.2 at com.fasterxml.jac...

2019-04-24 16:28:25 2741

转载 解决:Intellij idea导入MyEclipse Web项目时,服务器搭建运行正常,但无法访问WebRoot下的页面

转自:https://blog.csdn.net/qq_38887189/article/details/74790622目录 问题描述: 解决办法:问题描述: SpringMVC项目报错:java.io.FileNotFoundException: Could not open ServletContext resource [/WEB-INF/x...

2019-04-15 17:06:01 967

转载 Spark 优化

本文转自:https://blog.csdn.net/ainidong2005/article/details/53141822 目录1、引言2、数据序列化3、内存优化4、其他建议官网地址:http://spark.apache.org/docs/latest/tuning.html1、引言提到Spark与Hadoop的区别,基本最常说的就是Spark采用基于内...

2018-08-13 19:43:50 163

原创 gradle 解决依赖冲突

1.查看依赖关系   gradle XXX:dependencies.   XXX表示你想打印的module的name   2.使用传递(transitive)\排除(exclude)\强制(force)解决冲突:compile('org.hibernate:hibernate:3.1') { // 冲突时优先使用该版本 force = true// 依据构建名称排除//exclude modul...

2018-05-20 21:54:07 2109

原创 ambari 出现“Filedescriptor out of range in select”的错误解决

问题描述:      yarn有一个节点无法启动,并且ambari有错误信息“Filedescriptor out of range in select”问题原因:      经查找分析,怀疑可能是某个进程打开文件句柄数量过多导致。解决方案:     使用命令lsof|awk '{print $2}'|sort|uniq -c|sort -nr|more ,找到打开文件句柄最大的进程,发现是amb...

2018-04-21 00:28:33 1835

原创 Anaconda安装错误“faild to add anaconda to the system path” 解决

      Anaconda安装快要结束时报错 “faild to add anaconda to the system path”,通过搜索发现可能是安装路径有问题,因此按照默认路径进行安装,问题得到解决,在此做个简单记录。参考:1.https://blog.csdn.net/Debatrix/article/details/56024008...

2018-04-20 23:27:36 5085

转载 Spark写ES的遇到的坑

本文转自:https://blog.csdn.net/u013709270/article/details/70132756完整的项目:https://github.com/JeemyJohn/SparkToEs.git         由于项目需要,最近搞Spark Streaming做数据分析,并最终将分析完的数据写入ElasticSearch。我们项目使用的是Spark 2.1.0,而我们公...

2018-04-19 11:22:41 2688 1

转载 Java8中计算日期时间差

一.简述在Java8中,我们可以使用以下类来计算日期时间差异:1.Period2.Duration3.ChronoUnit二.Period类主要是Period类方法getYears(),getMonths()和getDays()来计算.示例:package insping;import java.time.LocalDate;import java.time.Month;import ...

2018-04-12 23:23:20 974

原创 解决hdfs SNameNode 无法启动

问题描述:hdfs SNameNode 无法启动,报错信息如下: java.io.FileNotFoundException: /stderr (Permission denied)  解决方法: 1.修改/stderr,/stdout权限为755 2.权限解决后有部分错误信息入到stderr,发现50090端口被占用,关掉占用的程序,重启SNameNode即可...

2018-02-27 23:28:08 1051

原创 sparkStreaming消费kafka时发生"java.lang.NoSuchMethodError: net.jpountz.util.Utils.checkRange"的解决办法

问题描述:开发环境为spark2.0 + kafka0.8,spark-streaming-kafka-0-8-assembly_2.11.jarsparkStreaming消费kafka时遇到如下错误: 18/02/27 10:19:17 WARN ReceiverSupervisorImpl: Reported error Error handling message; exiting - j...

2018-02-27 23:03:35 2332 1

转载 Linux系统下安装rz/sz命令及使用说明

对于经常使用Linux系统的人员来说,少不了将本地的文件上传到服务器或者从服务器上下载文件到本地,rz / sz命令很方便的帮我们实现了这个功能,但是很多Linux系统初始并没有这两个命令。今天,我们就简单的讲解一下如何安装和使用rz、sz命令。1.软件安装(1)编译安装root 账号登陆后,依次执行以下命令:1cd /tmp

2018-02-01 13:05:45 173

原创 Hdfs java API 使用注意

1.添加jar包 org.apache.hadoop.hadoop-hdfsorg.apache.hadoop.hadoop-common2.相关配置方法1:拷贝core-site.xml和hdfs-site.xml到当前工程下resources目录方法2:配置 fs.defaultFS(旧版本为:fs.default.name)如:Co

2017-11-04 11:33:24 245

转载 Azkaban的AJAX的RestFul接口调用事例

转自:http://blog.csdn.net/qq_20641565/article/details/72379506azkaban是一个开源的调度工具,可能需要自己修改源码或者自己调用azkaban后台提供的restFul接口进行定制化的开发,在azkaban的官方文档上有接口的详细文档,具体参考:http://azkaban.github.io/azkaban/docs/latest

2017-10-28 08:56:04 708

转载 spark 应用程序性能优化|12 个优化方法

原文:http://litaotao.github.io/boost-spark-application-performance写在前面本系列是综合了自己在学习spark过程中的理解记录 + 对参考文章中的一些理解 + 个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录,所以一切以能够理解为主,没有必要的细节就不会记录了

2017-09-29 23:12:27 551

原创 IDEA Maven Project 视图找不到解决

尝试使用以下两种方式打开:          方法1.File - Settings - Plugins - Maven Integration          方法2.View -> Tool Windows > Maven Projects

2017-09-26 10:32:35 27739 5

转载 Spark Q&A : Spark利用databricks读取CSV文件报错 CSVFormat NoClassDefFoundError

原文链接:http://blog.csdn.net/edin_blackpoint/article/details/72638015Q: Spark使用databricks进行csv文件读取的时候报错java.lang.NoClassDefFoundError: org/apache/commons/csv/CSVFormat,找不到对应的CSVFormat类.A: 根据kevin

2017-09-21 15:32:08 979

原创 Ambari Server安装失败解决

1.问题描述:    Ambari Server启动失败,通过ambari-server.log发现如下信息:         10 Jul 2017 12:22:57,596 ERROR [main] DBAccessorImpl:106 - Error while creating database accessor                 com.mysql.jdbc.e

2017-07-12 13:03:26 1668

原创 Ambari 安装agent失败解决

1.问题描述:   Ambari 安装agent失败,通过ambari-server.log发现如下信息:  1. error:  12 Jun 2017 18:11:26,144 ERROR [qtp-ambari-client-87] AbstractResourceProvider:280 - Caught AmbariException when creating a resour

2017-06-14 17:55:50 8134

转载 Spark性能优化指南——高级篇

文章转自:http://tech.meituan.com/spark-tuning-pro.html前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。数据倾斜调优调优概述有的时候,我们可能会遇到大数据计算中一个最棘手

2017-06-01 13:15:26 422

转载 Spark性能优化指南——基础篇

前言在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。在美团•大众点评,已经有很多同学在各种项目中尝试使用Spark。大多数同学(包括笔者在内),最初开始尝试使用Spark的原因很简单,主要就是为了让大数据计算作业的执行速

2017-05-19 12:56:08 294

原创 spark on yarn运行产生缺jar包错误及解决办法

1.问题描述:使用spark 集成elasticSearch时,--jars 来添加依赖的jar包,使用local模式程序正常,使用yarn模式时会出现找不到jar包的情况。报错信息如下:        1.java.lang.NoSuchMethodError: com.google.common.util.concurrent.MoreExecutors.directExecuto

2017-05-05 23:21:44 3874 1

原创 解决elasticsearch -在Hive external table 无法读取 date 字段

1.问题描述   对于@timestamp字段,在es中类型为date,创建hive外表时如果使用类型仍为date,操作时会报如下错误 Failed with exception java.io.IOException:org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.ClassCastException: org.ap

2017-04-24 19:31:38 2778

原创 解决 Failed to get schema version when starting Hive Metastore Service

1.启动Hive Metastore 时,报错信息如下resource_management.core.exceptions.Fail: Execution of 'export HIVE_CONF_DIR=/usr/hdp/current/hive-metastore/conf/conf.server ; /usr/hdp/current/hive-metastore/bin/schemat

2017-04-19 14:22:38 12038 3

转载 Hive如何添加第三方JAR

以加入elsaticsearch-Hadoop-2.1.2.jar为例,讲述在Hive中加入第三方jar的几种方式。1,在hive shell中加入[java] view plain copy[hadoop@hadoopcluster78 bin]$ ./hive    Logging initialized using config

2017-04-19 10:38:35 5173

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除