ciqingloveless的博客

solr 8.5 单机版整合TOMCAT8.5安装安装JDK和TOMCAT自行安装整合TOMCAT和SOLR将sorl的webapp复制到tomcat并重命名# 将solr的app拷贝到tomcatcp -r /app/solr/server/solr-webapp/webapp /app/tomcat/webappsmv /app/tomcat/webapps/webapp /app/tomcat/webapps/solr# 拷贝依赖包到solr项目下cp /app/solr/serve

最近这两天每天晚上定时任务都无法跑完，而且spark控制节点CPU异常高，超过4000%。本来想通过java工具或者其他一些辅助工具进行排查，但是4000%下，所有工具基本都没办法获取栈信息，最后只能靠猜解决，下面说下问题解决方案。问题解决定位问题SQL过程不在详细描述，下面贴出问题SQL其中一部分解释一下select count(*) from (select userid, starttime as result, ptime as grouptime from ttt.

/* * Licensed under the Apache License, Version 2.0 (the "License"); * you may not use this file except in compliance with the License. * You may obtain a copy of the License at * * http://www.apache.org/licenses/LICENSE-2.0 * * Unless required

项目功能就是封装SparkRestApi，用到了httpclient以及yarnclient，pom如下<?xml version="1.0" encoding="UTF-8"?>4.0.0org.springframework.bootspring-boot-starter-parent2.2.2.RELEASE com.wisetvsparkprojectma...

应公司需求，需要整合SpringBoot与Spark项目，但是由于依赖包问题，无法打开自己部署的SparkYarn项目的REST Api，所以下面先贴一下pom<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://ww...

Spark自带的REST 服务http://spark.apache.org/docs/latest/monitoring.htmlGithub上封装的api的项目，地址https://github.com/ywilkof/spark-jobs-rest-client

package streamingimport java.text.SimpleDateFormatimport java.util.Dateimport org.apache.spark.streaming.{Seconds, StreamingContext}import org.apache.spark.{SparkConf, SparkContext}/** * 这个类...

package streamingimport java.io.Fileimport org.apache.spark.streaming._import org.apache.spark.{SparkConf, SparkContext}import streaming.util.CSVFileStreamGeneratorimport scala.util.Random/...

/** * 这里讲一下闭包，因为这块不懂后面的东西讲解不了 */object Ex10_Closure {/** * 什么是闭包（Closure）简单讲，闭包就是指有权访问另一个函数作用域中的变量的函数。 * MDN 上面这么说：闭包是一种特殊的对象。它由两部分构成：函数，以及创建该函数的环境。 * 环境由闭包创建时在作用域中的任何局部变量组成。 * 这种官方的概念是...

package streamingimport org.apache.spark.rdd.RDDimport org.apache.spark.streaming._import org.apache.spark.{SparkConf, SparkContext}import scala.collection.mutable/** * 这个类讲解了一个Spark实现分布式队列的...

import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkContext, SparkConf}import org.apache.spark.SparkContext._import scala.collection.{mutable, Iterator}object Ex5_Partitions { // 打印...

import scala.collection.Iteratorimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkException, SparkContext, SparkConf}import scala.collection.mutable.ListBufferobject Ex3_CombiningRDD...

这个是一个比较详细的例子，描述一下scala是如何编写代码的，后面会继续编写这个项目的相关例子的讲解package scalademoobject Rational{ /** * 隐式转换，我觉得隐式转换这个功能很重要 * 隐式定义是指编译器为了修正类型错误而允许插入到程序中的定义。例如，如果x+y不能通过类型检查，那么编译器可能会把它改为covert(x)+y， ...

package scalademoimport scala.io.Source/** * 这个类就是讲一些关于scala的基本语法，为了保证后面讲解spark的时候不会产生一些比较难于理解的东西，在这里都顺一下 * 我觉得比较难的包括隐式转换，以及逆变我尽量顺一下 * * 知识点： * 1 用object定义的对象是单例的 * 2 当单例对象和某个类共享同一个名字时...

import org.apache.spark.{SparkContext, SparkConf}object Ex4_MoreOperationsOnRDDs {def main(args: Array[String]) {val conf = new SparkConf().setAppName(“Ex4_MoreOperationsOnRDDs”).setMaster(“local[4...

import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkContext, SparkConf}object Ex2_Computations { /** * 这个方法就是将信息按照树形模型打印，前面每一级加了一个' ' * @param r * @param depth * @tparam...

这个系列的文档主要是科普一些基础用法，不过分涉及核心原理import org.apache.spark.{SparkContext, SparkConf}/** * 这个作为本讲解的第一个类，所以会详细讲解，后面用到此处知识的不在重复 */object Ex1_SimpleRDD { def main (args: Array[String]) { /* ...