Spark
Lee_Wei4939
本人具有扎实的计算机理论基础,严谨的逻辑思维,深刻理解数据结构与算法、操作系统和计算机网络
展开
-
sparkStreaming接收kafka消息,写入数据库
sparkStreaming接收kafka消息,写入数据库package com.ruijie.spark.streamimport org.apache.kafka.clients.consumer.ConsumerConfigimport org.apache.spark.streaming.{Seconds, StreamingContext}import org.apache.spark.{SparkConf, SparkContext}import org.apache.kafka.c原创 2020-06-06 16:57:44 · 899 阅读 · 0 评论 -
Docker内如何使用crontab
Docker内如何使用crontabrun.sh#!/bin/bashtimestamp=`date +%Y/%m/%d-%H:%M:%S`echo "System path is $PATH at $timestamp"entrypoint.sh#!/bin/bash# Start the run once job.echo "Docker container has been started"declare -p | grep -Ev 'BASHOPTS|BASH_V原创 2020-05-26 23:41:48 · 1574 阅读 · 0 评论 -
standalone模式下的资源、任务调度源码剖析
standalone模式下的资源、任务调度源码剖析整体流程图standalone模式简介standalone模式,是spark自带的资源调度框架,该框架下主要有三个节点:client 客户端,将应用程序提交,记录着要运行业务逻辑master 负责资源管理worker 负责任务的执行spark Application有个Driver驱动,即用户提交的程序,Driver进程可以运...原创 2020-04-04 14:06:58 · 1162 阅读 · 0 评论