关闭
当前搜索:

spark基础-001

1 概述 ## 1.1 简介 ## Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一。 Spark为我们提供了一个全面、统一的框架用于管理各种有着不同性质(文本数据、图表数据等)的数据集和数据源(批量数据或实时的流数据)的大数据处理的需求。 利用内存数据存储和接近...
阅读(191) 评论(0)

Jenkins , Gitlab 配置自动化部署

前提条件:已安装好gitlab,jenkins 本文的jenkins版本为ver. 2.73.2 jenkins 需要先安装Gitlab Hook Plugin,GitLab Plugin,Gitlab Authentication plugin,有些方式安装的jenkins,没有包含这几个插件。 1、jenkins源码管理项,配置项目的gitlab地址,和要构建的分支。 2、j...
阅读(156) 评论(0)

简单Spark源码分析

1 Master启动流程 1、在start-master.sh脚本中调用Mater.scala中的main方法 2、在main方法中封装spark参数,并调用startRpcEnvAndEndpoint()创建RpcEnv 3、在startRpcEnvAndEndpoint中创建RpcEnv(AkkaSystem),创建masterEndPoint(actor),new Master(),实...
阅读(155) 评论(0)

centos7用Let's Encrypt 获取免费证书 实现https访问

本文通过Let’s Encrypt获取免费的证书,缺点是需要三个月更新一次。 具体操作步骤如下: 安装certbot yum -y install yum-utils yum-config-manager --enable rhui-REGION-rhel-server-extras rhui-REGION-rhel-server-optional yum install...
阅读(356) 评论(0)

TMMi连接传统与敏捷--2017中国首届TMMi国际峰会在京圆满举行

2017年11月2日,由TMMi基金会(TMMi Foundation)、盘古运营主办的2017中国首届TMMi国际峰会在北京举行,TMMi基金会认证主席Clive Bates先生、盘古运营总裁张永海先生、TMMi基金会中国分会代表陈磊先生及中国人民银行、中国建设银行、中国银行、中国农业银行、中国邮政储蓄银行、浦东发展银行、中国光大银行、云南农信、泰康保险集团、赛富投资基金、杭州市金融投资集团、上...
阅读(95133) 评论(0)

【云星数据---mesos实战系列】:marathon实战Constraints篇-003

GROUP_BY operatorGROUP_BY can be used to distribute tasks evenly across racks or datacenters for high availability.$curl -v -X POST http://192.168.100.30:8080/v2/apps \ -H Content-Type:application/j...
阅读(1073) 评论(0)

【云星数据---mesos实战系列】:marathon实战Constraints篇-002

CLUSTER operatorCLUSTER allows you to run all of your app’s tasks on slaves that share a certain attribute. This is useful for example if you have apps with special hardware needs, or if you want to r...
阅读(238) 评论(0)

【云星数据---mesos实战系列】:marathon实战Constraints篇-001

1.概念 Marathon可以通过Constraints来控制其app在何处运行 我们可以通过Marathon的REST API或者Marathon gem(marathon client)来设置app的constraints配置。 Constraints由三个部分组成:字段名(field name),操作(operator), 可选参数(optional parameter) 其中字段名(fi...
阅读(348) 评论(0)

【云星数据---Scala实战系列(精品版)】:Scala入门教程064-Scala实战源码-类访问伴生对象中的成员2

package scala_tutorial.demo18_accessModifier/** * Created by liguohua on 2015/8/2. */ class Pig { //默认private[Pig] private var name1 = “kitty” //Pig类私有 private[Pig] var name2 = “citt...
阅读(190) 评论(0)

【云星数据---Scala实战系列(精品版)】:Scala入门教程063-Scala实战源码-类访问伴生对象中的成员

package scala_tutorial.demo18_accessModifier/** * Created by liguohua on 2015/8/2. */class Cat { /* 一、类访问伴生对象中的成员 */ val n1=Cat.name1//ok val n2=Cat.name2//ok //val n3=Cat.name3//...
阅读(235) 评论(0)

【云星数据---Scala实战系列(精品版)】:Scala入门教程062-Scala实战源码-访问权限

package scala.demo18_accessModifier/** * Created by liguohua on 2015/8/2. */ /** * 1.访问权限有private和protected两种 * 1.1.private表示私有 * 1.2.protected表示为继承 * 2.访问权限可以作用于,类,实例,变量 * 3.访问权限可以指明所属...
阅读(258) 评论(0)

【云星数据---Scala实战系列(精品版)】:Scala入门教程061-Scala实战源码-Scala包引用的语法

package scala_tutorial.demo17_package/** * Created by liguohua on 2015/8/2. */ /* 一、包引用的语法 1.引入HashMap import java.util.HashMap 2.引入HashMap和HashSet import java.util.{HashMap,HashSet}...
阅读(270) 评论(0)

云星数据---Scala实战系列(精品版)】:Scala入门教程060-Scala实战源码-Scala package 包对象

Scala 包对象 包中类package scala_learn.demo17_package/** * Created by liguohua on 2017/8/2. */ package object hadoopp { //数据 var name = "hadoopp" //方法 def fun1(): Unit = { println("package obje...
阅读(190) 评论(0)

云星数据---Scala实战系列(精品版)】:Scala入门教程059-Scala实战源码-Scala package 包

Scala package 包/** * Created by liguohua on 2015/8/2. */ /* *1.Scala的包是为了组织代码,中有两种包物理包和逻辑包 *2.物理包就是文件夹,用于组织文件 *3.逻辑包就是代码块,用于组织代码(包中只能写类或包) *4.逻辑包有的带{},有的不带{} */ //这是一个逻辑包,没有{},从定义处到文件的文件的结束(可以不写) pac...
阅读(222) 评论(0)

云星数据---Scala实战系列(精品版)】:Scala入门教程058-Scala实战源码-Scala 正则 Regex

Scala 正则package scala_learn.demo15_Regeximport scala.util.matching.Regex /** * Created by liguohua on 2017/3/31. */ class O1_RegexDemo {}object O1_RegexDemo { def main(args: Array[String]) { //...
阅读(194) 评论(0)

云星数据---Scala实战系列(精品版)】:Scala入门教程057-Scala实战源码-Scala IO 演示键盘输入信息

Scala IO 演示键盘输入信息package scala_learn.demo14_IO/** * Created by liguohua on 2017/3/31. */ class O2_IODemo {}object O2_IODemo { //演示,如何从键盘输入信息 def main(args: Array[String]) { print("Please ente...
阅读(265) 评论(0)

云星数据---Scala实战系列(精品版)】:Scala入门教程056-Scala实战源码-Scala IO 读写

Scala IO 读写package scala_learn.demo14_IOimport java.io._import scala.io.Source/** * Created by liguohua on 2017/3/31. * */ class O1_IODemo {}object O1_IODemo { def main(args: Array[String]) { }...
阅读(193) 评论(0)

云星数据---Scala实战系列(精品版)】:Scala入门教程055-Scala实战源码-Scala 异常处理

Scala 异常处理package scala_learn.demo13_Exceptionimport java.io.{FileNotFoundException, FileReader, IOException}/** * Created by liguohua on 2017/3/31. */ /** * 1.在scala中的异常和java中的异常处理模型基本一致 * 2.对应异常的...
阅读(186) 评论(0)

云星数据---Scala实战系列(精品版)】:Scala入门教程054-Scala实战源码-Scala implicit 操作05

Scala implicit 操作05package scala_learn.demo12_Implicit/** * Created by liguohua on 2017/3/1. */ class O6_ImplicitDemo { }object O6_ImplicitDemo { def main(args: Array[String]) { val g = new Gra...
阅读(276) 评论(0)

云星数据---Scala实战系列(精品版)】:Scala入门教程053-Scala实战源码-Scala implicit 操作04

Scala implicit 操作04package scala_learn.demo12_Implicit/** * Created by liguohua on 2017/3/1. */ class O5_ImplicitDemo {}object O5_ImplicitDemo { def main(args: Array[String]) { val rs = 0.incr(...
阅读(184) 评论(0)
194条 共10页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:1095595次
    • 积分:11482
    • 等级:
    • 排名:第1606名
    • 原创:193篇
    • 转载:1篇
    • 译文:0篇
    • 评论:5条
    博客专栏
    文章分类
    文章存档