colossus——bigdata的专栏

专注互联网,大数据,机器学习技术

排序:
默认
按更新时间
按访问量

supervisor报错:ImportError: No module named supervisor.supervisord 问题

centos环境下安装supervisor: 安装后启动supervisor时候报错:service supervisord start Starting supervisord: Traceback (most recent call last):   File "/usr/bi...

2018-01-17 10:52:43

阅读数:619

评论数:0

spark源码学习(十五)--- application注册机制分析

首先看master的定义,继承自actor,说明是一个线程。 private[spark] class Master( host: String, port: Int, webUiPort: Int, val securityMgr: SecurityManage...

2017-10-15 21:16:28

阅读数:230

评论数:0

spark-submit提交模式

spark基本的提交语句: ./bin/spark-submit \ --class \ --master \ --deploy-mode \ --conf = \ ... # other options \ [application-arguments] 参数的含义: --class...

2017-06-05 10:16:07

阅读数:9618

评论数:0

【SOA】3.Services vs. Applications

当你开始学习面向服务的体系结构时,你可能会怀疑,服务(service)和应用程序(application)之间的区别是什么?。 并没有对服务或应用程序的精确定义。服务和应用程序都是软件程序,但它们往往有一些不同的特性。我总结了下面表格中最常见的特征: services app...

2017-05-03 20:35:14

阅读数:361

评论数:0

【SOA】2.Service Oriented Architecture (SOA)

面向服务的体系结构(Service oriented architecture,SOA)是一种独立的系统和应用程序通过暴露和使用服务相互通信的体系结构。使用开放的标准定义服务,使通信更容易实现,并减少依赖于专有的通信协议。 Distributed Object Architecture (DOA...

2017-05-03 20:19:21

阅读数:270

评论数:0

获取与指定时间间隔一定周期的时间

import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.Calendar; import java.util.Date; import java.util.GregorianCalen...

2017-04-21 10:27:50

阅读数:631

评论数:0

【SOA】1.SOA - Service Oriented Architecture

原文链接:http://tutorials.jenkov.com/soa/index.html

2017-04-17 18:28:29

阅读数:377

评论数:0

java8函数式编程之六--Function接口

java的函数式接口多数位于package java.util.function;包下 function代表了一个函数,接收一个参数返回一个结果。function内部有一个apply方法,两个default方法,还有一个static方法。 function包含两个泛型: * @param the...

2017-03-24 15:56:41

阅读数:331

评论数:0

java8函数式编程之五--lambda表达式与流

lambda表达式与流 函数式接口: 接口只有一个抽象方法,则默认为函数接口。 如果声明了functional interface,编译器就会按照函数接口的要求来检查。 在将函数作为一等公民的语言中,lambda表达式的类型是函数。但是在java中,lambda表达式是对象,他们必须依附于一类特别...

2017-03-24 13:54:05

阅读数:288

评论数:0

java8函数式编程之三:集合中新增的方法:forEach

java 1.5的时候增加foreach的增强for循环,然而这里的forEach并不是那个foreach,该处谈论的foreach是集合类的父接口iterable中在jdk1.8新增加的foreach循环函数式方法,先执行下面代码: package com.test.java8; import...

2017-01-07 17:01:33

阅读数:3217

评论数:0

java8函数式编程之二:函数式接口的引用

首先定义一个函数式接口,随便定义一个方法: @FunctionalInterface interface Test2Interface { void test(); } 然后定义一个类,该类中有个方法接受上面的接口实现类作为参数,方法内部调用该接口实现类的函数,然后定义匿名内部类来实现这个接口:...

2017-01-07 16:04:12

阅读数:316

评论数:0

java8函数式编程之一:@FunctionalInterface注解

标注为FunctionalInterface的接口被称为函数式接口,该接口只能有一个自定义方法,但是可以包括从object类继承而来的方法。如果一个接口只有一个方法,则编译器会认为这就是一个函数式接口。例如这样写: public interface FunctionalInterfaceTest ...

2017-01-07 15:34:49

阅读数:2455

评论数:0

hbase jmx常用监控指标

hbase的jmx在1.0后分开了master和regionserver的jmx监控,其中master的页面在masterIP:60010/jmx页面中,regionserver在regionserverip:60030/jmx中,页面展示的是json文件,可以将该页面信息发送给ganglia,z...

2016-12-26 09:49:33

阅读数:5108

评论数:0

flume源码分析三:flume组件的启动,关闭和监控

接上篇:Application的start()和handleConfigurationEvent(MaterializedConfiguration conf),handleConfigurationEvent方法是在启动时或者需要动态读取配置文件而配置文件发生变化时,会通过eventBus调用此...

2016-11-04 17:49:52

阅读数:2772

评论数:0

flume源码分析二:flume执行入口

flume的执行入口在flume-ng-node包下的Application类中,假如需要从kafka中读取数据,配置文件使用本地的配置文件: a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = org.apac...

2016-11-04 10:50:29

阅读数:1056

评论数:0

flume源码分析一:总体架构

flume使用maven管理,层级呈树状结构,树根节点是flume-parent项目,该项目是整个flume的父项目,其他项目集成于该项目,打开这个项目的pom文件,可以看到子模块: flume-ng-core flume-ng-configuration flume...

2016-11-02 23:51:38

阅读数:640

评论数:0

eclipse neon 版本打开 could not create the java virtual machine问题

变更账户导致eclipse neon这个版本点开报could not create the java virtual machine这个错误,原因应该是没找eclipse本身的运行环境需要的jvm。按照网上上的方法试了重新设置环境变量,还是不行。后来又试了eclipse.ini文件中-vmargs...

2016-10-18 14:02:54

阅读数:7840

评论数:1

关于推荐系统中的特征工程

原文地址:http://www.36dsj.com/archives/16917 在多数数据和机器学习的blog里,特征工程 Feature Engineering 都很少被提到。做模型的或者搞Kaggle比赛的人认为这些搞feature工作繁琐又不重要不如多堆几个模型,想入手实际问题的小朋...

2016-07-14 01:31:23

阅读数:337

评论数:0

spark ml 算法原理剖析以及具体的源码实现分析

地址:https://github.com/endymecy/spark-ml-source-analysis  感谢翻译的同学的辛勤劳动。

2016-06-20 16:39:49

阅读数:705

评论数:0

java弱引用

引用自:http://www.tuicool.com/articles/imyueq 在Java里, 当一个对象o被创建时, 它被放在Heap里. 当GC运行的时候, 如果发现没有任何引用指向o, o就会被回收以腾出内存空间. 或者换句话说, 一个对象被回收, 必须满足两个条件: 1)没...

2016-06-20 13:39:58

阅读数:337

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭