我们始终是路人

I'll try anything once.学习笔记

排序:
默认
按更新时间
按访问量

Spring Cloud Config/Bus 使用

Spring Cloud Config Server 依赖<dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-confi...

2018-04-16 15:51:12

阅读数:33

评论数:0

Spring Cloud Ribbon 客户端负载均衡器

两种方式实现默认负载均衡 第一种:使用RestTemplate@SpringCloudApplication public class EurekaconsumerApplication { /** * LoadBalanced 注解用于使用应用名进行查找,并负载均衡 ...

2018-04-15 18:51:42

阅读数:21

评论数:0

Spring Cloud Eureka 服务注册与发现

Eureka是Netflix开源的一个RESTful服务,主要用于服务的注册发现。Eureka由两个组件组成:Eureka服务器和Eureka客户端。Eureka服务器用作服务注册服务器。Eureka客户端是一个java客户端,用来简化与服务器的交互、作为轮询负载均衡器,并提供服务的故障切换...

2018-04-13 20:08:13

阅读数:30

评论数:0

Docker Dockerfile 创建镜像

从刚才的 docker commit 的学习中,我们可以了解到,镜像的定制实际上就是定制每一层所添加的配置、文件。如果我们可以把每一层修改、安装、构建、操作的命令都写入一个脚本,用这个脚本来构建、定制镜像,那么之前提及的无法重复的问题、镜像构建透明性的问题、体积的问题就都会解决。这个脚本就是 Do...

2018-03-31 18:53:17

阅读数:32

评论数:0

Docker 简介 安装 启动 常用命令

简介 Docker是一个开放源代码软件项目,让应用程序布署在软件容器下的工作可以自动化进行,借此在Linux操作系统上,提供一个额外的软件抽象层,以及操作系统层虚拟化的自动管理机制[1]。Docker利用Linux核心中的资源分脱机制,例如cgroups,以及Linux核心名字空间(nam...

2018-03-30 21:04:43

阅读数:56

评论数:0

JAVA JMS Java消息服务(Java Message Service) 的实现ActiveMQ

JMS即Java消息服务(Java Message Service)应用程序接口是一个Java平台中关于面向消息中间件(MOM)的API,用于在两个应用程序之间,或分布式系统中发送消息,进行异步通信。Java消息服务是一个与具体平台无关的API,绝大多数MOM提供商都对JMS提供支持。 ...

2018-03-23 13:55:41

阅读数:33

评论数:0

JAVA 并发编程 线程池

1、 Single Thread Executor : 只有一个线程的线程池,因此所有提交的任务是顺序执行, 代码: Executors.newSingleThreadExecutor() 2、 Cached Thread Pool : 线程池里有很多线程需要同时执行,老的可用线程将被新的...

2018-03-22 19:24:43

阅读数:17

评论数:0

Zookeeper 结构 命令行操作

Zookeeper 特性 1、Zookeeper:一个leader,多个follower组成的集群 2、全局数据一致:每个server保存一份相同的数据副本,client无论连接到哪个server,数据都是一致的 3、分布式读写,更新请求转发,由leader实施 4、更新请求顺序进行,来自...

2018-03-21 08:27:40

阅读数:30

评论数:0

Zookeeper 基础

Apache ZooKeeper is an effort to develop and maintain an open-source server which enables highly reliable distributed coordination. Zookeeper 直译...

2018-03-20 17:06:29

阅读数:23

评论数:0

[排序]简单选择排序

private static void selectSort(int[] list) { int i, j, min; for (i = 0; i list.length; i++) { min = i; for (j...

2018-01-28 18:33:47

阅读数:37

评论数:0

[排序]冒泡排序及优化

private static void bubblesort(int[] list) { int i, j; //循环次数 for (i = 0; i list.length; i++) { //这里是从后往前循环 ...

2018-01-28 15:29:27

阅读数:32

评论数:0

Spark 广播规则

原文: https://www.kancloud.cn/kancloud/spark-internals/45238 顾名思义,broadcast 就是将数据从一个节点发送到其他各个节点上去。这样的场景很多,比如 driver 上有一张表,其他节点上运行的 task 需要 lookup 这张表...

2018-01-20 12:25:16

阅读数:79

评论数:0

spark checkpoint

/** * Mark this RDD for checkpointing. It will be saved to a file inside the checkpoint * directory set with `SparkContext#setCheckpointDir` an...

2018-01-20 12:15:23

阅读数:58

评论数:0

Spark RDD缓存方式

RDD通过persist方法或cache方法可以将前面的计算结果缓存,但是并不是这两个方法被调用时立即缓存,而是触发后面的action时,该RDD将会被缓存在计算节点的内存中,并供后面重用。 System.setProperty("hadoop.home.dir&...

2018-01-20 12:04:20

阅读数:146

评论数:0

Spark RDD的依赖关系

RDD和它依赖的父RDD(s)的关系有两种不同的类型即 窄依赖(narrow dependency) 宽依赖(wide dependency)。 窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用 总结:窄依赖我们形象的比喻为独生子女 宽依赖指的...

2018-01-20 11:54:31

阅读数:63

评论数:0

Spark 安装配置启动,蒙特·卡罗算法求PI

Apache Spark是一个开源集群运算框架,最初是由加州大学柏克莱分校AMPLab所开发。相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中,Spark使用了内存内运算技术,能在数据尚未写入硬盘时即在内存内分析运算。Spark在内存内运行程序的运算速度能做到比Hado...

2018-01-20 11:20:24

阅读数:184

评论数:0

Scala apply() unapply() update() 方法

apply()有如下类和伴生对象class Test {}object Test { def apply(): Test = new Test() def main(args: Array[String]): Unit = { println(Test()) println(...

2018-01-13 12:56:19

阅读数:76

评论数:0

Scala 隐式转换 隐式参数

隐式转换 所谓隐式转换函数(implicit conversion function)指的是那种以implicit 关键字声明的带有单个参数的函数 首先,看这个例子implicit def file2RichFile(from: File): RichFile = new RichFile(f...

2018-01-13 12:13:49

阅读数:57

评论数:0

Scala 类的主构造方法中属性修饰符的作用与区别

众所周知,Scala 是运行于Java平台(Java虚拟机)的,那么Scala程序编译之后会生成对应的字节码文件,我们将字节码文件反编译成Java文件即可知Scala 为我们都做了什么. Scala 源代码 class Test4(a: String) class Test5(val b...

2018-01-13 11:12:54

阅读数:71

评论数:0

Scala 类中属性和属性生成的方法的区别

众所周知,Scala 是运行于Java平台(Java虚拟机)的,那么Scala程序编译之后会生成对应的字节码文件,我们将字节码文件反编译成Java文件即可知Scala 为我们都做了什么. 首先我们有一个Scala 源文件//Scala源代码 class Test3 { val a = &quo...

2018-01-13 10:36:47

阅读数:58

评论数:0

Scala 介绍 下载 IntelliJ IDEA 插件安装 配置

介绍 维基百科: Scala(发音为/ˈskɑːlə, ˈskeɪlə/)是一门多范式的编程语言,设计初衷是要集成面向对象编程和函数式编程的各种特性。 官方网站 http://www.scala-lang.org/ 下载 注意: 确定电脑装有 1.8 或 更高版本的 ...

2018-01-13 09:37:31

阅读数:654

评论数:0

Scala 入门 函数/方法

函数函数定义需要 => 符号val fun1 = (x: Int, y: Int) => x + y方法def test(f: (Int, Int) => Int): Int = { f(3, 3) }

2018-01-08 22:02:47

阅读数:138

评论数:0

Flume 常用配置

配置文件文件名任意 a1.sources = r1 a1.sinks = k1 a1.channels = c1其中a1 是agent 的名字 r1 是sources 的名字 c1 是channels的名字 k1 是sinks的名字 这些名字都是任意起的 接下来的配置是sourcesa1.sou...

2017-12-15 12:08:59

阅读数:104

评论数:0

Kafka 安装&常用操作命令

Kafka https://kafka.apache.org/ Apache Kafka是由Apache软件基金会开发的一个开源消息中间件项目,由Scala写成。Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标...

2017-11-27 20:59:22

阅读数:129

评论数:0

Storm WordCount 代码

WordCountTopologMainpackage top.itning.storm;import org.apache.storm.Config; import org.apache.storm.LocalCluster; import org.apache.storm.topology.T...

2017-11-27 20:40:45

阅读数:117

评论数:0

Storm 集群安装&常用操作命令

Apache Storm http://storm.apache.org/ 安装 备份 mv /export/servers/storm/conf/storm.yaml /export/servers/storm/conf/storm.yaml.bak 修改 vi /export/se...

2017-11-27 20:34:52

阅读数:98

评论数:0

Storm 编程模型 核心组件 Stream Grouping 数据分组策略

官网: http://storm.apache.org/ Apache Storm是一个免费的开源分布式实时计算系统。Storm可以很容易地可靠地处理无限的数据流,从而实时处理Hadoop为批处理所做的事情。Storm很简单,可以和任何编程语言一起使用 Storm编程模型 其中Spout ...

2017-11-12 18:23:10

阅读数:219

评论数:0

Hbase API

package cn.itcast_01_hbase;import java.util.ArrayList;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.ap...

2017-11-10 13:34:00

阅读数:260

评论数:1

sqoop 安装

官网:http://sqoop.apache.org/ 下载:sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 1 cd SQOOP_HOME/conf $ mv sqoop-env-template.sh sqoop-env.sh 打开sqoop-e...

2017-11-10 11:51:32

阅读数:95

评论数:0

azkaban 编译使用方法

azkaban github 地址:https://github.com/azkaban/azkaban git clone 地址:https://github.com/azkaban/azkaban.git编译 $git clone https://github.com/azkaban/azk...

2017-11-10 11:18:39

阅读数:863

评论数:0

日志采集框架Flume

1. Source:采集源,用于跟数据源对接,以获取数据 2. Sink:下沉地,采集数据的传送目的,用于往下一级agent传递数据或者往最终存储系统传递数据 3. Channel:angent内部的数据传输通道,用于从source将数据传递到sink安装 解压 修改conf下的flume-e...

2017-11-10 11:01:01

阅读数:99

评论数:0

hadoop集群安装 7节点;HA

教程使用版本: hadoop-2.8.1.tar.gz zookeeper-3.4.10.tar.gz Linux: Centos 7 x64 (CentOS-7-x86_64-DVD-1708) 前期准备: 集群规划: 主机名 IP 安...

2017-11-01 17:50:27

阅读数:250

评论数:0

MapReduce 另一种写法

public class Runner extends Configured implements Tool { @Override public int run(String[] args) throws Exception { return 0; } ...

2017-10-31 18:09:30

阅读数:119

评论数:0

MapReduce 自定义outputFormat

写一个类继承 FileOutputFormat 泛型为最终输出的数据类型public class MyFileOutputFormat extends FileOutputFormat<Text, NullWritable> { 重写getRecordWriter(TaskAttemp...

2017-10-31 16:25:24

阅读数:92

评论数:0

MapReduce 分组GroupingComparator

public class GroupingComparator extends WritableComparator { //传入作为key的bean的class类型,以及制定需要让框架做反射获取实例对象 protected ItemidGroupingComparator() { ...

2017-10-31 14:59:45

阅读数:105

评论数:0

MapReduce 缓存文件

/** * Called once at the beginning of the task. */ protected void setup(Context context ) throws IOException,InterruptedException { Buffe...

2017-10-31 14:38:31

阅读数:134

评论数:0

MapReduce MapTask任务数量,切片大小笔记

MapReduce 运行流程概括MapTask任务数量的决定因素每一个split分配一个mapTask并行实例处理 切片实现 由FileInputFormat实现类的getSplits()方法实现切片 默认切片大小就是Block块大小(默认块大小128M) 在FileInputFormat中,计算...

2017-10-30 19:37:37

阅读数:332

评论数:0

HDFS,数据块,NameNode&DataNode概念及一些原理

分布式文件系统 ?管理网络中跨多台计算机存储的文件系统称为分布式文件系统(distributed fileSystem)HDFS ?HDFS 即 Hadoop Distributed FileSystem(Hadoop分布式文件系统)超大文件:上百M,GB,T的文件 流式数据访问:一次写入,多次读...

2017-10-29 20:02:31

阅读数:747

评论数:0

Hadoop 客户端 CRUD

package cn.itning.testimport org.apache.commons.io.IOUtils import org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.FileSystem import ...

2017-10-27 11:31:45

阅读数:150

评论数:0

Mapreduce中的分区Partitioner

import java.util.HashMap;import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Partitioner;/** * K2 V2 对应的是map输出kv的类型 * @author *...

2017-10-26 16:08:30

阅读数:156

评论数:0

Hadoop客户端 mapreducer

package cn.itning.job.wordcountimport org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.Path import org.apache.hadoop.io.LongWritable ...

2017-10-26 15:59:20

阅读数:152

评论数:0

Zookeeper实现分布式应用的(主节点HA)及客户端动态更新主节点状态

某分布式系统中,主节点可以有多台,可以动态上下线 任意一台客户端都能实时感知到主节点服务器的上下线 import org.apache.zookeeper.CreateMode import org.apache.zookeeper.Watcher import org.apache.zooke...

2017-10-20 20:56:16

阅读数:259

评论数:0

Zookeeper JAVA客户端(Kotlin 实现) CRUD

import org.apache.zookeeper.CreateMode import org.apache.zookeeper.Watcher import org.apache.zookeeper.ZooDefs import org.apache.zookeeper.ZooKeeper ...

2017-10-20 17:11:17

阅读数:163

评论数:0

Tomcat配置强制https端口变成8443的解决办法

明确: http默认端口 80 https默认端口 443 将redirectPort=”8443”改为 redirectPort=”443”service.xml <Connector port="80" protocol="HTTP/1.1"...

2017-10-18 10:44:10

阅读数:956

评论数:0

软考初级程序员-进制转换

低进制转高进制低进制转高进制:乘将低进制的每一位数乘以它的权,然后相加,即为高进制数 例: 二进制转十进制: 高进制转低进制高进制转低进制:除 例: 十进制转二进制:

2017-10-09 21:47:36

阅读数:124

评论数:0

AngularJS 学习笔记(4)-过滤器,$location

过滤器用于格式化显示给用户的数据。 它们可以在视图模板,控制器或服务中使用。 AngularJS带有一系列内置过滤器,但也很容易定义自己的过滤器。 模板中的一般语法如下: {{ expression [| filter_name[:parameter_value] … ] }} 内置过滤...

2017-09-13 21:30:01

阅读数:80

评论数:0

AngularJS 学习笔记(3)-指令(Directive)

指令(Directive) AngularJS 有一套完整的、可扩展的、用来帮助 Web 应用开发的指令集 在 DOM 编译期间,和 HTML 关联着的指令会被检测到,并且被执行 在 AngularJS 中将前缀为 ng- 这种属性称之为指令,其作用就是为 DOM 元素调用方法、定...

2017-09-04 18:08:37

阅读数:177

评论数:0

AngularJS 学习笔记(2)-MVC,$scope,$watch

模块(Module)AngularJS很重要的一个特性就是实现模块化编程,我们可以通过以下方式创建一个模块,对页面进行功能业务上的划分// 创建一个名字叫MyApp的模块,第二个参数指的是该模块依赖那些模块 var myApp = angular.module("MyApp",...

2017-09-04 17:34:10

阅读数:163

评论数:0

AngularJS 学习笔记(1)-介绍

AngularJS简介 AngularJS是一款开源JavaScript库,由Google维护,用来协助单一页面应用程序运行的。它的目标是通过MVC模式(MVC)功能增强基于浏览器的应用,使开发和测试变得更加容易。 库读取包含附加自定义(标签属性)的HTML,遵从这些自定义属性中的指令,...

2017-09-04 17:05:03

阅读数:130

评论数:0

3.8 JS网址编码&&缓动动画公式

编码解码encodeURIComponent(url) 函数可把字符串作为 URI 组件进行编码 decodeURIComponent(url) 函数可把字符串作为 URI 组件进行解码 缓动动画公式值 (初始值)= 初始值 + (目标值 - 值 ) /10 ;

2017-05-12 09:35:31

阅读数:166

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭