我们始终是路人_CSDN博客-HTML+CSS+JavaScript,Struts2,SpringMVC领域博主

原创 Spring Cloud Config/Bus 使用

Spring Cloud Config Server 依赖<dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-confi...

2018-04-16 15:51:12 251 3

原创 Spring Cloud Ribbon 客户端负载均衡器

两种方式实现默认负载均衡第一种:使用RestTemplate@SpringCloudApplication public class EurekaconsumerApplication { /** * LoadBalanced 注解用于使用应用名进行查找,并负载均衡 ...

2018-04-15 18:51:42 158 0

原创 Spring Cloud Eureka 服务注册与发现

Eureka是Netflix开源的一个RESTful服务，主要用于服务的注册发现。Eureka由两个组件组成：Eureka服务器和Eureka客户端。Eureka服务器用作服务注册服务器。Eureka客户端是一个java客户端，用来简化与服务器的交互、作为轮询负载均衡器，并提供服务的故障切换...

2018-04-13 20:08:13 147 0

原创 Docker Dockerfile 创建镜像

从刚才的 docker commit 的学习中，我们可以了解到，镜像的定制实际上就是定制每一层所添加的配置、文件。如果我们可以把每一层修改、安装、构建、操作的命令都写入一个脚本，用这个脚本来构建、定制镜像，那么之前提及的无法重复的问题、镜像构建透明性的问题、体积的问题就都会解决。这个脚本就是 Do...

2018-03-31 18:53:17 196 0

原创 Docker 简介安装启动常用命令

简介 Docker是一个开放源代码软件项目，让应用程序布署在软件容器下的工作可以自动化进行，借此在Linux操作系统上，提供一个额外的软件抽象层，以及操作系统层虚拟化的自动管理机制[1]。Docker利用Linux核心中的资源分脱机制，例如cgroups，以及Linux核心名字空间（nam...

2018-03-30 21:04:43 2056 0

原创 JAVA JMS Java消息服务（Java Message Service）的实现ActiveMQ

JMS即Java消息服务（Java Message Service）应用程序接口是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。Java消息服务是一个与具体平台无关的API，绝大多数MOM提供商都对JMS提供支持。 ...

2018-03-23 13:55:41 178 0

原创 JAVA 并发编程线程池

1、 Single Thread Executor : 只有一个线程的线程池，因此所有提交的任务是顺序执行，代码： Executors.newSingleThreadExecutor() 2、 Cached Thread Pool : 线程池里有很多线程需要同时执行，老的可用线程将被新的...

2018-03-22 19:24:43 78 0

原创 Zookeeper 结构命令行操作

Zookeeper 特性 1、Zookeeper：一个leader，多个follower组成的集群 2、全局数据一致：每个server保存一份相同的数据副本，client无论连接到哪个server，数据都是一致的 3、分布式读写，更新请求转发，由leader实施 4、更新请求顺序进行，来自...

2018-03-21 08:27:40 96 0

原创 Zookeeper 基础

Apache ZooKeeper is an effort to develop and maintain an open-source server which enables highly reliable distributed coordination. Zookeeper 直译...

2018-03-20 17:06:29 75 0

原创 [排序]简单选择排序

private static void selectSort(int[] list) { int i, j, min; for (i = 0; i list.length; i++) { min = i; for (j...

2018-01-28 18:33:47 97 0

原创 [排序]冒泡排序及优化

private static void bubblesort(int[] list) { int i, j; //循环次数 for (i = 0; i list.length; i++) { //这里是从后往前循环 ...

2018-01-28 15:29:27 81 0

转载 Spark 广播规则

原文: https://www.kancloud.cn/kancloud/spark-internals/45238 顾名思义，broadcast 就是将数据从一个节点发送到其他各个节点上去。这样的场景很多，比如 driver 上有一张表，其他节点上运行的 task 需要 lookup 这张表...

2018-01-20 12:25:16 316 0

原创 spark checkpoint

/** * Mark this RDD for checkpointing. It will be saved to a file inside the checkpoint * directory set with `SparkContext#setCheckpointDir` an...

2018-01-20 12:15:23 126 0

原创 Spark RDD缓存方式

RDD通过persist方法或cache方法可以将前面的计算结果缓存，但是并不是这两个方法被调用时立即缓存，而是触发后面的action时，该RDD将会被缓存在计算节点的内存中，并供后面重用。 System.setProperty("hadoop.home.dir&...

2018-01-20 12:04:20 1836 0

原创 Spark RDD的依赖关系

RDD和它依赖的父RDD（s）的关系有两种不同的类型即窄依赖（narrow dependency）宽依赖（wide dependency）。窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用总结：窄依赖我们形象的比喻为独生子女宽依赖指的...

2018-01-20 11:54:31 151 0

原创 Spark 安装配置启动,蒙特·卡罗算法求PI

Apache Spark是一个开源集群运算框架，最初是由加州大学柏克莱分校AMPLab所开发。相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中，Spark使用了内存内运算技术，能在数据尚未写入硬盘时即在内存内分析运算。Spark在内存内运行程序的运算速度能做到比Hado...

2018-01-20 11:20:24 292 0

原创 Scala apply() unapply() update() 方法

apply()有如下类和伴生对象class Test {}object Test { def apply(): Test = new Test() def main(args: Array[String]): Unit = { println(Test()) println(...

2018-01-13 12:56:19 371 0

原创 Scala 隐式转换隐式参数

隐式转换所谓隐式转换函数(implicit conversion function)指的是那种以implicit 关键字声明的带有单个参数的函数首先,看这个例子implicit def file2RichFile(from: File): RichFile = new RichFile(f...

2018-01-13 12:13:49 135 0

原创 Scala 类的主构造方法中属性修饰符的作用与区别

众所周知,Scala 是运行于Java平台（Java虚拟机）的,那么Scala程序编译之后会生成对应的字节码文件,我们将字节码文件反编译成Java文件即可知Scala 为我们都做了什么. Scala 源代码 class Test4(a: String) class Test5(val b...

2018-01-13 11:12:54 338 0

原创 Scala 类中属性和属性生成的方法的区别

众所周知,Scala 是运行于Java平台（Java虚拟机）的,那么Scala程序编译之后会生成对应的字节码文件,我们将字节码文件反编译成Java文件即可知Scala 为我们都做了什么. 首先我们有一个Scala 源文件//Scala源代码 class Test3 { val a = &quo...

2018-01-13 10:36:47 288 0

原创 Scala 介绍下载 IntelliJ IDEA 插件安装配置

介绍维基百科: Scala（发音为/ˈskɑːlə, ˈskeɪlə/）是一门多范式的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。官方网站 http://www.scala-lang.org/ 下载注意: 确定电脑装有 1.8 或更高版本的 ...

2018-01-13 09:37:31 2179 0

原创 Scala 入门函数/方法

函数函数定义需要 => 符号val fun1 = (x: Int, y: Int) => x + y方法def test(f: (Int, Int) => Int): Int = { f(3, 3) }

2018-01-08 22:02:47 191 0

原创 Flume 常用配置

配置文件文件名任意 a1.sources = r1 a1.sinks = k1 a1.channels = c1其中a1 是agent 的名字 r1 是sources 的名字 c1 是channels的名字 k1 是sinks的名字这些名字都是任意起的接下来的配置是sourcesa1.sou...

2017-12-15 12:08:59 212 0

原创 Kafka 安装&常用操作命令

Kafka https://kafka.apache.org/ Apache Kafka是由Apache软件基金会开发的一个开源消息中间件项目，由Scala写成。Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标...

2017-11-27 20:59:22 217 0

原创 Storm WordCount 代码

WordCountTopologMainpackage top.itning.storm;import org.apache.storm.Config; import org.apache.storm.LocalCluster; import org.apache.storm.topology.T...

2017-11-27 20:40:45 173 0

原创 Storm 集群安装&常用操作命令

Apache Storm http://storm.apache.org/ 安装备份 mv /export/servers/storm/conf/storm.yaml /export/servers/storm/conf/storm.yaml.bak 修改 vi /export/se...

2017-11-27 20:34:52 213 0

原创 Storm 编程模型核心组件 Stream Grouping 数据分组策略

官网: http://storm.apache.org/ Apache Storm是一个免费的开源分布式实时计算系统。Storm可以很容易地可靠地处理无限的数据流，从而实时处理Hadoop为批处理所做的事情。Storm很简单，可以和任何编程语言一起使用 Storm编程模型其中Spout ...

2017-11-12 18:23:10 411 0

原创 Hbase API

package cn.itcast_01_hbase;import java.util.ArrayList;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.Cell; import org.ap...

2017-11-10 13:34:00 319 1

原创 sqoop 安装

官网:http://sqoop.apache.org/ 下载:sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 1 cd SQOOP_HOME/conf $ mv sqoop-env-template.sh sqoop-env.sh 打开sqoop-e...

2017-11-10 11:51:32 147 0

原创 azkaban 编译使用方法

azkaban github 地址:https://github.com/azkaban/azkaban git clone 地址:https://github.com/azkaban/azkaban.git编译 $git clone https://github.com/azkaban/azk...

2017-11-10 11:18:39 2022 0

原创日志采集框架Flume

1. Source：采集源，用于跟数据源对接，以获取数据 2. Sink：下沉地，采集数据的传送目的，用于往下一级agent传递数据或者往最终存储系统传递数据 3. Channel：angent内部的数据传输通道，用于从source将数据传递到sink安装解压修改conf下的flume-e...

2017-11-10 11:01:01 153 0

原创 hadoop集群安装 7节点;HA

教程使用版本: hadoop-2.8.1.tar.gz zookeeper-3.4.10.tar.gz Linux: Centos 7 x64 (CentOS-7-x86_64-DVD-1708) 前期准备: 集群规划：主机名 IP 安...

2017-11-01 17:50:27 527 0

原创 MapReduce 另一种写法

public class Runner extends Configured implements Tool { @Override public int run(String[] args) throws Exception { return 0; } ...

2017-10-31 18:09:30 242 0

原创 MapReduce 自定义outputFormat

写一个类继承 FileOutputFormat 泛型为最终输出的数据类型public class MyFileOutputFormat extends FileOutputFormat<Text, NullWritable> { 重写getRecordWriter(TaskAttemp...

2017-10-31 16:25:24 304 0

原创 MapReduce 分组GroupingComparator

public class GroupingComparator extends WritableComparator { //传入作为key的bean的class类型，以及制定需要让框架做反射获取实例对象 protected ItemidGroupingComparator() { ...

2017-10-31 14:59:45 314 0

原创 MapReduce 缓存文件

/** * Called once at the beginning of the task. */ protected void setup(Context context ) throws IOException,InterruptedException { Buffe...

2017-10-31 14:38:31 624 0

原创 MapReduce MapTask任务数量,切片大小笔记

MapReduce 运行流程概括MapTask任务数量的决定因素每一个split分配一个mapTask并行实例处理切片实现由FileInputFormat实现类的getSplits()方法实现切片默认切片大小就是Block块大小(默认块大小128M) 在FileInputFormat中，计算...

2017-10-30 19:37:37 1772 0

原创 HDFS,数据块,NameNode&DataNode概念及一些原理

分布式文件系统 ?管理网络中跨多台计算机存储的文件系统称为分布式文件系统(distributed fileSystem)HDFS ?HDFS 即 Hadoop Distributed FileSystem(Hadoop分布式文件系统)超大文件:上百M,GB,T的文件流式数据访问:一次写入,多次读...

2017-10-29 20:02:31 3103 0

原创 Hadoop 客户端 CRUD

package cn.itning.testimport org.apache.commons.io.IOUtils import org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.FileSystem import ...

2017-10-27 11:31:45 263 0

原创 Mapreduce中的分区Partitioner

import java.util.HashMap;import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Partitioner;/** * K2 V2 对应的是map输出kv的类型 * @author *...

2017-10-26 16:08:30 292 0