自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

我们始终是路人

I'll try anything once.学习笔记

  • 博客(120)
  • 资源 (1)
  • 收藏
  • 关注

原创 Spring Cloud Config/Bus 使用

Spring Cloud Config Server 依赖<dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-config-server</artifactId></dependency>Spring Cloud Config Client 依赖<dependency>

2018-04-16 15:51:12 291 3

原创 Spring Cloud Ribbon 客户端负载均衡器

两种方式实现默认负载均衡 第一种:使用RestTemplate@SpringCloudApplicationpublic class EurekaconsumerApplication { /** * LoadBalanced 注解用于使用应用名进行查找,并负载均衡 * @return RestTemplate */ @Bean @LoadB

2018-04-15 18:51:42 184

原创 Spring Cloud Eureka 服务注册与发现

Eureka是Netflix开源的一个RESTful服务,主要用于服务的注册发现。Eureka由两个组件组成:Eureka服务器和Eureka客户端。Eureka服务器用作服务注册服务器。Eureka客户端是一个java客户端,用来简化与服务器的交互、作为轮询负载均衡器,并提供服务的故障切换支持。Eureka Server 提供用于Client的服务注册与发现Applicati...

2018-04-13 20:08:13 174

原创 Docker Dockerfile 创建镜像

从刚才的 docker commit 的学习中,我们可以了解到,镜像的定制实际上就是定制每一层所添加的配置、文件。如果我们可以把每一层修改、安装、构建、操作的命令都写入一个脚本,用这个脚本来构建、定制镜像,那么之前提及的无法重复的问题、镜像构建透明性的问题、体积的问题就都会解决。这个脚本就是 Dockerfile。# 第一行必须指定基于的基础镜像FROM centos#维护者信息MAINTAI

2018-03-31 18:53:17 230

原创 Docker 简介 安装 启动 常用命令

简介 Docker是一个开放源代码软件项目,让应用程序布署在软件容器下的工作可以自动化进行,借此在Linux操作系统上,提供一个额外的软件抽象层,以及操作系统层虚拟化的自动管理机制[1]。Docker利用Linux核心中的资源分脱机制,例如cgroups,以及Linux核心名字空间(name space),来创建独立的软件容器(containers)。这可以在单一Linux实体下运作,避免...

2018-03-30 21:04:43 2259

原创 JAVA JMS Java消息服务(Java Message Service) 的实现ActiveMQ

JMS即Java消息服务(Java Message Service)应用程序接口是一个Java平台中关于面向消息中间件(MOM)的API,用于在两个应用程序之间,或分布式系统中发送消息,进行异步通信。Java消息服务是一个与具体平台无关的API,绝大多数MOM提供商都对JMS提供支持。 JMS是一种与厂商无关的 API,用来访问消息收发系统消息。它类似于JDBC(Java Da...

2018-03-23 13:55:41 249

原创 JAVA 并发编程 线程池

1、 Single Thread Executor : 只有一个线程的线程池,因此所有提交的任务是顺序执行, 代码: Executors.newSingleThreadExecutor()2、 Cached Thread Pool : 线程池里有很多线程需要同时执行,老的可用线程将被新的任务触发重新执行,如果线程超过60秒内没执行,那么将被终止并从池中删除, 代码:Executors....

2018-03-22 19:24:43 97

原创 Zookeeper 结构 命令行操作

Zookeeper 特性1、Zookeeper:一个leader,多个follower组成的集群 2、全局数据一致:每个server保存一份相同的数据副本,client无论连接到哪个server,数据都是一致的 3、分布式读写,更新请求转发,由leader实施 4、更新请求顺序进行,来自同一个client的更新请求按其发送顺序依次执行 5、数据更新原子性,一次数据更新要么成功,要么失败...

2018-03-21 08:27:40 118

原创 Zookeeper 基础

Apache ZooKeeper is an effort to develop and maintain an open-source server which enables highly reliable distributed coordination.Zookeeper 直译过来是 动物园管理员 说白了就是用来管理Hadoop(大象),Hive(蜜蜂) 的分布式协调服务Z...

2018-03-20 17:06:29 94

原创 [排序]简单选择排序

private static void selectSort(int[] list) { int i, j, min; for (i = 0; i list.length; i++) { min = i; for (j = i + 1; j list.length; j++) { if

2018-01-28 18:33:47 107

原创 [排序]冒泡排序及优化

private static void bubblesort(int[] list) { int i, j; //循环次数 for (i = 0; i list.length; i++) { //这里是从后往前循环 for (j = list.length - 2; j >= i; j--) {

2018-01-28 15:29:27 96

转载 Spark 广播规则

原文: https://www.kancloud.cn/kancloud/spark-internals/45238顾名思义,broadcast 就是将数据从一个节点发送到其他各个节点上去。这样的场景很多,比如 driver 上有一张表,其他节点上运行的 task 需要 lookup 这张表,那么 driver 可以先把这张表 copy 到这些节点,这样 task 就可以在本地查表了。如何实

2018-01-20 12:25:16 349

原创 spark checkpoint

/** * Mark this RDD for checkpointing. It will be saved to a file inside the checkpoint * directory set with `SparkContext#setCheckpointDir` and all references to its parent * RDDs will be re

2018-01-20 12:15:23 143

原创 Spark RDD缓存方式

RDD通过persist方法或cache方法可以将前面的计算结果缓存,但是并不是这两个方法被调用时立即缓存,而是触发后面的action时,该RDD将会被缓存在计算节点的内存中,并供后面重用。 System.setProperty("hadoop.home.dir", "G:\\hadoop-common-2.2.0-bin") val conf = new Spar

2018-01-20 12:04:20 1969

原创 Spark RDD的依赖关系

RDD和它依赖的父RDD(s)的关系有两种不同的类型即 窄依赖(narrow dependency) 宽依赖(wide dependency)。 窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用 总结:窄依赖我们形象的比喻为独生子女宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition 总结:窄依赖我们形象的比

2018-01-20 11:54:31 171

原创 Spark 安装配置启动,蒙特·卡罗算法求PI

Apache Spark是一个开源集群运算框架,最初是由加州大学柏克莱分校AMPLab所开发。相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中,Spark使用了内存内运算技术,能在数据尚未写入硬盘时即在内存内分析运算。Spark在内存内运行程序的运算速度能做到比Hadoop MapReduce的运算速度快上100倍,即便是运行程序于硬盘时,Spark也能快上10倍速度。[

2018-01-20 11:20:24 353

原创 Scala apply() unapply() update() 方法

apply()有如下类和伴生对象class Test {}object Test { def apply(): Test = new Test() def main(args: Array[String]): Unit = { println(Test()) println(Test()) }}程序执行的结果:Test@10dba097Test@1786f9d5可知,当

2018-01-13 12:56:19 413

原创 Scala 隐式转换 隐式参数

隐式转换 所谓隐式转换函数(implicit conversion function)指的是那种以implicit 关键字声明的带有单个参数的函数首先,看这个例子implicit def file2RichFile(from: File): RichFile = new RichFile(from)这是一个隐式转换方法,方法名为 file2RichFile 意为File转换成RichFile类

2018-01-13 12:13:49 160

原创 Scala 类的主构造方法中属性修饰符的作用与区别

众所周知,Scala 是运行于Java平台(Java虚拟机)的,那么Scala程序编译之后会生成对应的字节码文件,我们将字节码文件反编译成Java文件即可知Scala 为我们都做了什么.Scala 源代码class Test4(a: String)class Test5(val b: String, var c: String)class Test6(private val d

2018-01-13 11:12:54 389

原创 Scala 类中属性和属性生成的方法的区别

众所周知,Scala 是运行于Java平台(Java虚拟机)的,那么Scala程序编译之后会生成对应的字节码文件,我们将字节码文件反编译成Java文件即可知Scala 为我们都做了什么.首先我们有一个Scala 源文件//Scala源代码class Test3 { val a = "a" var b = "b" private val c = "c" private var d =

2018-01-13 10:36:47 325

原创 Scala 介绍 下载 IntelliJ IDEA 插件安装 配置

介绍 维基百科: Scala(发音为/ˈskɑːlə, ˈskeɪlə/)是一门多范式的编程语言,设计初衷是要集成面向对象编程和函数式编程的各种特性。 官方网站 http://www.scala-lang.org/下载注意: 确定电脑装有 1.8 或 更高版本的 JDK 1. 首先进入Scala 官网 点击download 按钮 2. 将网页下拉到最后

2018-01-13 09:37:31 2306

原创 Scala 入门 函数/方法

函数函数定义需要 => 符号val fun1 = (x: Int, y: Int) => x + y方法def test(f: (Int, Int) => Int): Int = { f(3, 3) }

2018-01-08 22:02:47 211

原创 Flume 常用配置

配置文件文件名任意a1.sources = r1a1.sinks = k1a1.channels = c1其中a1 是agent 的名字r1 是sources 的名字c1 是channels的名字k1 是sinks的名字这些名字都是任意起的 接下来的配置是sourcesa1.sources.r1.type = netcata1.sources.r1.bind = localhost

2017-12-15 12:08:59 260

原创 Kafka 安装&常用操作命令

Kafka https://kafka.apache.org/ Apache Kafka是由Apache软件基金会开发的一个开源消息中间件项目,由Scala写成。Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。—– from wikipediaKafka 安装

2017-11-27 20:59:22 237

原创 Storm WordCount 代码

WordCountTopologMainpackage top.itning.storm;import org.apache.storm.Config;import org.apache.storm.LocalCluster;import org.apache.storm.topology.TopologyBuilder;import org.apache.storm.tuple.Fields

2017-11-27 20:40:45 191

原创 Storm 集群安装&常用操作命令

Apache Storm http://storm.apache.org/安装备份 mv /export/servers/storm/conf/storm.yaml /export/servers/storm/conf/storm.yaml.bak修改 vi /export/servers/storm/conf/storm.yaml#指定storm使用的zk集群storm.zoo

2017-11-27 20:34:52 256

原创 Storm 编程模型 核心组件 Stream Grouping 数据分组策略

官网: http://storm.apache.org/ Apache Storm是一个免费的开源分布式实时计算系统。Storm可以很容易地可靠地处理无限的数据流,从而实时处理Hadoop为批处理所做的事情。Storm很简单,可以和任何编程语言一起使用 Storm编程模型其中Spout 一条一条从数据源获取外部数据Spout 在内部发送Tuple给Bolt ; Bolt 根据业务进行处理

2017-11-12 18:23:10 533

原创 Hbase API

package cn.itcast_01_hbase;import java.util.ArrayList;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.hadoop.hbase.CellUtil;import org.apache.hadoop

2017-11-10 13:34:00 332 1

原创 sqoop 安装

官网:http://sqoop.apache.org/ 下载:sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 1cd SQOOP_HOME/conf $ mv sqoop-env-template.sh sqoop-env.sh 打开sqoop-env.sh并编辑下面几行: export HADOOP_COMMON_HOME=/home/hadoo

2017-11-10 11:51:32 173

原创 azkaban 编译使用方法

azkaban github 地址:https://github.com/azkaban/azkaban git clone 地址:https://github.com/azkaban/azkaban.git编译$git clone https://github.com/azkaban/azkaban.git$cd azkaban$git checkout 版本号 版本号通过 https:

2017-11-10 11:18:39 2153

原创 日志采集框架Flume

1. Source:采集源,用于跟数据源对接,以获取数据 2. Sink:下沉地,采集数据的传送目的,用于往下一级agent传递数据或者往最终存储系统传递数据 3. Channel:angent内部的数据传输通道,用于从source将数据传递到sink安装解压修改conf下的flume-env.sh,在里面配置JAVA_HOME# example.conf: A single-node F

2017-11-10 11:01:01 175

原创 hadoop集群安装 7节点;HA

教程使用版本: hadoop-2.8.1.tar.gz zookeeper-3.4.10.tar.gz Linux: Centos 7 x64 (CentOS-7-x86_64-DVD-1708)前期准备:集群规划: 主机名 IP 安装的软件 运行的进程 node1 192.168.66.3 jdk、hadoop...

2017-11-01 17:50:27 596

原创 MapReduce 另一种写法

public class Runner extends Configured implements Tool { @Override public int run(String[] args) throws Exception { return 0; } public static void main(String[] args) throws Exce

2017-10-31 18:09:30 274

原创 MapReduce 自定义outputFormat

写一个类继承 FileOutputFormat 泛型为最终输出的数据类型public class MyFileOutputFormat extends FileOutputFormat<Text, NullWritable> {重写getRecordWriter(TaskAttemptContext context)方法maptask或者reducetask在最终输出时,先调用OutputForm

2017-10-31 16:25:24 324

原创 MapReduce 分组GroupingComparator

public class GroupingComparator extends WritableComparator { //传入作为key的bean的class类型,以及制定需要让框架做反射获取实例对象 protected ItemidGroupingComparator() { super(OrderBean.class, true); } @Ove

2017-10-31 14:59:45 362

原创 MapReduce 缓存文件

/** * Called once at the beginning of the task. */ protected void setup(Context context ) throws IOException,InterruptedException { BufferedReader bufferedReader = new BufferedReader(new Fi

2017-10-31 14:38:31 739

原创 MapReduce MapTask任务数量,切片大小笔记

MapReduce 运行流程概括MapTask任务数量的决定因素每一个split分配一个mapTask并行实例处理切片实现由FileInputFormat实现类的getSplits()方法实现切片默认切片大小就是Block块大小(默认块大小128M)在FileInputFormat中,计算切片大小的逻辑代码为:Math.max(minSize, Math.min(maxSize, bloc

2017-10-30 19:37:37 2078

原创 HDFS,数据块,NameNode&DataNode概念及一些原理

分布式文件系统 ?管理网络中跨多台计算机存储的文件系统称为分布式文件系统(distributed fileSystem)HDFS ?HDFS 即 Hadoop Distributed FileSystem(Hadoop分布式文件系统)超大文件:上百M,GB,T的文件流式数据访问:一次写入,多次读取是最高效的访问模式不适合需要低时间延迟的数据访问:HDFS为高数据吞吐量应用优化,可能会以时间为代价

2017-10-29 20:02:31 3322

原创 Hadoop 客户端 CRUD

package cn.itning.testimport org.apache.commons.io.IOUtilsimport org.apache.hadoop.conf.Configurationimport org.apache.hadoop.fs.FileSystemimport org.apache.hadoop.fs.Pathimport org.junit.Beforeim

2017-10-27 11:31:45 293

原创 Mapreduce中的分区Partitioner

import java.util.HashMap;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Partitioner;/** * K2 V2 对应的是map输出kv的类型 * @author * */public class ProvincePartitioner extends Partit

2017-10-26 16:08:30 334

Studio3T 破解器,激活

将文件放在Studio3T运行即可,也可以创建快捷方式在桌面上。

2018-12-27

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除