anbashi7271-CSDN博客

转载 ArrayList源码

/** * Resizable-array implementation of the <tt>List</tt> interface. Implements * all optional list operations, and permits all elements, including * <tt>null</tt>. In a...

2019-02-16 11:11:00 136

转载 flume配置——数据流的复制、分流、负载均衡、故障转移

1、多个 agent 顺序连接：可以将多个Agent顺序连接起来，将最初的数据源经过收集，存储到最终的存储系统中。这是最简单的情况，一般情况下，应该控制这种顺序连接的Agent的数量，因为数据流经的路径变长了，如果不考虑failover的话，出现故障将影响整个Flow上的Agent收集服务。 2、多个agent的数据汇聚到一个agent：这种情况应用的场景比较多，比如要...

2018-08-02 23:48:00 274

转载忙等待中的互斥

竞争条件：两个或多个进程读取某些共享数据，最后的结果取决于进程运行的精确时序，成为竞争条件。互斥：当一个进程在使用一个共享变量或文件时，其他进程不能做同样的操作。临界区：对共享内存进行访问的程序片段成为临界区。实现互斥，避免竞争条件的方法： 1 屏蔽中断，cpu将不会切换到其他进程。但不适合多核系统，而且把屏蔽中断的权利交给用户进程是不明智的。 2 锁变量，初始为0，有进...

2018-06-13 21:14:00 504

转载操作系统用户态和内核态

内核态:CPU可以访问内存所有数据, 包括外围设备, 例如硬盘, 网卡. CPU也可以将自己从一个程序切换到另一个程序用户态:只能受限的访问内存, 且不允许访问外围设备. 占用CPU的能力被剥夺, CPU资源可以被其他程序获取为什么要有用户态和内核态由于需要限制不同的程序之间的访问能力, 防止他们获取别的程序的内存数据, 或者获取外围设备的数据, 并发送到网络, CPU划...

2018-06-04 21:06:00 132

转载 YARN and MapReduce的【内存】优化配置详解

在Hadoop2.x中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container。使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示YARN会管理集群中所有机器的可用计算资源. 基于这些资源YARN会调度应用(比如MapReduce)发来的资源请求, 然后YARN会通过分配Container来给每个应用提供...

2018-05-28 11:18:00 92

转载 YARN的Memory和CPU调优配置详解

Hadoop YARN同时支持内存和CPU两种资源的调度，本文介绍如何配置YARN对内存和CPU的使用。 YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。在YARN集群中，平衡内存、CPU、磁盘的资源的很重要的，根...

2018-05-28 11:07:00 96

转载冒泡排序

冒泡排序(Bubble Sort)，又被称为气泡排序或泡沫排序。它是一种较简单的排序算法。它会遍历若干次要排序的数列，每次遍历时，它都会从前往后依次的比较相邻两个数的大小；如果前者比后者大，则交换它们的位置。这样，一次遍历之后，最大的元素就在数列的末尾！采用相同的方法再次遍历时，第二大的元素就被排列在最大元素之前。重复此操作，直到整个数列都有序为止！下面以数列{20,40...

2018-05-26 11:27:00 300

转载选择排序

选择排序介绍选择排序(Selection sort)是一种简单直观的排序算法。它的基本思想是：首先在未排序的数列中找到最小(or最大)元素，然后将其存放到数列的起始位置；接着，再从剩余未排序的元素中继续寻找最小(or最大)元素，然后放到已排序序列的末尾。以此类推，直到所有元素均排序完毕。排序流程第1趟：i=0。找出a[1...5]中的最小值a[3]=10，然后...

2018-05-26 11:23:00 86

转载操作系统用户态和内核态之间的切换过程

1.用户态和内核态的概念区别究竟什么是用户态，什么是内核态，这两个基本概念以前一直理解得不是很清楚，根本原因个人觉得是在于因为大部分时候我们在写程序时关注的重点和着眼的角度放在了实现的功能和代码的逻辑性上，先看一个例子： 1）例子 void testfork(){ if(0 = = fork()){ printf(“create new p...

2018-05-22 21:38:00 316

转载 SpringMVC工作原理

---恢复内容开始--- SpringMVC的工作原理图： SpringMVC流程用户发送请求至前端控制器DispatcherServlet。 DispatcherServlet收到请求调用HandlerMapping处理器映射器。处理器映射器找到具体的处理器(可以根据xml配置、注解进行查找)，生成处理器对象及处理器拦截器(如果有则...

2018-05-21 19:06:00 96

转载 CentOS6.5 修改主机名

1.编辑/etc/sysconfig/network [root@localhost ~]# vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop-01 2.hostname 直接命名 [root@localhost ~]#hostname hadoop-01 3.编辑/etc/hosts [root@localh...

2018-05-19 16:47:00 129

转载 linux 常用命令

pwd 查看当前目录 cd cd 和 cd ~ 进用户的家目录标识是~ /home/用户名称 cd /etc 进目录 cd ../ 退回上一层目录 cd ../../ 退回上两层目录 cd - 退回上一次的目录 hostname hostname 查看机器...

2018-05-10 10:06:00 99

转载数据依赖性

如果两个操作访问同一个变量，且这两个操作中有一个为写操作，此时这两个操作之间就存在数据依赖性。数据依赖分下列三种类型：名称代码示例说明写后读 a = 1;b = a; 写一个变量之后，再读这个位置。写后写 a = 1;a = 2; 写一个变量之后，再写这个变量。读后写 a = b;b = 1; 读一个变量之后，...

2017-10-15 20:42:00 1152

转载 ssh多台机器通信

1.3台机器执行[root@hadoop001 ~]# ssh-keygenGenerating public/private rsa key pair.Enter file in which to save the key (/root/.ssh/id_rsa): Created directory '/root/.ssh'.Enter passphrase (empty for no...

2017-10-11 10:44:00 394

转载 Hadoop学习之HDFS/MapReduce/YARN进程介绍

一、Hadoop之三大组件HDFS———->数据存储MapReduce—>作业计算框架Yarn———–>资源调度二、HDFS1、启动HDFS查看进程 [hadoop@hadoop001 hadoop]$ sbin/start-dfs.sh Starting namenodes on [hadoop001] hadoop001: starting name...

2017-10-11 10:24:00 374

转载设计模式遵循的原则

单一原则：负责类的粒度大小。简单的说就是一个类或者方法让它负责一种功能开闭原则: 一个类或者功能对扩展开放，对修改关闭。就是在程序扩展的时候不能去修改原有的代码，里氏替换原则：所有引用基类（父类）的地方都能，都能用子类来代替。实际就是子类可以扩展父类的功能，但不能改变父类原有的功能依赖倒置原则：面向接口编程，依赖抽象而不是依赖具体的类接口隔离原则: 使用多个隔离的接口，比使用单个接口要好...

2017-09-09 16:53:00 83

转载 java内存模型先行发生原则

java语言天生有一个先行发生原则，无须借助任何同步器就存在这是判断线程是否存在竞争，线程是否安全的主要依据， 1、程序次序规则：在一个线程内，书写在前面的代码先行发生于后面的。确切地说应该是，按照程序的控制流顺序，因为存在一些分支结构。 2、管程锁定规则。一个unlock操作先行发生于后面对同一个锁的lock操作。 3、Volatile变量规则：对一个volatile修饰...

2017-09-01 23:21:00 101

转载 hdfs 读写流程

读文件的过程 1.hdfs client调用FileSystem的open()函数打开文件 2.DistributedFileSystem用RPC调用namenode节点，返回文件部分或全部的block列表（也包含该列表各个block块的分布在datanode的地址信息）并返回fsdataInputstream 3.hdfs client 调用fsdataInputStream的r...

2017-08-28 23:21:00 111

转载 java 内存模型

先了解一下硬件的内存架构，由于计算机的处理器和存储设备运行速度相差几个数量及，所以现代计算及系统不得不加入一层与处理器速度近似相近的高速缓存，来解决处理器和内存之间的缓冲，将运算需要使用的数据复制到缓存中，让计算机快速运行，当运算结束后在同步到主内存中。这个处理器就无需等待缓慢的内存读写了，但是随之也带来了新的问题，缓存一致性行为。解决缓存一致性行为：当CPU写数据时，如果发现操作的...

2017-08-28 21:04:00 77

转载 hdfs学习总结

1.启动hdfs进程名称 namenode 名称节点datanode 数据节点secondary namenode 第二名称节点 2.分块存储之前默认64m，现在默认128m （dfs.blocksize 128m）例子：一个文件 110M 110/128 分为1 块第一块 110M 130M 130/128 分为2 块第一块...

2017-08-27 23:11:00 179

转载方法逃逸

逃逸的基本行为是分析对象的动态作用域，分析指针动态范围的方法称之为逃逸分析当变量（或者对象）在方法中分配后，其指针有可能被返回或者被全局引用，这样就会被其他过程或者线程所引用，这种现象称作指针（或者引用）的逃逸(Escape)。逃逸分为方法逃逸线程逃逸 classA{ publicstaticBb; publicvoidglobalVar...

2017-08-25 21:47:00 549

转载 hadoop伪分布式搭建

Hadoop伪分布模式（Pseudo-Distributed Mode）伪分布模式在“单节点集群”上运行Hadoop，其中所有的守护进程都运行在同一台机器上。该模式在单机模式之上增加了代码调试功能，允许你检查内存使用情况，HDFS输入输出，以及其他的守护进程交互。比如namenode，datanode，secondarynamenode，jobtracer，task...

2017-08-23 22:11:00 187

转载 hadoop编译

----------------------------------------------------------------------------------Requirements: * Unix System* JDK 1.7+* Maven 3.0 or later* Findbugs 1.3.9 (if running findbugs)* ProtocolBuffer ...

2017-08-23 21:58:00 87

转载 mysql在linux安装

MySQL下载对于下载，可以采用wget的方式下载，具体网址去官网找找，将地址复制可以采用win系统下载，用传输工具的方式例：WinSCP，传输到Linux系统上这是我的压缩包位置，大家可以随意放置 MySQL解压将mysql解压到/usr/local目录 tar -zxvf /home/hadoop/mysql...

2017-08-23 21:48:00 90

转载 mysql优化

a .表的设计要符合三范式 b .添加适当的索引 index 普通索引主键索引唯一索引unique 全文索引（在文本添加）空间索引符合索引 c . 分表技术（水平分割，垂直分割） d. 读写（update /delete/add）分离 e .存储过程（模块化，提高速度） f. 对mysql配置优化【配置最大并发数my.ini max_connections 最大连接数一...

2017-08-13 19:40:00 61

转载观察者（Observer）模式

观察者模式也可以理解为发布与订阅的模式，通俗的说就是定义了对象之间一对多的依赖关系。例如：杂志和杂志订阅之间的关系，向某家报社订阅杂志，只要他有新的杂志出版，就会给订阅的人送过去。这里的杂志社名称改为 “主题”，订阅者改为 “观察者” 就是观察者模式了如下图模式中的角色　　抽象主题（Subject）：它把所有观察者对象的引用保存到一个聚集里，每个主题都可以有任何数量的...

2017-06-24 11:59:00 86

anbashi7271的博客