2019年04月_木棉上的光

原创《深入理解计算机系统》 CMU15213 笔记(二)

性能优化：如下图，两个方法功能一致，只是嵌套顺序不同，左边为行优先(填满)，右边为列优先(填满)那么，哪个效率更好呢？运行的时候你会发现，左边的比右边快得多！性能差了差不多20倍这是为什么呢？看看下图：这张图片显示了四种不同的内存访问模式可以看到，copyij获得的MB/S更多，所以它的性能更好。这与内存层次结构中的缓存有关这一部分以后将会探讨最后一部分则跟网络相关...

2019-04-30 23:59:53 383

原创 HDFS(五)：文件读取解析

剖析文件读取1.客户端向namenode请求下载文件，2.namenode通过查询元数据，找到文件块所在的datanode地址,返回元数据3.挑选一台datanode（就近原则，然后随机）服务器，请求读取数据。4.datanode开始传输数据给客户端（从磁盘里面读取数据放入流，以packet为单位来做校验）。注意:1.此处分块可能会请求不同的datanode，如下图所示的blk_...

2019-04-30 11:06:42 500

原创 HDFS(四)：文件写入解析

剖析文件写入1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）namenode返回3个datanode节点，分别为dn1、dn2、dn3。5）客户端请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个...

2019-04-30 09:49:31 212 1

原创 HDFS(三)：常用客户端API及IO操作

简洁代码的配置：将core-site.xml复制到根目录下，配置如下：<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration><!-- 指定HDFS中NameNode的地址 ...

2019-04-29 23:53:11 201

WebSocket是实时系统的协议基础，下面来看看此协议一、websocket与httpWebSocket是HTML5出现的协议，也就是说HTTP协议并没有变化，，但注意，HTTP是不支持持久连接的（长连接，循环连接不算），这是WebSocket出现的前提首先HTTP有 1.1 和 1.0 之说，也就是所谓的 keep-alive ，把多个HTTP请求合并为一个，但是 Websocket 其...

2019-04-29 15:57:39 1183

原创《深入理解计算机系统》 CMU15213 笔记(一)

看看第一个例子：1.看看一个计算：5000050000会产生一个负数hei man！为什么呢？因为此计算机的int是32位，50000*50000超出了它的最大值2.再看看另一个计算：这个结果同样令人惊奇，它溢出了那么，接下来继续看例子正整数还是很符合的，但是浮点数呢？可以猜得出来，结果并不为3.14，这就涉及到了浮点数的设计了问题本质：计算机用有限的位组合形式...

2019-04-28 23:37:02 2225

原创 HDFS(二)：命令行操作

1.基本语法bin/hadoop fs 具体命令关于hadoop fs、hdfs dfs的区别：https://blog.csdn.net/u013019431/article/details/784855552.参数大全bin/hadoop fs此处忽略xxx…3.常用命令实操（1）-help：输出这个命令参数bin/hdfs dfs -help ls（2）-ls...

2019-04-28 15:00:27 154

原创 HDFS(一)：概述

一 HDFS概念1.1 概念HDFS，它是一个文件系统，为Hadoop的组成之一，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。应用场景为海量数据的存储扩展：Windows的文件系统为NTFS1.2 组成...

2019-04-28 11:08:45 318

原创配置Hadoop集群常见问题

1）防火墙没关闭、或者没有启动yarnINFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032解决办法：chkconfig iptables off #关闭防火墙sbin/start-yarn.sh #hadoop目录下2）主机名称配置错误解决办法：vi /etc/sys...

2019-04-28 08:38:29 379

原创 Netty初了解(10w TPS)

1.简介Netty虽然底层原理是NIO，却实现了异步，是一个异步NIO框架2.高性能三大主题传输、协议、线程性能包括两方面：服务端的处理性能、请求的性能3.异步非阻塞模型3.1 NIO基本操作流程(服务端)：3.2 架构服务端：第六步中，不再是直接单线程阻塞处理，而是使用了一个实现了handle接口的类，调用handleAccept方法来处理新的客户端接入，此方法是从线...

2019-04-27 22:03:03 2115

原创编写两个方便配置Hadoop集群的脚本

一：集群分发脚本使用此脚本，我们可以复制文件到集群中所有节点的相同目录下。使用者可以输出绝对路径或相对路径。1.1 核心命令：rsync -rvl /opt/module root@pdc:/opt/1.2 使用方式建议集群机器前缀相同，后缀数字不同，如pdc1、pdc2、pdc3、pdc4[root@pdc ~]#myrsync 要同步的文件名称起始机器结束机器1.3 开...

2019-04-25 16:37:56 244