- 博客(254)
- 资源 (22)
- 收藏
- 关注
原创 线上JVM 优化调试(1)
a虚拟机中,数据类型可以分为两类:基本类型和引用类型。基本类型的变量保存原始值,即:他代表的值就是数值本身;而引用类型的变量保存引用值。“引用值”代表了某个对象的引用,而不是对象本身,对象本身存放在这个引用值所表示的地址的位置。 基本类型包括:byte、short、int、long、char、float、double、Boolean、returnAddress 引用类型包括:类类型、接口类型、数组 2 堆和栈 堆和栈是程序运行的关键,很有必要把他们的关系说清楚。
2015-01-22 17:19:00
140
原创 线上JVM 优化调试(1)
a虚拟机中,数据类型可以分为两类:基本类型和引用类型。基本类型的变量保存原始值,即:他代表的值就是数值本身;而引用类型的变量保存引用值。“引用值”代表了某个对象的引用,而不是对象本身,对象本身存放在这个引用值所表示的地址的位置。 基本类型包括:byte、short、int、long、char、float、double、Boolean、returnAddress 引用类型包括:类类型、接口类型、数组 2 堆和栈 堆和栈是程序运行的关键,很有必要把他们的关系说清楚。
2015-01-22 17:19:00
103
第七章:小朱笔记hadoop之源码分析-hdfs分析 DataNode 数据读写分析
因为RPC是一个命令式的接口,而DataNode的数据处理是一种流式机制。 DataXceiverServer和DataXceiver 就是这个机制的实现。其中,DataXceiver依赖于两个辅助:BlockSender和 BlockReceiver。 DataXceviverServer: 用于监听来自客户或其他DataNodes的请求。监听块传输连接请求,同时控制进行的块传输请求数(同一时刻的传输数不能超过maxXceiverCount)和带宽耗费情况(块传输时耗费带宽不能超过预定值
2013-06-16 22:17:19
95
第七章:小朱笔记hadoop之源码分析-hdfs分析 DataNode 数据读写分析
因为RPC是一个命令式的接口,而DataNode的数据处理是一种流式机制。 DataXceiverServer和DataXceiver 就是这个机制的实现。其中,DataXceiver依赖于两个辅助:BlockSender和 BlockReceiver。 DataXceviverServer: 用于监听来自客户或其他DataNodes的请求。监听块传输连接请求,同时控制进行的块传输请求数(同一时刻的传输数不能超过maxXceiverCount)和带宽耗费情况(块传输时耗费带宽不能超过预定值
2013-06-16 22:17:19
81
第七章:小朱笔记hadoop之源码分析-hdfs分析 DataBlockScanner 文件校验
的数据处理不慎而出现错误,所以HDFS提供了下面两种数据检验方式,以此来保证数据的完整性,而且这两种检验方式在DataNode节点上是同时工作的: (1)校验和 检测损坏数据的常用方法是在第一次进行系统时计算数据的校验和,在通道传输过程中,如果新生成的校验和不完全匹配原始的校验和,那么数据就会被认为是被损坏的。 (2)数据块检测程序(DataBlockScanner) 在DataNode节点上开启一个后台线程,来定期验证存储在它上所有块,这个是防止物理介质出现损减情况而造成的
2013-06-16 21:47:10
93
第七章:小朱笔记hadoop之源码分析-hdfs分析 DataBlockScanner 文件校验
的数据处理不慎而出现错误,所以HDFS提供了下面两种数据检验方式,以此来保证数据的完整性,而且这两种检验方式在DataNode节点上是同时工作的: (1)校验和 检测损坏数据的常用方法是在第一次进行系统时计算数据的校验和,在通道传输过程中,如果新生成的校验和不完全匹配原始的校验和,那么数据就会被认为是被损坏的。 (2)数据块检测程序(DataBlockScanner) 在DataNode节点上开启一个后台线程,来定期验证存储在它上所有块,这个是防止物理介质出现损减情况而造成的
2013-06-16 21:47:10
184
第七章:小朱笔记hadoop之源码分析-hdfs分析 Datanode 心跳分析
node发送心跳报告,内容是dfs的容量、剩余的空间和DataXceiverServer的数量等,调用processCommand方法处理namenode返回的命令 (b)通知namenode已经接收的块 (c)检查块报告间隔是否超时,如是向namenode发送块报告,调用processCommand方法处理namenode返回的命令 (d)如果没到下个发送心跳的时候,休眠 /** * Main loop for the DataNode. Runs until shut
2013-06-16 21:40:04
96
第七章:小朱笔记hadoop之源码分析-hdfs分析 Datanode 心跳分析
node发送心跳报告,内容是dfs的容量、剩余的空间和DataXceiverServer的数量等,调用processCommand方法处理namenode返回的命令 (b)通知namenode已经接收的块 (c)检查块报告间隔是否超时,如是向namenode发送块报告,调用processCommand方法处理namenode返回的命令 (d)如果没到下个发送心跳的时候,休眠 /** * Main loop for the DataNode. Runs until shut
2013-06-16 21:40:04
94
第七章:小朱笔记hadoop之源码分析-hdfs分析 Datanode 启动过程分析
--config $HADOOP_CONF_DIR start datanode $dataStartOpt (2)main()函数启动分析 主线程阻塞,让DataNode的任务循环执行,调用createDataNode方法创建datanode,等datanode线程结束 。 //主线程阻塞,让DataNode的任务循环执行 public static void secureMain(String [] args, SecureResources re
2013-06-16 21:34:11
68
第七章:小朱笔记hadoop之源码分析-hdfs分析 Datanode 启动过程分析
--config $HADOOP_CONF_DIR start datanode $dataStartOpt (2)main()函数启动分析 主线程阻塞,让DataNode的任务循环执行,调用createDataNode方法创建datanode,等datanode线程结束 。 //主线程阻塞,让DataNode的任务循环执行 public static void secureMain(String [] args, SecureResources re
2013-06-16 21:34:11
95
第七章:小朱笔记hadoop之源码分析-hdfs分析 第三节:hdfs实现分析
信网络了解清楚,那么对于Hadoop的整体框架理解会有很大帮助。 HDFS中有5种协议: DatanodeProtocol ( DataNode && NameNode)InterDatanodeProtocol ( DataNode && DataNode) ClientDatanodeProtocol (Client && DataNode) ClientProtocol (Client
2013-05-25 23:00:56
55
第七章:小朱笔记hadoop之源码分析-hdfs分析 第三节:hdfs实现分析
信网络了解清楚,那么对于Hadoop的整体框架理解会有很大帮助。 HDFS中有5种协议: DatanodeProtocol ( DataNode && NameNode)InterDatanodeProtocol ( DataNode && DataNode) ClientDatanodeProtocol (Client && DataNode) ClientProtocol (Client
2013-05-25 23:00:56
43
原创 第七章:小朱笔记hadoop之源码分析-hdfs分析 第三节:hdfs实现分析
meNode和若干个DataNode组成的。其中NameNode作为主服务器, 管理文件系统的命名空间和客户端对文件的访问操作;集群中的DataNode管理存储的数据。HDFS允许用户以文件的形式存储数据。从内部来看,文件被分成若干个数据块,而且这若干个数据块存放在一组DataNode上。NameNode执行文件系统的命名空间操作,比如打开、关闭、重命名文件或目录 等,它也负责数据块到具体DataNode的映射。DataNode负责处理文件系统客户端的文件读写请求,并在NameNode的统一调度下进行数据块
2013-05-23 10:26:32
75
原创 第七章:小朱笔记hadoop之源码分析-hdfs分析 第三节:hdfs实现分析
meNode和若干个DataNode组成的。其中NameNode作为主服务器, 管理文件系统的命名空间和客户端对文件的访问操作;集群中的DataNode管理存储的数据。HDFS允许用户以文件的形式存储数据。从内部来看,文件被分成若干个数据块,而且这若干个数据块存放在一组DataNode上。NameNode执行文件系统的命名空间操作,比如打开、关闭、重命名文件或目录 等,它也负责数据块到具体DataNode的映射。DataNode负责处理文件系统客户端的文件读写请求,并在NameNode的统一调度下进行数据块
2013-05-23 10:26:32
92
原创 第七章:小朱笔记hadoop之源码分析-hdfs分析 第五节:Datanode 分析
验 5.5 DataNode 数据块接受/发送 5.1 Datanode 启动过程分析(1)shell脚本启动DataNode start-dfs.sh "$bin"/hadoop-daemons.sh --config $HADOOP_CONF_DIR start datanode $dataStartOpt (2)main()函数启动分析 主线程阻塞,让DataNode的任务循环执行,调用create
2013-05-22 00:11:06
104
原创 第七章:小朱笔记hadoop之源码分析-hdfs分析 第五节:Datanode 分析
验 5.5 DataNode 数据块接受/发送 5.1 Datanode 启动过程分析(1)shell脚本启动DataNode start-dfs.sh "$bin"/hadoop-daemons.sh --config $HADOOP_CONF_DIR start datanode $dataStartOpt (2)main()函数启动分析 主线程阻塞,让DataNode的任务循环执行,调用create
2013-05-22 00:11:06
73
原创 第七章:小朱笔记hadoop之源码分析-hdfs分析 第六节:SecondaryNameNode分析
t恢复数据 6.1 架构分析 SecondaryNameNode(snn)不是NameNode(nn)的热备进程。snn是HDFS架构中的一个组成部分,但是经常由于名字而被人误解它真正的用途,其实它真正的用途,是用来保存namenode中对HDFS metadata的信息的备份,并减少namenode重启的时间。对于hadoop进程中 ,要配置好并正确的使用 snn,还是需要做一些工作的。 hadoop的默认配置中让snn进程默认运行在了na
2013-05-22 00:10:35
48
原创 第七章:小朱笔记hadoop之源码分析-hdfs分析 第六节:SecondaryNameNode分析
t恢复数据 6.1 架构分析 SecondaryNameNode(snn)不是NameNode(nn)的热备进程。snn是HDFS架构中的一个组成部分,但是经常由于名字而被人误解它真正的用途,其实它真正的用途,是用来保存namenode中对HDFS metadata的信息的备份,并减少namenode重启的时间。对于hadoop进程中 ,要配置好并正确的使用 snn,还是需要做一些工作的。 hadoop的默认配置中让snn进程默认运行在了na
2013-05-22 00:10:35
74
原创 第七章:小朱笔记hadoop之源码分析-hdfs分析 第四节:namenode-ReplicationMonitor
择冗余的target节点,等待DN节点下次心跳将这些工作带回给相应的DN执行块冗余操作。(2)将各个数据节点上无效的数据块副本加入无效集合,等待下次心跳将这些工作带回给相应的DataNode执行删除无效块操作。默认每3s执行一次,可以通过修改dfs.replication.interval来调整执行间隔(1)computeDatanodeWork 计算datanode需要处理的replication数量,主要包括当前超时挂起的replication,需要进行复制的replication,计 划处理的r
2013-05-21 10:06:21
57
原创 第七章:小朱笔记hadoop之源码分析-hdfs分析 第四节:namenode-ReplicationMonitor
择冗余的target节点,等待DN节点下次心跳将这些工作带回给相应的DN执行块冗余操作。(2)将各个数据节点上无效的数据块副本加入无效集合,等待下次心跳将这些工作带回给相应的DataNode执行删除无效块操作。默认每3s执行一次,可以通过修改dfs.replication.interval来调整执行间隔(1)computeDatanodeWork 计算datanode需要处理的replication数量,主要包括当前超时挂起的replication,需要进行复制的replication,计 划处理的r
2013-05-21 10:06:21
84
某大型企业OA ajax dwr jquery spring hibernate struts
2011-03-30
MVC jsp servlet 西安市《房产交易项目》源码(相当精美 很完整 容易部署 值得学习 收藏)
2009-07-15
我的智囊团 struts+spring+hibernate+Ajax 整合项目源码(容易部署 值得学习)
2009-07-13
Ajax ExtJS 经典完美的QQ聊天系统(源码 可部署 学习 教学 收藏)
2009-07-13
Oracle数据库 函数 大全 (精心整理的Oracle多个版本的函数 很全面 很值得 学习 收藏)
2009-07-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人