关注
分享
程序猿渣渣帅
技术、生活、观点、个人成长。 主要关注互联网电商广告业务、数据分析方法论、大数据分析平台建设；java web、分布式、大数据处理以及可视化等相关技术。
展开
-
Hadoop权威指南---MapReduce的工作机制
目录1、 剖析MapReduce作业运行机制 1.1、 作业的提交 1.2、 作业的初始化 1.3、 任务的分配 1.4 、任务的执行 1.5、 进度和状态的更新1.6、 作业的完成 2 、失败 2.1、 任务运行失败2.2、 application master运行失败2.3 、节点管理器运行失败 2.4 、资源管理器运行失败 ...原创 2018-09-25 20:27:53 · 696 阅读 · 0 评论 -
netty权威指南---编解码技术
目录1 Java序列化的缺点2 业界主流的编解码框架2.1 Google的Protobuf介绍2.2 Facebook的Thrift介绍2.3 JBoss Marshalling介绍 第6章 编解码技术1 Java序列化的缺点java序列化通过实现Serializable接口来实现 无法跨语言 序列化后的码流太大 序列化性能太低java序列化的两...原创 2018-09-03 13:47:16 · 251 阅读 · 0 评论 -
netty权威指南---分隔符和定长解码器
目录1 DelimiterBasedFrameDecoder应用开发1.1 DelimiterBasedFrameDecoder服务端开发1.3 运行DelimiterBasedFrameDecoder服务端和客户端2 FixedLengthFrameDecoder应用开发2.1 FixedLengthFrameDecoder服务端开发2.2 利用telnet命令行测...原创 2018-09-03 11:13:06 · 290 阅读 · 0 评论 -
netty权威指南---TCP粘包/拆包问题
目录1、TCP粘包/拆包1.1 TCP粘包/拆包问题说明1.2 TCP粘包/拆包发生的原因1.3 粘包问题的解决策略2 未考虑TCP粘包导致功能异常案例2.1 TimeServer的改造2.2 TimeClient的改造2.3 运行结果3 利用LineBasedFrameDecoder解决TCP粘包问题3.1 支持TCP粘包的TimeServer...原创 2018-09-03 10:47:51 · 210 阅读 · 0 评论 -
Hadoop权威指南---I／O操作
目录Hadoop的I／O操作 1、数据完整性 1.1、HDFS的数据完整性 1.2、 LocalFileSystem 和 ChecksumFileSystem 2、 压缩 CompressionCodec2.1、 codec：Hadoop中对常用压缩解压缩算法的实现2.2、 压缩和输入分片2.3、 在MapReduce中使用压缩3、 序列化 Writable...原创 2018-09-16 12:45:03 · 557 阅读 · 0 评论 -
Hadoop权威指南---YARN
目录YARN简介一、剖析YARN应用运行机制 1、资源请求---分配机制2、应用生命期---工作模式二、 YARN与MapReduce 1相比三、 YARN中的调度 （默认的是容量调度器）1、调度器的分类2、容量调度器配置 3、公平调度器配置 4、延迟调度 5、主导资源公平性 YARN简介一、剖析YARN应用运行机制 ...原创 2018-09-15 14:44:37 · 631 阅读 · 0 评论 -
Hadoop权威指南---map和reduce函数使用解析
目录1、数据准备2、 Java MapReduce 2.1、map函数的实现2.2、reduce函数的实现2.3、负责运行MapReduce的代码2.4、运行测试 3、旧的和新的Java MapReduce API几个明显的区别4、数据流和combiner函数 4.1 数据流 4.2 combiner函数 4.3 Hadoop Streaming...原创 2018-09-19 20:52:21 · 12671 阅读 · 0 评论 -
Hadoop权威指南---MapReduce的类型与格式
目录1、MapReduce的类型简介2、 输入格式 2.1、输入分片与记录 1）、FileInputFormat类2）、FileInputFormat类的输入路径3）、FileInputFormat类的输入分片4）、小文件和combineFileInputFormat5）、避免切分6）、mapper中的文件信息7）、把整个文件当成一条记录处理2.2、文本...原创 2018-09-23 12:01:24 · 290 阅读 · 0 评论 -
Hadoop权威指南.大数据的存储与分析.第4版目录
目录第Ⅰ部分 Hadoop基础知识第1章 初识Hadoop 31.1 数据！数据！ 31.2 数据的存储与分析 51.3 查询所有数据 61.4 不仅仅是批处理 71.5 相较于其他系统的优势 81.5.1 关系型数据库管理系统 81.5.2 网格计算 101.5.3 志愿计算 111.6 Apache Hadoop发展简史 121.7 本书包含的内容 16第2章 关于M...原创 2018-09-10 10:03:53 · 840 阅读 · 0 评论 -
Hadoop权威指南---Hadoop配置
目录1、 环境设置 1.1、内存堆大小1.2、系统日志文件2、 Hadoop守护进程的关键属性2.1、HDFS相关设置2.2、yarn相关设置2.3、yarn和MapReduce的内存设置2.4、yarn和MapReduce的CPU设置3、 Hadoop守护进程的地址和端口 4、 Hadoop的其他属性4.1、集群成员添加和移除4.2、缓冲区大小...原创 2018-09-16 22:19:14 · 353 阅读 · 0 评论 -
Hadoop权威指南---管理Hadoop
目录1、HDFS 1.1 永久性数据结构 1.1.1、namenode的目录结构1.1.2、文件系统镜像和编辑日志1.1.3、辅助namenode的目录结构1.1.4、DataNode的目录结构1.2 安全模式1.3 日志审计1.4 工具 1.4.1、dfsadmin1.4.2、文件系统检查工具fsck1.4.3、datanode块扫描器1.4...原创 2018-09-16 20:54:05 · 213 阅读 · 0 评论 -
Hadoop权威指南---MapReduce应用开发
目录1、打包作业 2、 启动作业 3、 MapReduce的Web界面 3.1、资源管理器界面3.2、MapReduce作业界面4、Hadoop日志 6、 远程调试 7、作业调优8、MapReduce的工作流 8.1、 将问题分解成MapReduce作业 8.2、 关于JobControl 8.3 、关于Apache Oozie 1、打包作业...原创 2018-09-21 01:05:04 · 353 阅读 · 0 评论 -
Hadoop权威指南---HDFS简介和java API操作
目录1、HDFS的设计2、 HDFS的概念 2.1 数据块 2.2 namenode和datanode 概述2.3 块缓存 2.4 联邦HDFS 2.5 HDFS的高可用性 3、 命令行接口4、 Hadoop文件系统分类5、Java接口API5.1、增：创建文件create和write、文件夹mkdirs5.2、删：删除文件夹和文件delete...原创 2018-09-16 17:03:05 · 936 阅读 · 0 评论 -
netty权威指南---NIO基础
目录1、传统的BIO编程1.1、同步阻塞式I/O创建的TimeServer源码分析1.2、同步阻塞式I/O创建的TimeClient源码分析2、 伪异步I/O编程2.1、伪异步式I/O创建的TimeServer源码分析2.2、客户端代码2.3、总结3、NIO编程3.1、NIO类库简介3.2 NIO服务端序列图3.3 NIO创建的TimeServer源码...原创 2018-09-02 20:34:05 · 439 阅读 · 0 评论 -
netty权威指南目录
目录第一版第二版第一版目录基础篇 走进Java NIO第1章 Java的I/O演进之路1.1 I/O基础入门1.1.1 Linux网络I/O模型简介1.1.2 I/O多路复用技术1.2 Java的I/O演进1.3 总结第2章 NIO入门2.1 传统的BIO编程2.1.1 BIO通信模型图2.1.2 同步阻塞式I/O创建的TimeServer源码分析2.1....原创 2018-09-02 11:23:25 · 458 阅读 · 0 评论 -
netty权威指南---1网络IO模型
jdk从1.4开始引入NIO，之前都是BIOLinux网络I/O模型简介2、I/O多路复用技术1、支持一个进程打开的socket描述符（FD）不受限制（仅仅受限于操作系统的最大文件句柄数）select最大的缺陷就是单个进程所打开的FD有限制，由FD_SETSIZE设置，默认1024；而epoll并没有这个限制，远大于1024，可以通过cat /proc/s...原创 2018-09-02 11:21:55 · 146 阅读 · 0 评论 -
java性能优化权威指南---即时编译器（Just-in-time,JIT）
目录1、JIT编译器概览2、调优入门：选择编译器类型（client、server或者两者同时使用）1）、优化启动2）、优化批处理3）、优化长时间运行的应用3、java和JIT编译器版本4、编译器中级调优1）、调优代码缓存2）、编译阈值3）、检测编译过程5、高级编译器调优1）、编译线程2）、内联（默认开启，-XX:+PrintInling）3）...原创 2018-08-19 22:48:45 · 1587 阅读 · 0 评论 -
java性能优化权威指南---java性能调优工具
目录 1、操作系统的工具和分析1）CPU使用率（vmstat） 2）磁盘使用率（iostat）3）、网络使用率（netstat）2、java监控工具jcm 命令demojinfo 实例demo 3、性能分析工具4、java任务控制（暂时跳过，后续再看）1、操作系统的工具和分析Unix上，sar（system accounting report） ...原创 2018-08-19 15:47:42 · 2002 阅读 · 0 评论 -
java性能优化权威指南---性能测试
目录一、性能测试的4项原则原则一、应该在产品实际使用的环境中进行性能测试原则二、理解批处理流逝时间、吞吐量和响应时间原则三、用统计方法应对性能的变化（没看明白？？？）原则四、尽早频繁测试二、性能测试的简单三分类 1、微基准测试2、宏基准测试（测试全应用） 3、介基准测试一、性能测试的4项原则原则一、应该在产品实际使用的环境中进行性能测试原则二、理解批...原创 2018-08-18 16:57:11 · 333 阅读 · 0 评论 -
java性能优化权威指南---简介
目录本书的主要内容第一章主要内容一、jvm调优的标志二、client和server类虚拟机三、全面的性能调优方法本书的主要内容基于JDK7的HotSpot JVM 第二章、测试java应用的通用方法以及java基准测试的陷阱、可视化的性能分析 第三章、监控java的一些工具 调优的主题：JIT编译（第四章）和垃圾收集（第五、六章） java平台个方面的最佳实践：...原创 2018-08-18 11:28:03 · 193 阅读 · 0 评论 -
java性能优化权威指南--垃圾收集器入门
目录1、垃圾收集器概述1）、分代垃圾收集器2）、GC算法3）、选择GC算法2、GC调优基础1）、调整堆大小2）、代空间的调整3）、永久代和元空间的调整4）、控制并发5）、自适应调整3、垃圾回收工具五、垃圾收集器入门page81-page102主流的四个垃圾收集器：Serial收集器（常用于单CPU环境）throughput（或者parall...原创 2018-08-21 00:06:31 · 412 阅读 · 0 评论 -
亿级流量网站架构核心技术---高可用设计原则
亿级流量网站架构核心技术---高可用设计原则目录一、负载均衡与反向代理二、隔离术1、线程隔离2、进程隔离3、集群隔离4、机房隔离5、读写隔离6、动静隔离7、爬虫隔离8、热点隔离9、资源隔离10、使用Hystrix实现隔离11、基于Servlet3实现请求隔离三、限流详解1、限流算法1）、令牌桶算法2）、漏桶算法3）、令牌桶...原创 2018-08-25 23:29:13 · 893 阅读 · 0 评论 -
亿级流量网站架构核心技术---设计的基本原则
目录1、高并发原则2、高可用原则3、业务设计原则高并发、高可用系统设计的基本原则1、高并发原则系统无状态，便于系统水平扩容；拆分和服务化系统模块；消息队列，解耦系统、异步、限流；数据异构；缓存，设计多级缓存，减少到达后端服务器的流量；并发处理业务逻辑，降低系统的响应时间；2、高可用原则服务降级，在面对高负载时，避免把系统压垮，把一些非核心模块进行服务降级，...原创 2018-08-25 12:07:45 · 301 阅读 · 0 评论 -
同步、异步、阻塞与非阻塞
目录1、同步与异步1.1 、概念描述1.2 、消息通知1.3、 场景比喻2 、阻塞与非阻塞2.1 、概念描述2.2、 场景比喻3、同步/异步与阻塞/非阻塞3.1、同步阻塞形式3.2、异步阻塞形式3.3、同步非阻塞形式3.4、异步非阻塞形式4、场景比喻1、同步与异步首先来解释同步和异步的概念，这两个概念与消息的通知机制有关。也就是同步与异步...原创 2018-09-03 18:41:58 · 229 阅读 · 1 评论 -
基于NOI的Reactor设计模式
目录一、reactor设计模式简介1、在Reactor模式中，有5个关键的参与者1）、描述符（handle）2）、同步事件分离器（demultiplexer）3）、事件处理器接口（event handler）4）、具体的事件处理器5）、Reactor 管理器（reactor）2、运行流程3、总结4、具体模型分类5、基于NIO 服务端创建Reactor设计...原创 2018-08-27 20:56:04 · 403 阅读 · 0 评论 -
Hadoop2.x HDFS源码剖析---概述
一、HDFS概述基于hadoop2.6HDFS被设计能够运行在通用硬件上、提供流式数据操作、能够处理超大文件的分布式文件系统。特点：高容错和高吞吐量、易扩展、高可靠性HDFS的四个核心模块：namenode节点、datanode节点、客户端、HDFS协议（RPC协议、流式接口协议:HTTP和TCP）基本概念1、数据块（block）数据块是HDFS文件处理（读和写）的最小单元，...原创 2018-08-28 23:49:59 · 6534 阅读 · 0 评论 -
读书笔记【effective java】---并发的8条建议
一、同步访问共享的可变数据同步可以满足互斥性和可见性当多个线程共享可变数据的时候，每个读或者写数据的线程都必须同步。否则会导致安全失败和活性失败如果只需要线程之间的交互通信，而不需要互斥，volatile修饰符就是一种可以接受的同步形式，它只满足可见性，使用的时候需要注意这一点。解决共享可变数据的多线程访问的最佳策略是：不共享可变的数据，也就是说将可变数据限制在单线程中。安全失...原创 2018-08-05 11:11:20 · 178 阅读 · 0 评论