weixin_43038102的博客

原创 面试官：netty的读事件循环停止的条件是什么？

面试官：netty的读事件循环停止的条件是什么？先看源码：NIOByteUnsafe:maxMessageHandler:四个条件判断：是否是自动读、是否有数据读【attemptedByteRead == lastBytesRead】、是否超过最大读取次数、第一次读取时是否读到了数据NIOSocketChannel：可能有人会疑惑RecvByteBufAllocator是干嘛的？是专门用来负责监控从TCP缓冲区往直接内存中读取数据的；LastBybeRead监控上次读取的数据的字节数

原创 Yarn 入门

一、Yarn工作机制二、Yarn工作机制

原创 MapReduce入门

一、概述用户再处理分布式计算任务时只需要：业务逻辑实现 写入 MapReduce 框架提供的API 【多线程+分布式】二、MapReduce 运行思想当处理一个“单一的”计算任务时，如果都要多线程加速，唯一的办法就是拆分数据，同步计算，合并结果。【因为计算任务时唯一且不可拆分的。】三、MR 计算程序在一次的MR任务中，Mapper对象是单例模式，而Map方法会重复调用很多次。Hadoop 内部的Test 类型 与String类型对比的好处就在于 可以很方便的修改对象的内容。.

原创 HDFS 入门（三） API

从window访问Hadoop 客户端，需要在windows 下安装hadoop 依赖。 下载地址：https://gitee.com/fulsun/winutils-1/tree/master下载依赖后解压到本地非中文目录下，并将此目录添加为系统变量%HADOOP_HOME%，此目录下的bin目录添加到PATH。运行winuitls完成自动安装...

原创 HDFS 入门（二） SHELL 命令------开发重点

使用 hadoop fs 和直接使用hdfs dfs 是一样的 且dfs中的很多命令同Linux 一致。一、上传# 1. 剪切hadoop hdfs -moveFromLocal <localsrc>... <dst># localsrc是Linux下的路径# dst是dfs中的路径# 2. 复制hadoop hdfs -copyFromLocal <localsrc>... <dst># 生产环境更多hadoop hdfs -p

原创 HDFS入门（一） 背景及组成介绍

原创 Hadoop 集群搭建

一、模板虚拟机配置1） 设置ip地址设置ip是保证ip地址与主机名保持一致，如：192.168.10.100 -> hadoop1002） 设置hostname修改 /etc/hostname 文件修改3） 设置hostname 与 ip 地址的映射映射的配置文件保存在 /etc/hosts 中，网络中的每一台机器都是独立保存这份配置文件的。4） yum 安装额外的rpm包：yum install -y epel-release (-y表示不需要对逐个包yes) 如果安装的是 最小

原创 创建JDBC Conncetion 的几种方式

public class DruidDemo { private static DataSource dataSource; static{// 创建数据库连接池 Properties properties = new Properties(); InputStream inputStream = DruidDemo.class.getClassLoader().getResourceAsStream("JDBC.properties");

原创 Centos7 设置静态IP地址

第一步，由于虚拟机与主机的连接是通过桥接的方式连接，所以第一步首先设置 本地VMnet虚拟网卡的网络配置我这里设置网段是 192.168.10.* ， 网关是192.168.10.2第二步，设置虚拟机系统的ip地址Centos7的网络服务参数在 /etc/sysconfig/network-scripts/ifcfg-ens33中vim打开，设置配置参数如下其中 需要设置的是：BOOTPROTO改完静态，ONBOOT 改为yes.添加 IPADDR、GATEWAY、NETMASK、DNS1

原创 Linux:小结

Linux:静态：设备管理：磁盘的分区、挂载文件系统管理：权限管理、增删改查用户管理：增删改、组的概念动态：进程管理：添加、kill、监控、查询RPM包管理：RPM、YUM

原创 Linux 添加新的磁盘、分并挂载

步骤一：添加新的磁盘首先在虚拟机设置中加入新的磁盘使用 ls -l /dev可以观察到新的磁盘 sdb步骤二：添加新的分区使用系统自带的fdisk程序 自动创建新的分区fdisk /dev/sdb输入n add a new partition输入w write table to disk and exit步骤三：格式化新的分区（安装新的文件系统）mkfs -t ext4 /dev/sdb1步骤四：挂载mount /dev/sdb1 /home/newdisk步骤五：自动挂载

原创 简单的AVL 实现

在上篇 排序二叉树实现的基础上，增加自动平衡功能。package TreeDemos;import java.util.ArrayList;public class BalancedTree<K extends Comparable<K>,V> {// 在排序二叉树的基础上实现自动平衡 public static class Node<K extends Comparable<K>, V> { public K key

原创 Java NIO 实现简单的聊天室

服务器端程序：package ChatterRoom.Server;import com.sun.org.apache.bcel.internal.generic.Select;import java.io.IOException;import java.net.InetSocketAddress;import java.nio.ByteBuffer;import java.nio.channels.*;import java.nio.charset.StandardCharsets;i

原创 简单的顺序二叉树，实现增删改查

简单的顺序二叉树，实现增删改查package TreeDemos;import java.util.*;public class TreeDemo<K extends Comparable<K>,V > {// 建立排序二叉树，并实现增删改查功能 // 孩子表示法 public static class Node<K extends Comparable<K>, V> { public K key;