weixin_51194902的博客

1. TCP三次握手第一次握手：客户端TCP进程也先建立传输控制块TCB，然后向服务端发送连接请求报文段，此时SYN=1,随机选定一个初始序号seq=x,，此报文不能携带数据，但是要消耗掉一个序号，发送完毕后，客户端进入SYN-SENT（同步已发送）状态第二次握手：服务端收到客户端请求连接报文段后，若同意建立连接，则发送确认报文，确认报文中SYN=1、ACK=1,确认号ack=x+1,同时随机选定一个自己序号seq=y,确认报文段同样不能携带数据，但是也要消耗掉一个序号，发送完毕后服务端进入SYN-RC

注意：这篇文章需要有logistic回归基础，可以参考我的这一篇文章吴恩达机器学习：从单变量线性回归到Logistic回归1. 神经网络概念首先我们要了解神经网络的形式，之所以被叫做神经网络，是因为它的工作原理和人的大脑神经相似。这是一个房屋预测的案例，我们输入房屋的大小，卧室的个数，邮政编码，财富，经过神经元的一系列计算，得到预测值price（房屋的价格）1. 前向传播和反向传播1.1. 前向传播假设我们有个神经网络，有这样一个代价函数J(a,b,c)=3(a+bc)=3(5+3×2.

1. 决策树1.1. 决策树的定义决策树，顾名思义是用来做决策的，当我们决定一件事情要不要做的时候，会有很多条件。举个例子，我们决定明天要不要去打高尔夫，那么我们会考虑到明天的天气，温度等情况。这里的天气和温度就是特征，是否去打高尔夫就是类别标签。我简单画个图决策树的学习过程包括：特征选择、决策树生成、决策树剪枝。下面我将围绕这些过程讲解1.2. ID3算法这里要引入一些概念数据集的信息熵，信息熵反映了一个数据集的纯度，信息熵越大，样本纯度越低，不确定性越大。信息熵的计算公式条件熵，在

单变量线性回归，多变量线性回归，logistic回归，正则化，过拟合

数仓面试题

1. MySQL索引的底层数据结构是？为什么要设计索引？答：加快数据的查询效率设计索引的时候，使用什么数据结构，为什么？答：B+树问：为什么？哈希表也能存储，但是补充：扰动函数，让高位尽可能参与哈希值的运算，让数据更加散列二叉树和红黑树也能存储，但是缺点：深度太深，会频繁地在磁盘和内存间io，影响读取效率B树也可以存储，但是一个磁盘块的空间有限，data的存在会浪费空间，所以我们只用叶子节点来存数据，这样就构成了B+树。B+树：非叶子节点只负责搜索，这样存储的数

1. kafka架构1）Producer ：消息生产者，就是向 kafka broker 发消息的客户端；2）Consumer ：消息消费者，向 kafka broker 取消息的客户端；3）Consumer Group （CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。4）Broker ：一台 kafka 服务器就是一个 broke

1. 结构spark是标准的主从结构，在yarn模式下，是由resourceManager负责调度，当一个任务提交的时候，会开启一个Driver，Driver会分配资源，划分任务，再向rm申请节点，节点过来后，在节点中开辟Executor，执行每一块任务。DriverSpark 驱动器节点，用于执行 Spark 任务中的 main 方法，负责实际代码的执行工作。Driver 在 Spark 作业执行时主要负责：➢ 将用户程序转化为作业（job） ➢ 在 Executor 之间调度任务(task)

1. Flume是干什么的flume是分布式的日志收集系统，它将各个服务器中的数据收集起来并送到指定的地方去，简单来说flume就是收集日志的Flume是用来监控，收集日志的。2. Flume架构flume之所以这么神奇，是源于它自身的一个设计，这个设计就是agent，agent本身是一个Java进程，运行在日志收集节点—所谓日志收集节点就是服务器节点。agent里面包含3个核心的组件：source—->channel—–>sink,类似生产者、仓库、消费者的架构。source：是

1. HBase概念HBase是基于Hadoop的非关系型数据库特点a.可以对海量数据进行随机，实时的读写操作b.可以存储海量数据：数十亿行 X 数百万列c.数据存储比较稀疏d.数据类型比较单一e.速度快在数据量非常巨大的情况下，没有那么慢2. 数据存储形式表(table)存储数据的基本单位列族(columnFamily)具有类似含义的列的集合，列属于哪个列族由行决定列(column)某个列族下的一个具体列行键(rowkey)代表当前行的唯一标识，独立于表中的任何字段

1. 数据库和数据仓库的区别数据库：真正存储和管理数据的，对数据有直接的处置权关心的事情是 在线事务过程(OLTP)数据仓库：可以利用一个或多个数据库的数据，进行数据分析。关心的事情是 在线分析过程(OLAP)2. hive运行原理写sql语句，hive内部自动转成MapReduce程序执行。原数据在hdfs上，sql语句需要使用表。表是以目录形式存在hdfs的某个指定位置(warehouse)可以通过数据加载的形式，把hdfs或本地的原数据加载到表(目录)中表里的数据实际上是存

1. 什么是zookeeperzookeeper是一个独立的分布式框架zookeeper = 文件系统 + 监听同步机制2. zookeeper的文件系统zookeeper中存在一个小型的文件系统。作用：存大家都关心的数据存在形式：树形结构存在，每个节点都是一个znode默认只有一个根节点(zookeeper)随着数据的增加，会不断壮大数据的存在形式:在每个znode上以键值对的形式存在key:znode的名字 value:具体存储的内容3. zookeeper选举机制

1. yarn的角色分配resourceManager所有节点资源管理的领导者，全局只有一个。NodeManager每个DataNode节点都存在的管理当前节点的管理者ApplicationMaster对于写好的代码进行任务的划分container容器，是一个抽象的概念。对集群中所有节点的资源进行重新分配，按照任务所需划分资源。2. 理解container从上图可以发现，container正是实现了集群对比单个机器的优势，就算job执行的要求比每一个单个机器配置更高，conta

1. MapReduce介绍map:映射(键值对) 最小化数据单元，把每个单元以键值对的形式发送到下一个环节reduce:减少，合并。把map端送过来的最小化数据，按照key相同，value值做运算map阶段输出数据的形式：(key,value)---------------- shuffle机制 -----------------------------reduce阶段接收形式：(key,(value,value,value))注意：map读取数据是按行读取，key是偏移量，value是每一行

1. 可重入锁ReentrantLock翻译过来其实就是可重入锁，那么什么是可重入锁？简单来说，就是一把锁重复使用。以下就是一个可重入锁的机制，lock1.lock()已经获取到了lock1对象的锁，那么while里的lock1.lock()可以自动备货区，一把锁重复使用。这样的好处是什么？答：避免堵塞，提高效率，我们接下来解释一下为什么有这两个好处。避免堵塞：lock1.lock()获取lock1对象的锁，while1中的lock1.lock()也是尝试获取lock1对象的锁，但是lock

1. 文件块HDFS上的文件是分块存储的，默认每一块是128M，若一个文件是150M，那么它会被分成两个块存储，一个128M，一个22M。1.1. 为什么会有这样的规则呢？试想，当一个文件的大小为1T，计算机查找到它的时间是1s，但是读取它的世界可能就远远大于1s，这让文件的读取效率变得特别的低。为此，我们有一个规则：找到文件的时间 = 读取文件的时间*1%换言之，找到文件需要1s，读取文件需要100s，这个时间比例是比较合适的而目前磁盘的传输速率普遍是100M/s，经过计算，128M的块大

1. 后缀表达式求值后缀表达式也叫逆波兰表达式，其求值过程可以用到栈来辅助存储。假定待求值的后缀表达式为：6 5 2 3 + 8 * + 3 + *，则其求值过程如下：遍历表达式，遇到的数字首先放入栈中，此时栈如下所示：接着读到“+”，则弹出3和2，执行3+2，计算结果等于5，并将5压入到栈中。读到8，将其直接放入栈中。读到“”，弹出8和5，执行85，并将结果40压入栈中。而后过程类似，读到“+”，将40和5弹出，将40+5的结果45压入栈…以此类推。最后求的值288。2.

1. 对象信息的存储对象的信息实际上是存在与堆中的，而方法区中则是存类的信息。为什么非要8的整数倍？答：可以保证内存的利用率1.1. 对象头中MarkWord偏向锁：只有一个线程能用（专用）当对象使用过hashCode方法的时候不能产生偏向锁，直接产生轻量级锁。2. synchronized锁升级2.1. 偏向锁升级为轻量级锁当是单线程的时候，偏向锁只能由一个线程使用，而当再增加一个线程的时候，偏向锁会向轻量级锁升级2.2. 轻量级锁升级为重量级锁当自旋时间超时，就会变

1. 内存结构程序计数器虚拟机栈本地方法栈堆方法区1.1. 程序计数器1.1. 作用程序计数器的作用就是在指令执行的过程中，记住下一条指令的执行地址。二进制字节码前面的数字就恶意看作是内存地址当getstatic命令被解释器拿到的时候，程序计数器会记录下一条指令的地址，也就是astore_1的地址3，下一次解释器就是从程序计数器里拿到下一条指令的地址3，以此类推。程序计数器的物理上是由寄存器实现的，寄存器是cpu里读取速度最快的单元。1.2. 特点线程私有：每个线程都

HashMap面试题1. HashMap1.1. 哈希值、哈希表、哈希函数哈希值：通过一定的散列算法，把一个不固定长度的输入，转换为固定长度的输出，结果我们称之为哈希值（hash）。map中，hash就是一个int值。在JDK1.7之前，HashMap采用数组+链表的形式存储数据，查找的时候，先通过hashCode查找数组下标，要是数组下标的位置有链表，那就再遍历链表通过equals方法查找，要是hash冲突很严重（链表很长），这样是很耗时的。1.2. HashMap的长度问：Hash