cccccccaaaaaaaaa的博客

原创 22年建模经验交流

22年华为杯

转载 UDP与TCP的对比

1、报头（1）TCP协议报头TCP指传输控制协议，其报头格式如下：TCP协议中的六个标志分别是，URG、ACK、PSH、RST、SYN、FIN。1）UGR(紧急):UGR=1表示紧急指针字段有效。它告诉系统此报文段有紧急数据，应当尽快传送。从报文段的开头，到紧急指针指向的地方就是紧急数据。2）ACK(确认):ACK=1时，确认号字段才有效。3）PSH(推送):让对方立即收到响应。与URG的区别就是URG中的紧急数据不经过缓冲区就直接上交给上层逻辑，而PSH还是要从缓冲区上交，只是不用等到缓冲区满

原创 STP生成树协议以及链路聚合

比较优先级，相同在比较mac地址带的是反比是损耗！！！！！！！第一步确定根id——看桥id的优先级和mac接着根据三个段即100BASE-T这样的段两边来进行判断，首先根桥的所有端口都是指定端口，不会被阻塞；然后先用每个端两边的端口到根端口的损耗比较，直接看起其交换机连接的段与根桥的连接端口损耗最后确定非指定端口案例1：注意指定端口因为损耗相同，所以看brige id，其mac地址小的为指定端口...

原创 网络设备常见的部署模式

路由模式部署：每个接口不同的网段，所支持的网络功能最全面缺点：故障时候，会出现大面积断网换新路由时会断网网桥模式部署：没有路由选路功能，且功能不全添加是对客户网络改造影响很小，若故障，也可以很快恢复单地模式部署：旁路模式部署：将上网流量复制一份到镜像口，实现一些查看功能，实现的功能最少，不能限制流量。...

原创 访问网站全过程解析

1）DNS解析：外网输入www.sangfor.cn后，需要知道目的的IP地址，所以需要DNS来进行查找.PC发送一个请求后DNS会查表，首先NS（域名服务器记录）记录会记录这个网站应该用什么来解析，于是找到A记录，然后A记录（主机解析记录）返回的地址是一个深圳总部的网通地址，此时请求就会发到这儿的AD负载均衡（通过DNS地址来实现引流，是电信还是网通）解析，此时AD会根据DNS的地址发现为电信用户，所以返回电信的202.96.137.88,给外网PC端作为目的地址。此时数据包通过OSI各层进行打包源.

原创 NAT网络地址转换

私有地址空间允许使用，但仅限自己的局域网本地。不允许直接访问公网NAT就是将私有地址转换成合法的共有地址在路由器上定义一个池（区间），动态的调地址 ，数据包首先发出后，会在路由配一个ip，建立一个映射条目，能够到另外一个pC,而返回的时候，为56.101+202.101（配置的），返回路由器，路由器回去查，发现202.101是匹配的192.168，所以实现通信互通多对一：多个内网地址转换到同一个外网地址转换成公网ip时附上端口号（1-65535）...

原创 ACL访问控制列表

只能限制源地址，而不能限制目的地址。比如AB访问cd。只能限制A访问cd而不能限制A只访问c且针对所有协议进行禁，不能针对部分可以限制源和目的，且可以特定的协议设定端口ACL为in，则流量进这个端口则会受到ACL控制，而其他数据出来不会当一个数据流量进入路由端口，如果有ACL，则会首先查看源地址是否有匹配，若没有直接丢弃，若有则看ACL是限流还是通过出ACL时，先经过路由器路由，然后到达出端口若有ACL，则先看是否匹配条目，若无，则丢弃，若有，看是限流还是通过...

原创 Vlan和Trank

接入层：交换机：1）学习mac地址2）对于帧（mac地址+数据）查找mac地址表然后进行数据的转发3）环路的避免交换机原理：A首先发出来想给macD，但是mac表里没有，所以会泛洪，意思就是所有端口都发一遍，D则会响应，此时D就进行拆包操作并且因为是互相连通的，所以此时mac表就会记录macD的端口，从而使得以后AD联通，不会再泛洪。VLAN物理层上是hub，所有连接在一个冲突域中交换机：一台是一个逻辑子网（LAN）：一个端口一个冲突域，整个交换机是一个广播域，所有端口都在一个.

原创 路由器

一台路由器收到数据包后查看目的地址，然后选择最优路线

原创 TCP,IP，以及两个PC之间的传输过程

常见的协议：TCP：传输控制协议PS：IPv4 DHCP服务器：通过一系列内部下发一个IP网关IPv4 DNS:动态域名解析，将输入的域名通过DNS找到对应的ip，在进行输出seq：序列号，可靠传输和区分Ack：确认号，确认数据传输可靠图上红色是一个例子，目的是为了理解不同端口访问最后有个：2区分端口号：区分本地的不同服务seq（自己生成报文的序列数）：A随机生成报文SYN：初始化同步位B收到SYN知道是给自己确认的于是输出一个300的seq，并将A的seq+1，用a.

原创 计算机网络概念

1.网络的概念ip地址：hub：共享介质，共享冲突域交换机：端口独立都是独立的冲突域，不会出现端口与端口抢带宽，整个是一个广播域通过交换机连接所有电脑处在一个网段中路由器:；两个网络之间访问路由：去往某个目的地的一个路径网络需要可靠：广域网，城域网，局域网（园区网）OSI：一个框架（模型）上层结构：TCP/UPP网络层：将数据贴上ip地址，进行传输。关心的是网段之间的寻址和路由ip地址，路由器一个网络包含很多个局域网（网段），每个网段都有个统一的标识

原创 数据IO处理和神经网络基础逻辑图

原创 实战案例数字识别手写

相当于这个数据集就是用一个二维数组表示的，行为数量，列为数据特征值数量或者目标值数量流程思路首先要定义权重和偏置构建模型然后在用softmax+平均建立损失函数计算准确率：import tensorflow as tfimport tensorflow.compat.v1 as tftf.disable_v2_behavior()from tensorflow.examples.tutorials.mnist import input_data#1)获取数据mnist...

原创 读取二进制文件cifar10实战

1.cifar10数据集：数据 - 一个10000x3072 uint8的numpy数组。阵列的每一行存储32x32彩色图像即每一行存储32323=3072个数字信息。前1024个条目包含红色通道值，下一个1024个绿色，最后1024个蓝色。图像以行优先顺序存储，以便数组的前32个条目是图像第一行的红色通道值。2.流程及实战...

原创 狗图片的读取案例

1.图像的基本知识图片的三要素1 图片三要素黑白图、灰度图一个通道黑[0, 255]白彩色图三个通道一个像素点 三个通道值构成R [0, 255]G [0, 255]B [0, 255]Tensor对象指令名称、形状、类型shape = [height, width, channel]2.图片特征处理1）数据量大：一个彩色图片：3274993就有这么多特征2）样本不同：无法进行批量计算所以要缩放图片到统一大小3.数据格式处理4.狗图片读取案例1）构造文件名队

原创 数据的IO（输入/输出）操作

数据的IO三种操作：数据IO操作三种占位符 & feed_dict搭配使用QueueRunner通用文件读取流程图片二进制数据TFRecords1.文件读取流程 1）构造文件名队列 file_queue = tf.train.string_input_producer(string_tensor,shuffle=True) 2）读取与解码 文本： 读取：tf.TextLineRead

原创 TensorFlow模型的保存加载

代码：线性回归代码添加import tensorflow.compat.v1 as tftf.disable_v2_behavior()#0）数据准备X = tf.random_normal(shape = [100,1])y_true = tf.matmul(X,[[0.8]])+0.7#【【0.8】】意思就是一行一列#1）构建模型#引入变量weights和baisweights= tf.Variable(initial_value=tf.random_normal(shape=..

原创 tensorflow框架

原创 案例线性回归

流程分析：1）数据准备准备了100个样本x 特征值（100,1）y_true 目标值（100,1）回归方程：y = wx + b所以w为（1,1），b为（1,1）假设最终真实线性为y_true = 0.8x + 0.72)线性回归数据处理步骤y _pridict =x*weights(1,1) + bias(1,1)1.构建模型#定义变量y_pridct =tf.matmul(x,weights)+bais2.构建损失函数error = tf.reduce_mean(tf.s

原创 tensorflow变量

Variable就是一个创建变量的op代码：import tensorflow.compat.v1 as tftf.disable_v2_behavior()def variable_demo(): """ 变量的演示 :return: """ # 创建变量 a = tf.Variable(initial_value=50) b = tf.Variable(initial_value=40) c = tf.add(a, b) .

原创 张量

代码：import tensorflow.compat.v1 as tftf.disable_v2_behavior()tensor1 = tf.constant(4.0)tensor2 = tf.constant([1, 2, 3, 4])linear_squares = tf.constant([[4], [9], [16], [25]], dtype=tf.int32)print("tensor1:\n", tensor1)print("tensor2:\n", tensor2)..

原创 TensorFlow会话

2.3 会话 2.3.1 会话 tf.Session：用于完整的程序当中 tf.InteractiveSession：用于交互式上下文中的TensorFlow ，例如shell 1）会话掌握资源，用完要回收 - 上下文管理器--即with 2）初始化会话对象时的参数 graph=None（运行默认图） target：如果将此参数留空（默认设置）， 会话将仅使用本地计

原创 TensorFlow图,可视化,op操作对象

1.图，graph2.2 图与TensorBoard 2.2.1 什么是图结构 图结构： 数据（Tensor） + 操作（Operation） 2.2.2 图相关操作 1 默认图 查看默认图的方法 1）调用方法 用tf.get_default_graph() 2）查看属性

原创 attention机制和模型压缩，知识蒸馏

作用在特征图晚上的例子（上面为res正常，下面为加权计算特征）通道数据加权模型压缩缺点：位数下架如32-8位，则精度会下降3-5%

原创 多分支网络，度量问题，余弦距离

多分支：图像检索。人脸辨识同类距离设计变小，不同类变大难例：人脸解锁度量问题：相似度余弦距离：基于余弦距离的网络：

原创 轻量卷积神经网络

1*1来进行减少计算量不同尺寸的来提取特征量深度压缩技术，会减少模型大小

原创 常见卷积神经结构

图片——卷积，池化——全连接（变成概率值）——softmax（分布到（0.1） ）relu————放在卷积后面dropout防止过拟合——FC层之后1*1减少计算量，加大宽度（channel）

原创 深度学习BatchNorm层，全连接层，Dropout层，损失层

先均值方差，然后规范化，计算尺度偏移量全连接层将数据转换为向量，然后进行分类操作如下图所示，相当于就是把数据通过线性变化转化为向量，其过程和卷积相似，因此卷积也可以代替Fc全连接层Dropout其中公式第一部分为经验风险，也就是传统梯度下降达到最小，其中f（）为模型，yi为名称（其实就是逻辑回归中损失函数的表达式）第二部分是结构风险，也就是正则化，郎门达为惩罚项系数（正...

原创 深度学习之池化与激活函数

保留图像最显著的特征，不会影响，且可以减少参数（利用了图像数据的联系）池化层无参数，相当于一种算法由于卷积层（如F=64）输出的通道数会增加，为了数据变小，所以加个池化层降低数据，但是通道数和池化层一样API激活函数前四个是激活函数特点最后一个前三用的最多和线性回归时知识相同会出现几个如图缺点。很少用于卷积神经中心层同样在卷积神经中用得少用的最多,前三为优点，...

原创 深度学习之卷积

CNN（图像，语音）RNN（序列：语音文本）卷积神经网卷积滤波矩阵：卷积核滤波器：卷积（对图像进行降噪——均值滤波器）（边缘提取：对两个点进行差分求梯度）实例：针对图片局部进行卷积卷积核重要参数：卷积一般表达：Y = wT（转置）*x + bw为权重（回归系数）b为偏置用单数的卷积原因：单数层存在中心点，可以保留位置信息，且padding填充时候可以更好1...

原创 深度学习基础知识笔记

参数通过反向传播（BP）求解超参数是对网络结构设计而参数是反向传播自动生成的最优解是与网络结构并列的其实用的就是一个线性回归，损失函数和梯度下降对比数学回忆多位函数，分别对xyz求偏导，沿着导数方向进行调节最快梯度下降合适的步长很重要对比之前知识初始步长可以最大，0.01（收敛快）过1w次后再变为0.001局部最优解：非凸——加入扰动因子CD其实是最...

原创 深度学习的认识

人工神经网络

原创 kaggle实战之泰坦尼克demo

运用了决策树相关知识注意这里转换成字典的原因:因为特征中有分类预估器参数entropy选择为信息增益结果：y_predict: [0 0 0 0 1 1 1 0 0 1 0 1 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 1 1 0 1 0 1 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0 1 0 1 0 0 0 0 0 1 0 0 0 0 0 ...

原创 kaggle实战之facebook位置

1）数据处理部分data.query缩小数据范围，以便进行学习time_value = pd.to_datetime(data[“time”],unit=‘s’)date = pd.DatetimeIndex(time_value)改善时间轴的组合办法，然后按照列表的形式直接传入data中产生有用的特征值布尔索引：能够判断索引值在条件下是否TorF（在外再用数据进行索引则会去掉F部...

原创 总结，连续性算法的思维导图

原创 机器学习之无监督学习K—means，性能评估

K分成几类聚类思想：首先确定K个中心，然后根据其他每个点到中心的距离分堆，分好后再这个这个堆里再进行中心点寻找，若和之前中心不重合，则重新计算距离，重新分堆，直到最后重合为止第一个参数K值之前PCA降维案例后续：聚类效果评估高内聚，低耦合轮廓系数：bi外部距离，ai内部距离应用场景：无目标值先聚类，在分类...

原创 机器学习之模型的保存和加载

保存模型后，就不用再次赋值模型，如下图：

原创 ROC曲线，AUC指标

作用：评判模型到底怎么样TPR：召回率auc指标：蓝色曲线面积当TPR大于FPR则向上倾斜如图若在红线以下，则AUC等于1-面积：反向预测np.where三元判断对比一个例子：总共有100个人，如果99个样本癌症，1个样本非癌症 - 样本不均衡 不管怎样我全都预测正例(默认癌症为正例) - 不负责任的模型 准确率：99% ...

原创 机器学习之精确率、召回率、F1-score

精确率：预测结果中和真实结果相同的概率真实/预测（所有）召回率：真实结果 中的数量和预测结果数量相同的概率预测/真实（所有）F1越高，模型越稳健...

原创 逻辑回归案例乳腺癌

第一行无字段，需要加上names参数（再打开文件时候）data.head（）是只显示前5行注意，网上下载的数据都需要自己去划分数据的特征和目标