- 博客(104)
- 资源 (1)
- 收藏
- 关注
原创 java打jar包
一、什么是jar包JAR(Java ARchive,Java 存档)是一种与平台无关的文件格式,可将多个文件合成一个文件。JAR 文件格式以流行的 ZIP 文件格式为基础,JAR 文件与 ZIP 文件唯一的区别就是在 JAR 文件的内容中,包含了一个 META-INF/MANIFEST.MF 文件,这个文件是在生成 JAR 文件的时候自动创建的。里面包含了该Jar包的版本、创建人、类搜索路径Class-Path等信息,如果是可执行Jar包,会包含Main-Class属性,表明Main方法入口。jar包主
2020-11-06 19:46:01
1854
1
原创 Docker简介
一、 docker简介是什么:在软件开发过程当中,开发、测试、运维人员需要分别维护各自的环境,在代码相同操作系统相同的情况下,会出现在开发环境可以程序运行没问题,在测试环境或生产环境程序运行却存在问题。而docker是解决了运行环境和配置问题(带环境安装)软件容器,方便做持续集成并有助于整体发布的容器虚拟化技术。与VMware 虚拟机相比,Docker 使用容器承载应用程序,而不使用操作系统,所以它的开销很少,性能很高。但是,Docker 对应用程序的隔离不如虚拟机彻底,所以它并不能完全取代 VMwa
2020-11-05 18:45:13
199
1
原创 TensorFlow Serving + Docker + Tornado机器学习模型部署
训练模型使用Titanic数据集搭建模型,预测乘客在Titanic号撞击冰山沉没后能否生存数据的准备Preparing DataSurvived:0代表死亡,1代表存活【y标签】Pclass:乘客所持票类,有三种值(1,2,3) 【转换成onehot编码】Name:乘客姓名 【舍去】Sex:乘客性别 【转换成bool特征】Age:乘客年龄(有缺失) 【数值特征,添加“年龄是否缺失”作为辅助特征】SibSp:乘客兄弟姐妹/配偶的个数(整数值) 【数值特征】Parch:乘客父母/孩子的个数
2020-10-23 14:08:14
725
原创 激活函数activation总结
激活函数在深度学习中扮演着非常重要的角色,它给网络赋予了非线性,从而使得神经网络能够拟合任意复杂的函数。非线性激活函数可以使神经网络随意逼近复杂函数。没有激活函数带来的非线性,多层神经网络和单层无异。目前,深度学习中最流行的激活函数为 relu, 但也有些新推出的激活函数,例如 swish、GELU 据称效果优于relu激活函数。tf.keras.activations.sigmoid将实数压缩到0到1之间,一般只在二分类的最后输出层使用。主要缺陷为存在梯度消失问题,计算复杂度高,输出不以0为中心
2020-10-23 14:07:37
3165
原创 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
机器学习领域有个很重要的假设:IID独立同分布假设,就是假设训练数据和测试数据是满足相同分布的,这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。BatchNorm就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。Batch Normalization的提出是为了解决随着网络深度加深,训练起来越困难,收敛越来越慢的问题。为什么深度神经网络随着网络深度加深,训练起来越困难,收敛越来越慢?这是个在DL领域很接近本质的好问题。很多论文都是解决这个问题的,比如ReLU激活函数,
2020-10-23 14:07:19
1163
原创 GNN和GGNN学习笔记
GNN对于图上每个节点被编码为嵌入向量,因此,节点可能是一个图,可以通过cnn进行计算,可能是一个词、一个嵌入,它可以是自己希望的任何东西,这是图神经网络的输入。对于F,GNN处理可以看作节点的特征提取,F通过不同的边类型与E和D连接,D和F有自己的初始向量。从F的邻居开始,做一些类似计算消息的操作,实际上是获得另一个向量。合并得到的邻居消息结合F节点当前状态,将更新t时刻的F节点状态(拥有自身和邻居的信息)。具体一点,x代表邻居信息,是由当前节点的边类型为K的邻居信息合并而成。对于图神
2020-10-23 14:06:47
2683
4
原创 robot frameworkt自动化测试-介绍
介绍通用的测试自动化框架,用于验收测试和(ATDD)验收测试驱动开发(先写验收测试用例,再去开发)。它可用于测试分布式异构应用程序,其中验证需要涉及多种技术和接口。Modular模块化架构Test Data:数据驱动 关键字驱动Robot Frameworkt:基于python语言开发的,有自己一套语法规则的框架,本身提供功能有限Test Libraries:做一些扩展性功能,提供一个...
2020-04-09 16:50:09
465
原创 python三方包安装和虚拟环境
三方包# 三方模块就是别人写的代码# 安装方式:源码安装:自己动手去某个地方下载,然后安装到本地、包管理器安装:一个和几个命令安装# 包管理项目官方支持认可度高的:distutils(setup.py)、setuptools(合并distutils)(pip安装脚本)# 常见已经发布的三方包和模块的形式:源码、.egg、.whl# 包托管模块:https://pypi.python.or...
2020-04-06 09:57:26
597
原创 python包和模块
概念模块:将一组相关功能的代码写入一个单独的.py文件中,.py文件被称作是一个模块包:一个有层次的文件目录结构,定义了n个模块和子包,包含__init__.py文件的目录库:可以是一个模块也可以是一个包框架:通过框架可以快速实现一个解决问题的骨架,到时候按照框架的角色去填充,交互就可以完成一个质量好、维护性高的项目。例如文本框架(Flask、Django…)包和模块的作用封装一些轮子...
2020-04-06 09:52:36
288
原创 python异常处理
错误:没法通过其他代码进行处理的问题 语法错误、逻辑错误异常:多指程序在执行过程中,出现未知错误,语法和逻辑都是正确的,可以通过其他代码进行处理修复常见的系统异常# 1、除零异常# 1 / 0# 2、名称异常# print(name)# 3、类型异常# "1" + 2# 4、索引异常l = [1, 2]# l[3]# 键异常dic = {"name":"yl", ...
2020-04-05 20:40:56
153
原创 python面向对象-三大特性
封装使用起来更加方便:把很多相关的功能封装成一个整体保证数据安全:私有属性 只读 拦截写操作利于代码维护:功能代码需要维护,直接修改类内部的代码即可 只要保证接口名称不变,外界不需要做出任何代码修改继承一个类拥有另一个类资源使用权 不是资源的复制语法格式# 2、继承:一个类用户另一个类的资源方式之一,不是复制资源而是资源使用权,资源是指非私有的属性和方法# 单...
2020-04-05 20:16:33
191
原创 python面向对象-计算器
# 计算器,实现一些基本的操作,加减乘除以及打印结果操作class Caculate: __result = 0 # 操作类属性,通过类名Caculate或者用类方法传递类名 @classmethod def first_value(cls, v): cls.__result = v @classmethod def jia(cls, n...
2020-04-05 19:21:15
1640
原创 python-面向对象
对象概念万物皆对象对象是具体物体:拥有属性 拥有行为 把很多零散的东西,封装成为一个整体python是一门特别彻底的面向对象的语言OOP在解决问题的时候关注解决问题的所需要的对象(划分对象)面向对象在解决问题的时候关注解决问题的过程(步骤),把一个任务,分解成具体的一个步骤面向过程——>面向对象:列出任务具体现实步骤、试图分离这些步骤的功能代码块、将这些功能代码块划分到某个对象...
2020-04-05 19:19:05
188
原创 python文件操作
文件是数据存储容器,持久性的存储数据内容文件使用流程打开:open(“文件”,“模式”)读写:定位-读-写关闭:拔掉管道文件操作打开文件 读写文件 关闭文件(释放系统资源 立即清空缓冲区数据内容到磁盘文件)# 文件打开# 只读模式是默认模式# 文件的指针会放在文件的开头# r只读打开文件 文件的指针会放在文件开头 文件不存在会报错f = open("test.txt",...
2020-04-04 18:02:49
173
原创 python函数
函数概念写了一段代码,实现了某个小功能,然后把这些代码集中到一块,起一个名字,下一次就可以根据这个名字再次使用这个代码块方便代码的重用分解任务,简化程序逻辑使得代码更加模块化函数的基本使用def 函数名():函数体# 方便代码重用、分解任务简化程序逻辑、使代码更加模块化# 内建函数、三方函数、自定义函数# 简单使用def test(): print(2) ...
2020-04-04 17:27:45
423
原创 python编程基础-5
python常用数据类型操作字典字典数据类型,无序的可变的键值对的集合定义key不能被重复,必须是任意不可变类型,一个key对应一个索引值可变包括:列表、字典、可变集合不可变包括:数值、布尔、字符串、元组# 表述一个人的信息# 字符串str1 = "sz,18,180"infos = str1.split(",")print(infos)# 列表l = ["sz",...
2020-04-04 13:47:56
165
原创 python编程基础-3
python常用数据类型操作数值表现形式int :二进制0b 八进制0/0o 十进制 十六进制0xfloat:168.2/1.682e2complex:a+bj complex(a,b) ab都是浮点数python3的整型可以自动调整大小,当作long类型使用进制转换# 其他进制转换成二进制num = 111print(num)num = 0x111print(num)...
2020-04-02 11:24:41
196
原创 python基础编程-2
分支循环分支age = 16if age >= 18: # 冒号条件结束 print("你已经成年") print("你已经可以去上网")else: # 记得写冒号 print("未成年赶紧回家啊")score = input("请输入你的分数")score = int(score)if 90 <= score <= 100: ...
2020-04-01 10:45:18
170
原创 python基础编程-1
python注释注释作用:帮助我们自己理清楚代码逻辑与别人合作开发,添加注释,可以减少沟通成本开发模块的时候添加注释可以减少他人使用成本可以临时注释一段代码,方便调试,定位出错的代码行注释的分类:#是单行注释‘’‘xxx’’'是多行注释“”“xxx”""是多行注释python的中文乱码文本<—->存储器中计算机的存储器:一个比特是计算机最小存储单元,只存储0/1...
2020-04-01 10:04:14
684
原创 认识python
python职业发展前端开发:HTML5、iOS、Android后端开发:python、PHP、Java、Golang爬虫开发数据分析机器学习:算法和框架运维测试python工作内容1、web方向网站开发 豆瓣 知乎 Instagram Dropbox移动app的服务端开发小程序服务端开发游戏服务端开发2、爬虫方向搜索引擎本身就是一个大爬虫公司内部的数据支持部门网...
2020-04-01 08:26:38
113
原创 性能测试基础
不同角色关注的性能1、用户视角响应时间呈现时间:数据被客户端收到响应数据后呈现页面所消耗的时间 发去请求到所有页面数据展现出来 全部数据包达到客户端系统响应时间:应用系统从请求发出开始到客户端接收到数据所消耗的时间 第一个数据包达到客户端,小于呈现时间 更加具备代表性2、管理员的视角响应时间系统状态相关的信息3、开发的视角响应时间扩展性(超越硬件提供更大资源)性能瓶颈并发...
2020-03-30 09:27:50
127
原创 Linux
Linux概述Linux是具备现代一切功能完整的Unix系统所具备的全部特征,其中包括真正的多任务、虚拟内存、共享库、需求装载、共享的写时复制程序执行、优秀的内存管理以及TCP/IP网络支持等。Linux的基本思想有两点:第一:一切都是文件,系统中的所有都归结为一个文件包括命令、硬件、软件设备、操作系统、进程等等第二:每个软件都有确定的用途Linux是一款免费的操作系统,并可以任意修改其...
2020-03-29 19:00:36
225
原创 计算机网络
计算机网络的历史第一代:以单计算机为中心的联机系统,服务器与服务器之间没有通信的功能,只处理信息,跨服务器的用户之间没有交流第二代:计算机与计算机互联网络,主机即做数据处理,又做通信第三代:计算机网络进入标准化的发展1、ARPANET协议2、TCP/IP协议3、ISO(国际标准化组织)的OSI/RM(开放互连参考模型)规范第四代:国际化的互联网的诞生与发展,ARPANET(民网)改名...
2020-03-28 11:07:47
410
原创 计算机操作系统
计算机发展史a、从元器件分类:电子管、晶体管、集成电路、大规模集成电路、智能呢个、生物b、从体积划分:微型机、小型机、中型机、大型机、巨型机操作系统的定义操作系统是控制和管理计算机硬件和软件的资源,合理组织计算机工作流程以及方便用户使用计算机的大型系统文件操作系统发展(1)操作系统诞生——UNIX(2)DOS的产生与发展(单用户、单任务)(3)Windows的 产生与发展(4)苹...
2020-03-27 16:37:56
210
原创 计算机基础
计算机重要概念位:计算机表示信息的最小单位,表示一位二进制信息0,1,以b表示(bit)字节:以八位进制信息称为一个字节,是计算机处理信息的最小单位,以B表示(Byte)字:cpu在对内存进行操作的时候,通常将若干个二进制位作为一个整体存入或者取出,一组二进制数称为字 110011 101字长:一个字所包含的二进制数的位数,故一个字节的字长是8存储单位转换:1KB=1024B 1MB=...
2020-03-27 15:03:20
154
原创 计算机网络学习
计算机网络体系结构OSI七层体系结构TCP/IP 四层体系结构五层体系结构(综合了 OSI 和 TCP/IP 的优点,学习的一般都是OSI和TCP/IP进行折中后的五层体系结构)OSI七层模型物理层:实现相邻计算机节点之间比特流的透明传送,尽可能屏蔽掉具体传输介质和物理设备的差异。使其上面的数据链路层不必考虑网络的具体传输介质是什么。“透明传送比特流”表示经实际电路传送后的比特流...
2020-03-23 10:41:20
504
原创 动态规划理解
马尔科夫模型对于Ai+1,只需要考察前一个状态Ai即可,只要状态Ai确定,则计算Ai+1时不需要考察前面的的状态A1…Ai-1,在图论中,常称之为马尔科夫模型高阶马尔科夫模型对于Ai+1,需要考察前面i个状态集{A1…Ai-1Ai}才能完成整个推理过程,称之为高阶马尔科夫模型。在计算机算法中,高阶马尔科夫模型的推理叫做“动态规划”,马尔科夫模型的推理,对应“贪心法”。动态规划无论是动态...
2020-03-22 16:59:09
160
原创 Centos7下升级GCC、挂载文件Windows共享文件
升级GCC可以使用以下三条命令升级GCC,简单有效。sudo yum install centos-release-sclsudo yum install devtoolset-7-gcc*sudo scl enable devtoolset-7 bash挂载文件首先在windows桌面上新建共享文件夹,文件名随意,设置属性为共享,文件夹里面放上想与虚拟机共享的东西。打开自己的...
2020-03-19 17:33:55
120
原创 虚拟机下Centos7编译Linux内核
一、 环境版本:准备好VMware Workstation Pro 14和CentOS-7,首先在虚拟机中安装Centos7,配置好静态网络,通过ping测试,保证网络,后面要更新操作。我安装的是桌面版,一开始是选择的最小安装,后面使用的时候有问题,建议安装桌面版本,在输入命令行的时候可以粘贴复制比较方便。记得在安装的时候,选择手动分区,将/boot分区大小保证在2G以上,不然后面编译内核的时候...
2020-03-19 16:56:54
1992
1
原创 多项式回归与模型泛化
有时候,一次项表达式进行回归误差比较大。给定这样的数据集,以y = 0.5 * X^2 + X + 2加入噪声生成,其图像 用线性回归获取回归方程,并用预测结果对比实际情况,得到 红...
2020-02-18 16:13:42
305
原创 Sklearn 与 TensorFlow 机器学习实用指南——第一章课后习题
1、如何定义机器学习(1)机器学习通过编程让计算机从数据中进行学习的科学(和艺术)。(2)机器学习让计算机具有学习能力,无需进行明确编程。(3)计算机程序利用经验E学习任务T,性能是P,如果针对任务T的性能P随着经验E不断增长,则称为机器学习。2、机器学习可以解决的四类问题(1)需要进行大量手工调整或需要拥有长串规则才能解决的问题,机器学习算法通常可以简化代码、提高性能;(...
2020-02-18 16:13:18
439
原创 Sklearn 与 TensorFlow 机器学习实用指南——第四章课后习题
1.如果你有一个数百万特征的训练集,你应该选择哪种线性回归训练算法?如果拥有具有数百万特征的训练集,则可以使用随机梯度下降或小批量梯度下降 如果内存够,则也可以是批量梯度下降。 但是你不能使用the Normal Equation,因为计算复杂度随着特征数量的增长而快速增长(超过二次方)。2.假设你训练集中特征的数值尺度(scale)有着非常大的差异,哪种算法会受到影响?有多大的影响?...
2020-02-18 16:13:01
934
原创 实用算法课后总结-线性表
数据的存储结构/物理结构– 数据结构在计算机中的表示(或映像), 顺序映像:顺序存储结构 非顺序映像:链式存储结构 ,如,线性表有顺序表和链表两种物理存储方式– 它可以借助于具体某程序语言中的“数据类型” 来定义它。也可 采用typedef将类型名重命名,以增加代码的可读性 int Sqlist[100];顺序表数据存储结构的实现,描述了100个int型变量组成的集...
2020-02-18 16:09:52
223
原创 梯度下降总结
随机梯度下降法随机梯度下降算法在每一次计算之后便更新参数θ ,而不需要首先将所有的训练集求和,在梯度下降算法还没有完成一次迭代时,随机梯度下降算法便已经走出了很远。但是这样的算法存在的问题是,不是每一步都是朝着”正确”的方向迈出的。因此算法虽然会逐渐走向全局最小值的位置,但是可能无法站到那个最小值的那一点,而是在最小值点附近徘徊。 ...
2020-02-18 16:07:34
90
原创 人工智能AI-Introductin
目的:——熟悉AI项目开发的通用流程——掌握AI项目开发的基本技能——具备开展AI算法基础研究是基本能力机器学习项目的通用工作流程1、定义问题:软件架构设计、确定评价指标2、获取数据:自动化的方式3、研究数据:可视化方式、相关性研究等4、准备数据:数据清理、特征选择及处理5、研究模型:确定评估方法、列出可能的模型并训练,选择最有希望的3-5个模型6、微调模型...
2020-02-18 16:06:45
371
原创 油管最火十分钟机器学习数学课-量子计算
量子计算机是如何运作和促进人工智能的尼?先讨论理论知识,然后我们建立一个非常简单的算法。量子在物理中代表着相互作用中物理实体的最小单位,例如一个光子是光的最小单位。量子计算机是一种使用量子力学的计算机,它能比普通计算机更高效地执行某些特定的计算。目前一台普通的计算机是用一系列的0和1来存储信息的。不同类型的信息,比如数字、文本和图像都可能用这种方式来表示。0和1系列中的每个单位被称为比特(bi...
2020-02-18 16:06:17
348
原创 油管最火十分钟机器学习数学课-深度Q学习
考虑一下这个场景,你在玩一个游戏超级马里奥,不过你自己在玩,你要训练一个AI来替你玩游戏,你会怎么思考这个问题?如果你从一些顶尖玩家处截屏游戏片段,我们可以利用这些视频片段来作为模型输入,而输出可以是马里奥可以移动的方向。这就是一个有监督的分类问题,因为我们的训练数据集是有标注的,也就是移动的方向。假设我们拥有很多数据,而且拥有大量GPU,那么我们就可以训练一个神经网络。给定一个新的视频片段,就可...
2020-02-18 16:05:35
451
1
原创 油管最火十分钟机器学习数学课-隐狄利克雷模型
让我们来训练一个人工智能程序,来给我们提供的任意新闻文稿生成一组主题。我们可以把机器学习主题分为几类,有标签学习、无标签学习学习如何对持续数据进行操作的强化学习,但有更注重实际应用的分类方法,分别是判别的或者生成的。判别模型告诉我们一些数据是什么,它能够判别/区分/分类,例如这是什么电影、这类事物是什么等,生成模型,它们能够生成新的数据、图像、视频、音乐和文本。大多数机器学习的进展都在判别模型中,...
2020-02-18 16:04:58
409
原创 油管最火十分钟机器学习数学课-超参数优化
你应该选择什么样的超参数去训练你的模型?机器学习模型只是一个公式,由需要学习的参数组成的公式,但是同时也有一些参数是无法通过正常的训练过程来直接学习的。我们叫做超参数。超参数是在训练数据之前设立的模型值,这可以是随机森林,也可以是神经网络隐藏层的个数,或是逻辑回归的学习率 。我们能让这些参数自己学习得到最优值,是我们要解决的目标。支持向量机来分类推文sweets,给出包含正负的推文,来进行二元...
2020-02-18 16:04:16
211
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人