基础入门
Matrix-yang
try again
展开
-
python项目生成环境配置文件requirements.txt
1.为什么需要requirements.txt但我们将打包好的python项目给别人使用时,由于python环境不一致,那么使用的人需要逐个检查import 导入的包,逐个安装。这样不方便,为了是他人使用方便我们可以在项目中导出自己使用的包requirements.txt requirements.txt常见的格式为:requests>=1.2.0 Flask==0.10.1别人使用时只需要执行pip install -r requirements.txt2.仅仅导出项目需要的包这原创 2021-09-06 20:46:43 · 1102 阅读 · 0 评论 -
linux服务器中shell启动python项目,包引入错误解决方案
需要在shell 环境中 PYTHONPATH 加入一个项目根目录变量BASE_PATH=/你的工程根目录export PYTHONPATH=$PYTHONPATH:$BASE_PATH/原创 2021-09-03 12:02:50 · 459 阅读 · 0 评论 -
docker指定使用某几张显卡/某几个GPU
查看本机显卡信息#查看显卡信息,红色框为卡编号nvidia-smi启动容器指定显卡#使用第3,4张卡--gpus='"device=3,4"'示例:docker run -ti --gpus='"device=3,4"' \-v /data/common_data/ASR:/workspace/data \--tmpfs /tmp \--entrypoint=/bin/bash \--net=host \--ipc=host \seannaren/deepspeech.pyt原创 2021-03-25 11:42:10 · 11539 阅读 · 0 评论 -
深度学习 Pycharm中使用docker服务器
1.必要条件1.Pycharm pro(专业版),pycharm CE(社区版没有这个功能)2. 安装好docekr服务的docker服务器(可以是远程服务器,可以是本地)3. docker 服务器上有准备好环境的容器2.服务器上开启docker远程服务# 修改docker服务的配置文件(文件名可能不一样,但是类似的只有一个文件)vim /lib/systemd/system/docker.service# 找到“ExecStart”,在该行后追加: ExecStart=/usr/bin/d原创 2020-09-27 17:29:28 · 1232 阅读 · 1 评论 -
ubuntu18.04下搭建docker深度学习环境
1.安装显卡驱动#卸载原先驱动sudo apt-get remove --purge nvidia*#查看当前显卡合适的驱动ubuntu-drivers devices#安裝驱动,注意改成你自己合适的驱动sudo apt-get install nvidia-driver-450-server# 重启reboot #查看显卡工作情况nvidia-smi 2.docekr安裝#docker安装curl -fsSL https://download.docker.com原创 2020-09-27 13:16:28 · 695 阅读 · 2 评论 -
window下使用docker构建jupyter数据开发环境
1.WIN下docker安装链接: docker官网下载.推荐搭建去官方网站现在exe安装包按住过程中一直点下一步,使用默认配置2.换国内源默认情况下docker使用的是国外的docker hub的地址,下载镜像时速度较慢。需要更换国内源地址。打开setting编辑源地址{ "registry-mirrors": [ "https://docker.mirrors.ustc.edu.cn" ], "insecure-registries": [], "debu原创 2020-09-21 16:41:35 · 774 阅读 · 0 评论 -
python多进程传值获取返回值极简教程
实现代码import multiprocessing as mpimport timeimport randomimport subprocessimport logginglogger = mp.log_to_stderr(logging.WARN)def popen_wrapper(i): logger.warn('echo "hi"') return idef log_result(retval): results.append(retval)if __原创 2020-06-24 10:17:00 · 565 阅读 · 0 评论 -
python中字符串转换成时间对象(官方表)
1 Python官方表2具体用法#python 原生import timetime.strptime('180401012358','%y%m%d%H%M%S')#输出time.struct_time(tm_year=2018, tm_mon=4, tm_mday=1, tm_hour=1, tm_min=23, tm_sec=58, tm_wday=6, tm_yday=91, tm_isdst=-1)#在pandas中import pandas as pdpd.to_dateti原创 2020-06-23 14:17:30 · 839 阅读 · 0 评论 -
线性模型
线性回归模型:f(x)=ωx+bf\left(x\right)=\omega x+bf(x)=ωx+b损失函数:loss=∑i=1N(y−f(x))2loss=\sum_{i=1}^N\left(y-f\left(x\right)\right)^2loss=i=1∑N(y−f(x))2训练方法1.最小二乘法对ω\omegaω函数求导∂loss∂w=∑i=1N2ωxi2+2bxi−...原创 2019-03-12 17:55:39 · 315 阅读 · 0 评论 -
Centos7设置静态ip
1.查看ip你需要记住你自己网卡的名字ip addr 2.编辑网卡的配置文件查看配置文件,找到ifcfg-你的网卡 的配置文件cd /etc/sysconfig/network-scripts/ls vi ifcfg-enp0s3修改划红线的部分,如果没有就自己加上去,其他部分不要动。TYPE=EthernetPROXY_METHOD=noneBROWSER...原创 2018-12-07 16:04:32 · 527 阅读 · 0 评论 -
Centos7挂载新硬盘
1.查看系统是否检测到新的硬盘设备ls /dev/ |grep sdlinux 中所有外设都会在这个目录下,对应一个文件,其中第一块硬盘是sda,第二块硬盘是sdb,第三块硬盘是sdc。其中sda1,表示该硬盘的第一个分区。fdisk -l 可以查看各个硬盘和分区的大小2.给新的硬盘分区#具体哪个硬盘,得看你新加的是哪个,一般第二个就是sdbfdisk /dev/sdb ...原创 2018-12-07 15:46:46 · 5156 阅读 · 0 评论 -
CentOS7配置http yum源
主要步骤:1)上传iso文件到一台用于提供内网yum服务的主机2)修改该主机的repo文件为本地源3)该主机安装apache服务:httpd4)复制iso内的全部文件到apache的安装目录供其他服务器下载5)在其他服务器上配置repo,配置为yum服务器的ip地址,更新yum缓存具体步骤:1)上传iso文件到一台用于提供内网yum服务的主机上传 CentOS-7-x86_64-D...原创 2018-12-12 16:17:47 · 1299 阅读 · 0 评论 -
蚂蚁金服-算法工程师-机器学习-面经
一面原创 2019-04-09 16:58:41 · 2865 阅读 · 1 评论 -
numpy使用经验
保存到文件np.savetxt("stat.txt", stat);新建数组stat=np.zeros((1747,1747),int)设置输出完整数组np.set_printoptions(threshold=np.inf)原创 2018-11-29 10:09:21 · 198 阅读 · 0 评论 -
KNN K近邻
模型相当于根据样本对特征空间进行了划分。基本思路求出某个样本与其他样本的距离,它的标签就是他最近的K个样本的标签距离度量欧氏距离曼哈顿距离lpl_plp距离https://blog.csdn.net/qq_21768483/article/details/83150449K值选择K值选的小1.变得复杂,容易过拟合(对特征空间划分的更细)2.对噪声敏感K值选的大1.模型...原创 2019-03-26 18:02:43 · 169 阅读 · 0 评论 -
线性回归的五个基本假设
回归分析的五个基本假设 最近读到一篇很棒的文章,介绍了回归分析的五个基本假设,假设失效的影响及检验方法,现总结归纳如下。为己乃梳理巩固,亦期能有助于各位。综述回归分析是一种统计学上分析数据的方法,目的在于了解两个或多个变量间是否相关、相关方向与强度,并建立数学模型。以便通过观察特定变量(自变量),来预测研究者感兴趣的变量(因变量)。总的...转载 2019-03-28 19:39:04 · 41047 阅读 · 1 评论 -
机器学习中评价方法
经验误差和泛化误差经验误差=训练误差泛化误差=正式使用的误差 ≈\approx≈测试误差过拟合:经验误差小,泛化误差大欠拟合:经验误差大错误率和精度精度:acc=1m∑i=1mI(f(xi)=yi))acc=\frac1m\sum_{i=1}^m\mathbb{I}(f(x_i)=y_i))acc=m1i=1∑mI(f(xi)=yi))错误率=1-精度查准率,查全率,...原创 2019-04-09 16:21:23 · 836 阅读 · 0 评论 -
样本划分办法
留出法即按照一定比例留出测试样本,一般来说测试集与训练集互斥交叉验证法k折交叉验证将样本划分为K等份,每次留一份作为测试,训练K个学习器,取测试结果的平均值k折K次在 k折交叉验证的基础上重复K次(每次都是随机划分)。相当于进行的k*k次训练和测试自助法通常用于样本规模较小时从样本中随机有放回取N个样本作为训练集,最后将从未取到过的样本做测试集。N趋于无穷时,训练集约占总样...原创 2019-04-09 16:30:33 · 3284 阅读 · 0 评论 -
tensorflow gpu 安装填坑记录
环境python 3.6windows10 64操作系统专业版1050TI显卡软件包准备CUDA包cuda_10.0.130_411.31_win10.exe(链接:https://pan.baidu.com/s/1perhy_z4QbwDQPgam01Z1A 提取码:f7ux自己去官方下载一定要注意版本,最新版本可能不适用)显卡驱动包417.71-desktop-w...原创 2019-04-20 00:16:47 · 214 阅读 · 0 评论 -
聚类性能度量指标
1.外部指标将聚类结果与某个“参考模型”进行比较称为外部指标。“参考模型”通常是值有专家经验推出的的模型,或者数据本身有标签。将样本两两配对,然后确定4个值:a为在参考模型中属于同一个类且在聚类结果中属于同一个簇的样本对的数量。b为在参考模型中属于同一个类且在聚类结果中不在同一个簇的样本对的数量。c为在参考模型中不在同一个类且在聚类结果中属于同一个簇的样本对的数量。d为在参考模型中不...原创 2019-05-06 20:52:30 · 2694 阅读 · 0 评论 -
隐马尔可夫模型讲解
马尔科夫简介马尔科夫三要素初始状态概率状态转移概率输出观测概率马尔科夫三个基本问题评估问题解码问题学习问题隐马尔科夫简单示例https://www.zhihu.com/question/20962240/answer/33438846...原创 2019-05-15 16:57:23 · 1029 阅读 · 0 评论 -
hibernate+JPA实现对数据库的增删改查
环境准备mysql+navicat for mysqljdk1.8maveninterij idea1.新建数据库1.1建库CREATE TABLE `student` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(100) DEFAULT NULL, `sex` int(11) DEFAULT NULL, `原创 2017-10-20 11:14:35 · 5176 阅读 · 0 评论 -
idea中log4j的使用
1 pom文件下添加依赖<dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>1.2.17</version></dependency>2 log4j.原创 2018-11-12 18:10:29 · 5594 阅读 · 0 评论 -
mysql全库导出与导入
利用mysqldump的—all-databases参数可以一口气把你数据库root用户下的所有数据库一口气导出到一个sql文件里。然后,重装系统后使用source命令可以再一口气倒回来。导出全部数据库mysqldump -h192.168.0.138 -uroot -p --all-databases > d:\sqlfile.sql此操作会把数据库服务器root用户下的所有数据库都导出来...转载 2018-06-11 09:45:00 · 4342 阅读 · 0 评论 -
python中的正则表达式(re模块)
python中的正则表达式(re模块)一、简介正则表达式本身是一种小型的、高度专业化的编程语言,而在python中,通过内嵌集成re模块,程序媛们可以直接调用来实现正则匹配。正则表达式模式被编译成一系列的字节码,然后由用C编写的匹配引擎执行。二、正则表达式中常用的字符含义1、普通字符和11个元字符:普通字符匹配自身abcabc.匹配任意除换行符"\n"外的字符(在DOTALL模式中也能匹配换行符a...原创 2018-05-11 11:23:59 · 144 阅读 · 0 评论 -
树莓派Raspbian安装mysql
前言我们仅仅是在树莓派3上搭建mysql服务,操作数据库都是通过程序或者cli工具或者远程操作数据库。安装MySql我们仅需要这一个包 sudo apt-get install mysql-server配置mysql可以远程连接 vi /etc/mysql/mariadb.conf.d/50-server.cnf 注释掉 bind-address = 12原创 2017-11-09 15:44:38 · 9934 阅读 · 1 评论 -
初探Raspbian
树莓派修改PI账号的密码开启root账号SSH 远程桌面原创 2017-11-09 14:57:55 · 388 阅读 · 0 评论 -
提交本地已有项目到GitHub
1.提交本地已有项目到GitHub你需要先进入项目根目录然后鼠标右键git bash here 以下是官方提供的命令git init git add README.mdgit commit -m "first commit"git remote add origin https://github.com/matrix-yang/foryou.gitgit原创 2017-11-01 10:55:08 · 271 阅读 · 0 评论 -
树莓派NOOBS安装
error error resizing existing fat partition fats don’t match’并非卡格式化错误,NOOBS_v2_4_4.zip 包的问题。请使用NOOBS_lite_v2_4.zip原创 2017-11-09 13:13:16 · 1729 阅读 · 0 评论 -
hibernate与JPA的关系
hibernate与JPA的关系(摘自hibernate官网) http://docs.jboss.org/hibernate/orm/5.2/userguide/html_single/Hibernate_User_Guide.html1. Architecture1.1. OverviewHibernate, as an ORM solution, effectively “sits betw原创 2017-10-20 09:52:18 · 428 阅读 · 0 评论 -
关于java反射机制的理解(转自知乎)
转自:https://www.zhihu.com/question/24304289作者:罗大然不写代码链接:https://www.zhihu.com/question/24304289/answer/38218810来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。反射之中包含了一个“反”的概念,所以要想解释反射就必须先从“正”开始解释,转载 2017-09-20 11:53:33 · 1511 阅读 · 0 评论 -
GIT常用手册(个人经验)
git的使用排除无用的文件和文件夹在.git的同级目录新建.gitignore文件,并在文件中写需要排除的文件和文件夹 下次提交时将会git将会忽略该文件删除远程仓库上提交的文件夹1.在工程目录下打开git bushgit rm –cached test.txt (删除文件) git rm -r –cached platforms 删除platfo...原创 2017-09-18 11:45:02 · 454 阅读 · 0 评论 -
机器学习 一 监督学习和无监督学习的区别
机器学习的常用方法,主要分为有监督学习(supervised learning)和无监督学习(unsupervised learning)。 监督学习,就是人们常说的分类,通过已有的训练样本(即已知数据以及其对应的输出)去训练得到一个最优模型(这个模型属于某个函数的集合,最优则表示在某个评价准则下是最佳的),再利用这个模型将所有的输入映射为相应的输出,对输出进行简单的判断从而实现分类的目的,也就具有转载 2017-09-27 10:28:05 · 416 阅读 · 0 评论 -
Maven常用操作
Maven常用操作1.生成 项目mvn archetype:generate -DgroupId={project-packaging} -DartifactId={project-name}-DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false2.生成idea的配置文件创建了maven项目工程以后,可以通过命原创 2017-09-14 20:30:35 · 291 阅读 · 0 评论 -
nginx 入门文档
Learn how to configure caching, load balancing, cloud deployments, and other critical NGINX features.Download the Complete NGINX Cookbookenglishрусскийnewsaboutdownloadsecurity转载 2017-10-25 10:57:20 · 737 阅读 · 0 评论 -
cordova app 安卓打包教程
注:打包环境基于jdk1.8+,nodejs6.10安装android-sdk(注:弹出的SDK manager继续安装,把包的选api服务勾选上) 下载cordova打包工具,npm命令为:npm install cordova -g 克隆已配置好cordova项目 (下面简称:打包工具),项目地址为:http://120.77.246.153:7990/projects/HZ/r...原创 2017-11-14 15:34:12 · 1093 阅读 · 0 评论 -
Jenkins 构建maven工程打成jar包并运行
- 0x00 前言 继续上午的坑爹部署后,打算将需要执行的jar包用Jenkins构建并运行。- 0x01 思路 1. 使用maven的maven-shade-plugin插件,把maven项目的各种依赖jar包统统打包,生成.jar文件。 2. 通过Jenkins持续集成构建项目。 3. 停止之前运行的jar包。 4. Jenkins构建后生成的jar包替换掉到我指定的文件夹中的旧的jar包。 ...转载 2018-05-03 12:10:01 · 4237 阅读 · 0 评论 -
Jenkins 中创建项目时没有Maven项目怎么办
如果在创建项目时候,没有“创建一个Maven 项目”的选项。 你需要安装Maven项目插件:Maven Integration plugin 。 点击“可选插件” 然后在右边的过滤输入框中输入搜索关键字: Maven Integration Plugin 或者 Pipeline Maven Integration Plugin ,搜索到了以后,点击直接安...转载 2018-05-03 12:04:55 · 5052 阅读 · 1 评论 -
Jenkins与Github集成 webhook配置
Jenkins与Github集成Jenkins目前是手动进行项目构建的,如何才能做到Github并持续集成呢?配置前要求:1.Jenkins已经安装Github插件2.Jenkins服务器已经拥有一个公网IP地址第一步:配置Jenkins全局尽管Jenkins已经配置与Github代码库进行通信,但我们需从Jenkins手动启动构建,如需启动自动构建,Jenkins需要在Hook URL中监听Gi...转载 2018-05-03 11:56:07 · 19161 阅读 · 5 评论 -
在centos7下安装Jenkins
Jenkins是一个用Java编写的开源自动化服务器。 Jenkins有助于自动化完成非人员部分的软件开发过程,不断整合和促进连续交付的技术方面。 它是一个基于服务器的系统,可在servlet容器(如Apache Tomcat)中运行。 它支持版本控制工具,包括CVS,Subversion,Git,Mercurial,RTC等,并且可以执行Apache Ant,Apache Maven和基于...原创 2018-05-02 16:50:29 · 159 阅读 · 0 评论