yespon-CSDN博客

原创推荐系统数据集大列表

作者：daicoolb编译：ronghuaiyang导读今天给大家介绍一个github仓库，收集了非常多的推荐系统的数据集，非常的全面，非常的实用，做推荐系统相关的同学可以收藏一下。这些数据集在可作为基准的推荐系统中非常流行。Douban：http://socialcomputing.asu.edu/datasets/Douban 这是一个匿名的豆瓣数据集，包含129,490...

2019-12-20 17:00:38 471 1

原创 linux下查看某一端口被哪个进程占用

方法1: lsof命令,即ls open fileslsof -i:端口号注：lsof默认没有安装，可yum install lsof 进行安装方法2: netstat命令netstat -tunpl | grep 端口号

2019-12-05 17:58:16 133

原创 supervisor 使用详解

简介supervisor是用Python开发的一个client/server服务，是Linux/Unix系统下的一个进程管理工具。可以很方便的监听、启动、停止、重启一个或多个进程。用supervisor管理的进程，当一个进程意外被杀死，supervisor监听到进程死后，会自动将它重启，很方便的做到进程自动恢复的功能，不再需要自己写shell脚本来控制。安装配置好yum源后，可以直接安...

2019-12-05 17:37:56 189

原创 Redhat/CentOS搭建代理服务器

有时候内网很多机器都不能上外网，只能开放几个特定ip访问外网，那么可以在这个可以上外网的机器上面搭建代理服务器，其他机器配置好代理就能上网了。不管是测试用途还是自己使用，squid都是一个很不错的代理工具。支持正向代理、反向代理、还有透明代理。本篇演示搭建了一个简单的squid的正向代理，同时支持认证，随便记记笔记。安装yum install squid -yyum insta...

2019-10-15 09:58:55 915

原创通过SSH远程使用jupyter notebook

Step-1: 在远程服务器上，启动jupyter notebooks服务：jupyter notebook --no-browser --port=8889Step-2: 在本地机器的Terminal中启动SSH：ssh -N -f -L localhost:8888:localhost:8889 remote_user@remote_host其中： -N 告诉SSH没有命令要被远程执...

2019-09-06 17:37:39 578

转载 Docker配置本地镜像与容器的存储位置

使用find命令找到大于指定大小的文件：find / -type f -size +10G1排除某个目录find / -path "/media/xww" -type f -size +10G1修改Docker本地镜像与容器的存储位置的方法方法一、软链接默认情况下Docker的存放位置为：/var/lib/docker可以通过下面命令查看具体位置：sudo docke...

2019-09-04 18:07:28 898

原创使用git命令将本地项目上传到Gitlab上

最近需要将一个老项目的框架改造升级, 为了不影响之前的代码, 就将老代码复制一份并修改完成, 现需要将代码上传到公司的Gitlab中, 操作步骤如下:1.首先需要安装本地需要安装git2.在gitlab上创建项目, 如下图, 点击右上角加号到项目创建页面, 填写项目名称, 选择项目访问权限, private为授权的组员才能访问.3.打开项目源代码所在文件夹, 将项目IDE配置信息删...

2019-09-04 18:06:14 878

原创 jupyter notebook 多环境conda kernel支持

一直记不住在jupyter notebook配置多环境编译器，记录于此，以便查阅，也希望能帮助到需要的朋友。1、我服务器使用的linux，terminal中激活conda环境；对于windows用户，win+R，输入cmd进去进入命令行，激活环境：2.首先，确定自己是否安装包‘ipykernel’，若是没有安装，则pip或conda进行安装；已安装则进行下一步。3.然后输入命...

2019-09-03 14:24:02 345

原创内网中为 pip 设置代理

使用场景正常网络情况下我们安装如果比较多的python包时，会选择使用pip install -r requirements.txt-i https://pypi.douban.com/simple --trusted-host=pypi.douban.com这种国内的镜像来加快下载速度。但是，当这台被限制上网时（公司安全考虑）就不能连外网了，如果懒得一个个下载，又懒得找运维开网络权限时...

2019-09-03 10:45:22 1846

原创基于bandersnatch搭建pip本地源

由于公司有需求需要搭建一个离线PIP本地源，在搭建的过程中发现，能找到的所有参考文档都不能配置成功，说明已经不再完全适用了，所以决定记录下来解决方法，省了大家和我一样折腾了好几个小时= =其实就是小改动，但是还挺容易浪费时间的。环境是centos 7.5 1804 / Python3.6参考文档：https://www.jianshu.com/p/799b3490ad6dhttps...

2019-09-02 15:32:05 594 1

转载内网环境中搭建pip镜像源

搭建背景公司内网环境，无法联网多台机器需要安装依赖开始搭建1.下载安装包pip2pi2.创建镜像源位置mkdir /data/pip3_source3.将需要的依赖包上传至上述目录下4.建立依赖包索引dir2pi /data/pip3_source此时会在/data/pip3_source目录下生成一个simple的目录5.配置nginx添加以下...

2019-09-02 09:47:59 1233

原创搭建Anaconda本地私服

在开发过程中，服务器往往都是无网环境，pip、conda安装库命令无法直接使用，一般有三种处理方法。1、从别的地方拷贝py环境到目标机器，易操作。但是经常要拷贝整个环境，不方便。2、从pip上下载安装包，然后本地安装，对于只有一个依赖包的库很方便，如果有多个或多级依赖包，就很麻烦，只有安装完一个才知道下一个需要什么。3、搭建anaconda本地库，即本文方法。一、安装py环境py...

2019-08-30 11:16:37 153

原创 python使用post方式发送json参数

在使用服务的接口时,遇到这样的规定:1、正向接口以’Content-Type: application/json’ 格式推送至服务平台2、所有正向接口的调用均以post方式提交，并且post中的参数均以json方式构成。import urllib2import jsondata = { 'a': 123, 'b': 456}headers = {'Co...

2019-08-29 14:34:54 1524

原创 flask实现简单的接收json返回json的接口

刚刚学习python想用python flask实现简单的接收json返回json的接口，微型的前后端分离接口，非常简单直接上代码。结合http://docs.jinkan.org/docs/flask/quickstart.html#a-minimal-application这个flask文档实现#!/usr/bin/python# -*- coding: utf-8 -*-...

2019-08-29 14:31:36 6247

原创离群点（孤立点、异常值）检测方法

异常点检测，有时也叫离群点检测，英文一般叫做Novelty Detection或者Outlier Detection,是比较常见的一类非监督学习算法，这里就对异常点检测算法做一个总结。离群点是什么？异常对象被称作离群点。异常检测也称偏差检测和例外挖掘。孤立点是一个明显偏离与其他数据点的对象,它就像是由一个完全不同的机制生成的数据点一样。离群点检测是数据挖掘中重要的一部分，它的任务是发...

2018-12-12 15:45:18 4867

翻译深度学习-图片卷积输出大小计算公式

输入图片经过卷积后所得特征图大小的计算公式：先定义几个参数输入图片大小 W×WFilter大小 F×F步长 Spadding的像素数 P于是我们可以得出N = (W − F + 2P )/S+1输出图片大小为 N×N如：输入图片的shape为[10,3,227,227]，对应输入图片大小为227x227输出num_output为96，对应通道数Filter大小（kernel_...

2018-12-12 12:19:47 7372

原创 1. Two Sum

Given an array of integers, return indices of the two numbers such that they add up to a specific target.You may assume that each input would have exactly one solution, and you may not use the same

2018-01-13 17:42:54 209

原创神经网络和深度学习——深层神经网络

深层神经网络矩阵的维度DNN结构示意图如图所示：对于第 l 层神经网络，单个样本其各个参数的矩阵维度为：W[l]:(n[l],n[l−1])W^{[l]}: (n^{[l]},n^{[l-1]})b[l]:(n[l],1)b^{[l]}: (n^{[l]},1)在运算过程中，使用python的“广播”将b[1]b^{[1]}复制为(n[l],m)(n^{[l

2018-01-12 17:23:38 402

原创神经网络和深度学习 —— 浅层神经网络

浅层神经网络神经网络表示一个浅层神经网络示意图：如图所示，表示一个单隐层的网络结构。这里主要需要注意的是，层与层之间参数矩阵的规格大小：输入层和隐藏层之间w[1]w^{[1]}->(4,3)：前面的4是隐层神经元的个数，后面的3是输入层神经元的个数；b[1]b^{[1]}->(4,1)：4表示和隐藏层的神经元个数相同，这个1在之前的视频【python/numpy

2018-01-11 23:13:27 1341