- 博客(83)
- 收藏
- 关注
原创 faiss的简单使用
全称(Facebook AI Similarity Search)是Facebook AI团队开源的针对聚类和相似性搜索库,为稠密向量提供高效相似度搜索和聚类,支持十亿级别向量的搜索,是目前较成熟的近似近邻搜索库。它包含多种搜索任意大小向量集(备注:向量集大小由RAM内存决定)的算法,以及用于算法评估和参数调整的支持代码。Faiss用C++编写,并提供与Numpy完美衔接的Python接口。除此以外,对一些核心算法提供了GPU实现。
2023-03-10 14:28:07
3078
1
原创 算法题模板
class UF(): def __init__(self, n): self.count = n self._parent = [0] * n self._weight = [0] * n for i in range(n): self._parent[i] = i self._weight[i] = 1 def connect(self, p, q): r.
2022-01-26 15:14:39
443
原创 k8s flask
使用flask开发一个简单的应用,k8s进行部署这个应用。在这里只提供一个简单的框架结构。整个项目的目录结构/Dockerfile/k8s /k8s/k8s_flask.server.yml /k8s/k8s_flask.yml/src /src/app.py /src/requirements.txt...
2021-05-27 22:30:30
821
原创 docker k8s python flask 部署
用python创建一个应用程序,使用docker构建镜像,使用k8s管理运行这个程序。docker build -t k8s_python_code .docker tag k8s_python_code:latest 172.27.233.13:35000/k8s_python_code:1.6docker push 172.27.233.13:35000/k8s_python_code:1.6...
2021-05-26 21:50:07
1411
1
原创 推荐之召回策略
召回策略-item的协同过滤给用户推荐他之前喜欢的物品的相似物品1)计算物品的相似度:喜欢两个物品的用户重合度越高,那么两个物品就越相似2)用户对item_j对推荐分数N(u) : user行为过的item 的总数rui : user对物品i的行为得分(比如电影评分系统中用户对电影的评分-->归一化0~1间的一个值)Sij : 物品 i 和 j 的相似得分item i 是用户行为过的物品且是与item j 最相似的top k个 item (一般实战中选取50个).
2021-03-26 19:41:35
424
原创 keras实现文本分类
数据来源自kaggle的一个比赛:data 本文从简单的文本处理模型到深度学习的LSTM模型,逐步的进行讲解。将数据下载下来后,进行数据的导入和预览。data = pd.read_csv('data/train.csv')data = data.loc[:1000, :]data['target'].value_counts()data['len'] = data['questi...
2019-06-14 17:12:40
2429
2
原创 jupyter安装详细过程
上班以后时间就不会那么充足了,最近申请了公司的一个服务器,打算挤出点时间继续我的学习之旅。用公司服务器安装jupyter就遇到了问题,所以在这里记录一下,省得以后坑。1.下载安装anaconda. 到官方网站下载linux版本的.sh。上传到服务器中,这里推荐使用Transmit这款软件,图形界面操作。bash Anaconda3-5.2.0-Linux-x86_6...
2019-04-05 10:35:46
1773
原创 GridSearchCV 与 RandomizedSearchCV 调参
好久没写博客了,原因是最近比较忙,一下报了两个比赛,今天终于最后一个比赛的初赛都结束了,抽点小空赶紧总结一下,先汇报下成绩吧。IJCAI2018 阿里妈妈广告算法大赛,初赛第六。FASHIONAI属性识别大赛初赛25 。复赛加油,争取取得更好的成绩。 昨天和前天都加班调参了,但是由于是新手,所以遇到很多困难,刚好看到一片博客,关于调参的,所以这里我就引过来,以备后面查阅和使用的方便,如果有...
2018-04-23 16:13:32
36785
9
原创 IJCAI18 阿里妈妈广告
比赛的说明,还有比赛的链接IJCAI18 详细代码:github 这里,我们先进行一些数据分析,这里先说下我的设备,CPU内存128G,GPU GTX1080Ti 11G,但是只是工作站,所以图形显示就有点尴尬了。round1_ijcai_18_train_20180301 :478138 日期:2018-09-18~2018-09-24round1_ijcai_18_test...
2018-03-16 23:00:18
1285
1
原创 数据挖掘的一些统计代码小结
打比赛一点点的总结经验,看人家代码学习方法,这篇是看o2o的一些统计代码的小结,方便以后打比赛的时候查找代码。最近报名了IJCAI-2018的比赛,关于广告算法。从这里开始先找经验吧,这算是一个真正的打比赛了,希望能取得好成绩。off_train = pd.read_csv('data/ccf_offline_stage1_train.csv', header=None)off_tr...
2018-03-09 17:51:25
1761
1
原创 天池-盐城上牌
上次血糖的比赛没有能够进入复赛,有点小遗憾吧,但是毕竟是第一次打比赛,完全萌新,也没什么了,最后146名,继续加油吧,所以报了这个比赛。今天得知将收到天池的订制U盘。很高兴,哈哈,那就开始新的赛程吧。毕竟经验需要一点点的积累,这个又是一个新问题,和时间有关的。反正以我现在经验,遇到的都是新问题。比赛的数据和说明网址 数据EDA,这是第一步:# coding:UTF-8import pan...
2018-02-05 18:29:12
767
2
原创 特征工程
最近做比赛的一波操作,几乎没有显著效果,虽然在这个比赛没有效果,但是其他比赛可能用的上。先记录一下最近做的特征工程吧。这个可以接着血糖那篇博客。打开血糖预测博客。1.移除特征中的异常值# 移除异常值 exclude_unique = [] for c in data.columns: num_uniques = len(data[c].uniqu...
2018-01-27 22:36:28
1074
原创 sklearn的数据预处理
数据预处理概要sklearn是一个比较常用的机器学习库,其中的sklearn.preprocessing包含了常用的预处理函数,一般在kaggle等数据竞赛网站拿到数据的时候,首先要观察数据特征,分布等信息,然后进行数据预处理。数据预处理有利于计算机进行计算。原始数据存在的问题: 1. 存在缺失值 2. 存在异常点及噪声 3. 各个特征的取值范围比例不一 4
2018-01-23 00:56:42
631
原创 血糖预测回归问题
这篇博客是接上文的,现在就开始做特征工程了,上面都是做的一些模型的融合,cv的验证,既然已经有了这些基础,那么必须要做最重要的部分了,特征工程十分重要,可以说是比赛的最关键步骤。赛题的链接:点击打开链接1.引入相关的库,并读入数据。# coding:utf-8import pandas as pdimport numpy as npimport matplotlib.pyplot as pl
2018-01-16 12:40:37
4445
4
原创 kaggle竞赛的小结基于--House Prices: Advanced Regression Techniques(回归类问题)
前天报名了天池的天池精准医疗大赛——人工智能辅助糖尿病遗传风险预测的比赛,今天的提交排名是180多名,但是总排名300+,还没有进行数据工程的工作,所以去kaggle找了这个有相似度的题。下面将我这两天看的一些特征工程方面的代码贴在下面,数据的预处理可以按照这个步骤,其中kaggle的链接kaggle的处理参考#!/usr/bin/python#coding:utf-8import p
2018-01-08 15:51:15
4463
原创 Tensorflow实现Faster RCNN
今天一天将tensorflow下的faster rcnn实现了,运行demo.py并得到成果,从安装到运行。所以记录一下,我用的GPU工作站,GTX1080ti,内存11G。基础的CUDA配置这里就不详述了。由于是实验室的GPU,所以,在自己的目录下用Anaconda2创建自己的环境,其中Anaconda的配置详见上一篇文档。 其中tensorflow-gpu的版本1.3.0 其中git
2017-12-28 21:37:44
36275
26
原创 Ubuntu16.04下同时安装Anaconda2与Anaconda3
由于编程时同时需要有python2/3的环境和大量的依赖包,本文的思路是先根据Ubuntu预装的python2.7来安装Anaconda2,然后将Anaconda3作为其环境安装在envs文件夹下。 需要注意的是,鉴于在线安装Anaconda3实在太慢了,本文使用的是离线安装方法。安装过程1.安装Anaconda2Anaconda的官方安装网址在 https://www
2017-12-28 15:41:53
5962
1
原创 Faster R-CNN的配置、运行(免费深度学习平台可以使用)
首先感谢一下IBM大神们的无私提供,如果没有深度学习环境的同学们可以申请super vessul,免费的深度学习云平台,具体的百度一下就可以了,感谢一波IBM。而且已经预装好了caffe的框架,这里可以先介绍一下如何在上面运行Faster R-CNN。1.先登陆到平台,并启动服务,我有两个服务,一个caffe,一个tensorflow。2.链接VPN, SSH
2017-12-21 14:51:38
3269
原创 利用Inception-v3在kaggle上Digit Recognizer
作为一个kaggle新手,最好的入门还是Digit Recognizer,看了一些其他的kernel,发现基本都是用普通的vggnet实现的,但是效果不是很好,所以想到用迁移学习,将googlenet用来解决问题。相应的数据请到kaggle官网下载。1。将train.csv中数据转换成图像# coding: UTF-8import cv2import pandas
2017-12-10 10:27:37
654
原创 inception-v3迁移学习
接着上一篇文章,我们现在进行inception-v3的迁移学习,用原来的权重参数进行特征提取,在最后的瓶颈中添加一个分类层。在pool_3后面添加一个input,然后训练这些。其中数据集#!/usr/bin/env python3# -*- coding: utf-8 -*-import globimport os.pathimport randomimport
2017-12-07 23:30:08
5481
6
原创 下载Inception v-3模行 观察网络模型
下面的代码是下载Incetion v-3的代码:# coding: UTF-8import tensorflow as tfimport osimport tarfileimport requests# inception模型下载地址inception_pretrain_model_url = 'http://download.tensorflow.org/models/imag
2017-12-05 22:11:26
1847
2
原创 读取.tfrecords格式数据集,进行geture的cnn构建、训练、模型保存
接着上一篇手势数据集制作完成后,我们就能够根据数据集,然后模型构建,训练,保存,Board可视化。代码中写出了相应的注释:# coding: utf-8# 读取.tfrecords格式数据集,进行geture的cnn构建、训练、模型保存import tensorflow as tf# 此实验将训练集和测试集微同一个集合train_whole_sample_size = 16
2017-12-04 21:09:57
4849
22
原创 手势识别+tfrecods数据集的制作
实验所需要的环境:tensorflow-0.10python-opencvImage ubuntu14.4本实验的数据集是点击打开链接微云其中包括9种手势,部分形式见下面的图,如果连接失效,可以向我索要。单通道的图片,但是写代码的时候差异不大。文件的存放位置如下:制作TFRecords时,# coding: UTF-8import
2017-12-04 20:54:18
7946
14
原创 style-transfer的实现(tensorflow)
风格转化是一个很流行的app应用,虽然现在过去风头了,但是自己实现一下也是好的。paper需要自己去解读,下面是图解。中间是一个空白图片或者噪音图片。然后将空白图片和S表示style、C表示content进行最小损失函数,但是这样训练和验证会加大时间,测试太慢。然后使用如下的网络: 将网络分成左边Image Transform Net和右侧的Loss Network,左
2017-11-19 17:13:16
4766
4
原创 ML基础---KNN的应用
算法详述 步骤: 为了判断未知实例的类别,以所有已知类别的实例作为参照 选择参数K 计算未知实例与所有已知实例的距离 选择最近K个已知实例 根据少数服从多数的投票法则(majority-voting),让未知实例归类为K个最邻近样本中最多数的类别 细节: 关于K 关于距离的衡
2017-11-18 22:53:27
283
原创 ML基础---决策树的应用
1. 什么是决策树/判定树(decision tree)? 判定树是一个类似于流程图的树结构:其中,每个内部结点表示在一个属性上的测试,每个分支代表一个属性输出,而每个树叶结点代表类或类分布。树的最顶层是根结点。当一个属性被使用后就不能再次在下面使用。如上图所示,当age出现时,下面将不会在出现。下面给出数据表现形式:下面展示代码:from sk
2017-11-18 21:50:56
2000
原创 wordpress创建自定义后台评论,并且发送邮件
由于客户需要定义一个举报系统,所以我就使用了wordpress自带的评论系统进行修改。是后台能够显示用户想要的字段。后台显示效果如下:含有填写人的姓名,内容(评论),电话,身份证,地址。当然这些都用js检验。前台的页面如下所示:将表单填写完成后,进行提交。然后就能在后台进行显示。在页面处引用评论的模板。然后在functions.php中引用自定义的后台字段:
2017-09-04 20:42:10
2363
1
原创 wordpress仿站实战教程
有一个月没有写blog了,一直在学习wordpress的知识,现在能够进行简单的政府企业门户网站的仿制,wordpress的主题订制,一般是对前端要求比较高,wordpress学会了,建站还是非常的快的。下面进行教程,没有基础知识的请先看基础知识。仿站的目标网站:仿站的目标网站,这也是我本科母校。1.目标网站的抓取,使用仿站小工具8.0.2挺好用的,能够尽可能多的将整个网站抓取下来。
2017-08-09 21:37:13
23489
3
原创 java爬取国内飞机航班轨迹数据jsoup的探索
接到一个爬虫项目,java编写的调用jsoup。来调取国内民航的轨迹。第一步,先进行根据飞机所属于的航空公司,然后根据改航空公司爬出所有的的航班号。第二步,根据查询出的航班号进行飞行轨迹的的数据爬去。本博客先进行第一阶段的项目代码编写。所用的网站:http://zh.flightaware.com/ 上面包括所需要爬取的数据。文件所需要的jar包:然后就是在主文件中进行
2017-06-29 22:09:55
5278
3
原创 wordpress探索
做为世界上最多使用的开源cms,最大的优势就是入门简单,刚开始本来想进军drupal的,看了两天感觉萌萌的。所以决定先从wordpress开始。wordpress的安装还是比较简单的。下面进行wordpress的安装教程,先copy一个网上教程吧,毕竟我安装完了,大家可以访问我的网站http://www.mster.cf。步骤1、因为安装Wordpress需要用到Apache和Mysql数据库
2017-06-24 23:14:12
413
原创 tensorflow进行SVHN数据实验
SVHN is a real-world image dataset for developing machine learning and object recognition algorithms with minimal requirement on data preprocessing and formatting.数据库下载地址
2017-06-14 11:23:29
4268
1
原创 tensorflow关于二维码的验证
我使用的环境是tensorflow0.10版本,但是需要安装captcha. 如果出现错误可能会是pillow版本低。需要升级一下pillow的版本。然后运行如下的代码生成二维码:# -*- coding: utf-8 -*-from captcha.image import ImageCaptcha # pip install captchaimport numpy as np
2017-06-12 17:23:09
994
1
原创 tensorflow的完整的hello world教程(检测自己手写识别数字)
tensorflow作为google开源的项目,现在赶超例caffe,好像成为最受欢迎的深度学习框架。确实在编写的时候更能感受到代码的真实存在,这点和caffe不同,caffe通过编写配置文件进行网络的生成。
2017-06-12 09:02:58
5337
6
原创 Tensorflow进行深度学习(第一)
1.环境的配置: 我的电脑的配置不高,所以不能用Cude进行gpu的加速,选择例cpu版本的。系统为ubuntu14.04,python2.7,theano,keras也全部都安装上,下面进行tensorflow的安装。$ pip install https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.11.0-c
2017-05-29 10:44:53
1722
1
原创 数据分析和数据可视化(第二讲)-pandas
pandas数据结构:Series和一维数组一样。import pandas as pdser_obj = pd.Series(range(10, 20))print(ser_obj.index)print(ser_obj.values)实验运行的结果:RangeIndex(start=0, stop=10, step=1)[10 11 12 13 14 1
2017-04-22 23:10:33
498
原创 小型CRM项目(Page分页实现详细教程)
本项目使用SSM框架搭建,前台使用bootstrap框架。CRM项目外观1. 开发环境IDE: Eclipse Mars2 Jdk: 1.7数据库: MySQL2. 创建数据库创建数据库crm,其中
2017-04-21 14:50:18
2361
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人