- 博客(18)
- 收藏
- 关注
RSS订阅原创 2.使用insightface读取视频进行人脸识别
1.人脸特征持久化输入数据集的人脸并得到特征向量之后，首先要持久化下来。import numpy as np'''前面的忽略，就是加载模型，获取数据集，跑模型得到向量f''''''关键代码'''f = model.get_feature(img)f.tofile('/myfeature/rep.bin')# 读取f_ = np.fromfile('/myfeature/...
2019-04-12 08:51:19
7826
24
原创 1.使用insightface加载训练好的模型进行特征提取
首先，致敬作者，他的代码库在：https://github.com/deepinsight/insightface1.安装项目运行环境。python=2.7由于我的服务器上已经安装了cuda8.0，所以环境配置起来很容易，输入如下代码:pip install -U six scipy scikit-learn opencv-python scikit-image easydict...
2019-04-11 09:30:33
9859
18
原创 爬取课件资源的爬虫
闲来无事，爬一爬现在学生的课件ppt资源，做一做数据分析，看看孩子们都在学一些什么。一、开始分析下载的流程：1、一级页面网址为:www.1ppt.com/kejian2、二级页面http://www.1ppt.com/kejian/5769.html根据标题来看，这个还是一个汇总，要下载详细的ppt内容还要往下看。往下翻看到了正主，这个就是我们所需要的ppt...
2019-03-19 11:25:03
1910
原创 python使用python-pptx删除ppt某页
公司安排了个任务，爬取ppt资源，我爬取后打开ppt发现，最后一页是站点的宣传，需要删除。仔细阅读了python-pptx的api和国内的教程，发现没有人写了关于删除ppt中某页的功能，所以科学上网去google上搜了一下，发现作者已经实现了，下来贴上如何删除from pptx import Presentation# 读取pptprs = Presentation('./temp...
2019-03-19 10:04:14
4569
3
原创 fastai开始更新中文笔记了，传上相关链接
1.fastai论坛，可以查找自己的报错或提问等等：https://forums.fast.ai/2.每节课的详细笔记：https://forums.fast.ai/t/faq-resources-and-official-course-updates/27934点击resource and updates ->进入新页面点击 Detailed lesson note3.中文笔记...
2019-03-01 08:43:32
1597
原创 FASTAI笔记-4-制作自己的数据集
在课程2中教了如何自己制作数据集开始分类任务。任务为：图像分类任务 获得数据集的方式为下载对应url的图像，获取url的工具可以是js也可以是爬虫。 # 在这里使用课程中提供的例子''' 1.首先进入google image 查找图像 2.按F12,在console窗口中输入：urls = Array.from(document.querySelectorAll('....
2019-02-24 22:40:02
1321
原创 使用免费的gpu进行训练
进入https://course.fast.ai/然后点击左边的导航栏中的Server Setup，可以选择Kaggle.com和Colab，教了怎么使用gpu云平台，并且有写好的代码可以运行，运行前拷贝一份作为参照。 ...
2019-02-22 16:39:39
1090
原创 FASTAI笔记-3-学习率选取-随着课程深入会随时更新
学习率的选取对于训练过程中的loss减小和metrics提高有很重要的意义，如何选择学习率也很重要。在fastai中，进行训练时通常有两个阶段，也就是代码中经常会见到的:''' stage_1：为迁移学习后的模型参数。 stage_2：为微调后的模型参数'''learn.save('stage_1')learn.save('stage_2')对于每个stage，...
2019-02-22 16:28:16
2887
原创 FASTAI笔记-2-对fit_one_cycle理解
学习fastai中一直对fit_one_cycle有一些不懂，今天在学习中明白了其中道理。fit_one_cycle在训练中，先使用较大的学习率，在逐步减小学习率。首先，在学习的过程中逐步增大学习率目的是为了不至于陷入局部最小值，边学习边计算loss。其次，当loss曲线向上扬即变大的时候，开始减小学习率，慢慢的趋近梯度最小值，loss也会慢慢减小。就如下图：注：图为课程中的图，我...
2019-02-22 15:35:51
6226
1
原创 FASTAI笔记-1-安装以及猫狗分类
fastai基于pytorch，如果新手入行可以看看该视频，不光是pytorch教学，也是深度学习教学。https://morvanzhou.github.io/tutorials/machine-learning/torch/1-1-why/fastai论坛，有问题可以上去问，上面也有课程详细笔记。https://forums.fast.ai/fastai官方文档如下。htt...
2019-02-21 11:06:53
2274
原创 Python+CV2+dlib 图像旋转达到放平人脸作用
出发点：看了很多有关旋转人脸的，多为使用c语言实现的，结合前辈思想使用python实现了一版。注意：本人使用的是jupyter notebook边写边检查， 所以使用IDE的童鞋记得将我函数定义代码和测试代码分开，测试代码放到“if __name__=='__main__'”中，可以规范点。流程为：1.获得人脸特征点2.获得左右眼角3.计算左右眼角坐标差值dx,dy然后求a...
2019-01-28 11:59:22
1883
2
原创 python使用post请求发送图片并接受图片
图像读取编码与反编码：import requestsimport jsonimport numpy as npimport cv2import base64# 首先将图片读入# 由于要发送json，所以需要对byte进行str解码def getByte(path): with open(path, 'rb') as f: img_byte = base...
2019-01-24 10:47:52
14239
1
原创 使用pandas读取文件并加工成DataFrame
数据来源，搜狗实验室新闻数据http://www.sogou.com/labs/resource/ca.phpimport pandas as pdnews = pd.read_csv('news.csv',header = None,encoding = 'GB18030')# 分别读取url,content,contenttitle内容url = []content = []cont...
2018-05-04 22:25:55
2043
原创 pandas文件读取的问题
从搜狗实验室下载了新闻数据，发现read_csv报错'utf-8' codec can't decode byte 0xb9 in position 14: invalid start byte后来搜了很久，使用import pandas as pdpd.read_csv('./data/new.dat',encoding='GB18030')...
2018-05-04 21:21:25
1157
原创 KNN学习笔记
KNN算法有监督学习算法：现有一组数据源，含多个特征值，每个特征值的样本对应一个标签。现在输入一组特征值，需要得到预测值。在数据源中寻找k个距离最近的数据，进行分类。import pandas as pdimport matplotlib.pyplot as pltfrom sklearn.neighbors import KNeighborsRegressor# 读取数据data = n...
2018-04-27 16:19:16
269
原创 matplotlib学习笔记
import numpy as npimport matplotlib.pyplot as plt# 在notebook中画图%matplotlib inline# 画图plt.plot([1,2,3,4,5],[1,4,9,16,25],'--',color = 'm')# 改x轴显示plt.xticks(x,bar_label)plt.show()# 绘制多个线n =...
2018-04-26 14:30:39
1179
原创 pandas学习
import pandas as pd# 读取数据,将第一列时间转化为date格式df = pd.read_csv('a.csv',index_col = 0,parse_dates= True)df.head(5) # 读取前5条数据data.tail(10) # 查看最后的数据# 显示设置pd.set_option() # 具体查网页# 属性df.info() # ...
2018-04-22 20:48:37
269
原创 Numpy的一些个人笔记
import numpy as np# 生成ndarrayarray = np.arange(1,10,5，dtype = np.int32) # 生成1-9间隔为5的ndarrayrandom_array = np.random.rand(10) # 生成10个随机0-1的数ndarrayarray = np.random.randint(0,10,(2,3)) # 0-9生成2...
2018-04-21 14:03:18
321
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人