python3
文章平均质量分 89
飞翔的七彩蜗牛
搬砖工程师。
Still need hot blood and faith。
要想透彻的理解算法, 一是要看透算法原作者的论文, 二是要读懂相关的优秀源码实现。
行百里者半九十。
展开
-
pandas学习笔记
pandas 是基于NumPy的一种工具,该工具是为解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现,它是使Python成为强大而高效的数据分析环境的重要因素之一。一维数组,与Numpy中的一维array类似。二者与Python基本的数据结构List也很相近。Series如今能保存不同种数据类型,字符串、boolean值、数字等都能保存在Series中。原创 2023-06-18 23:35:48 · 563 阅读 · 0 评论 -
推荐系统1--Deepfm学习笔记
假设我们有两种 field 的特征,连续型和离散型,连续型 field 一般不做处理沿用原值,离散型一般会做One-hot编码。离散型又能进一步分为单值型和多值型,单值型在Onehot后的稀疏向量中,只有一个特征为1,其余都是0,而多值型在Onehot后,有多于1个特征为1,其余是0。将Wide & Deep 部分的wide部分由 人工特征工程+LR 转换为FM模型,避开了人工特征工程;FM模型与deep part共享feature embedding。因为线性模型有个致命的缺点:无法提取高阶的组合特征。原创 2023-03-05 18:47:22 · 813 阅读 · 0 评论 -
因果推断10--一种大规模预算约束因果森林算法(LBCF)
向用户提供奖励(例如亚马逊的优惠券,优步的折扣和抖音的视频奖金)是在线平台用来提高用户粘性和平台收入的常用策略。尽管这些营销激励已被证明是有效的,但如果使用不当,会产生不可避免的成本,并可能导致低ROI(投资回报)。另一方面,不同的用户对这些激励措施的反应不同,例如,有些用户从未在没有优惠券的情况下购买某些产品,而另一些用户则无论如何都会购买。因此,如何在预算限制下为每个用户选择合适的激励(即待遇)是一个具有重大现实意义的重要研究问题。在本文中,我们称这种问题为预算约束的治疗选择问题。原创 2023-02-26 17:30:57 · 1877 阅读 · 0 评论 -
因果推断4--Causal ML(个人笔记)
CausalML是一个基于Python的因果学习开源项目。最早为Uber项目定制、内部开源,而后正式成为开源项目。其提供了丰富的模型选择,例如常用的Meta-Learner和因果树模型,方便在实践中作对比和选择。同时还提供例如模拟数据生成、模型可视化、模型评估等一系列配套工具。其目标是用于解决业务实践问题,尤其是在计算速度和数据规模方面能够达到业界标准并持续优化。原创 2023-01-02 17:38:40 · 3240 阅读 · 0 评论 -
shape理解
一维数组[1,2]的shape是(2,):一个一维数组,数组中有两个元素。二维数组[[1,2]]的 shape是(1,2): 一个二维数组,每行有两个元素。二维数组转换一维数组# 方式一import operatorfrom functools import reduce a = [[1,2,3], [4,6], [7,8,9,8]]print(reduce(operato...原创 2020-04-22 15:03:50 · 950 阅读 · 0 评论 -
Python实现文件的操作
1、python脚本中为什么要在目录前加一个rr是保持字符串原始值的意思,就是说不对其中的符号进行转义。因为windows下的目录字符串中通常有斜杠"\",而斜杠在Python的字符串中有转义的作用。例如:\n表示换行如果路径中有\new就会被转义。加上r就是为了避免这种情况。2、文件重命名os.rename() 方法用于命名文件或目录,从 src 到 dst,如果dst是一个存在的目...原创 2020-04-03 18:02:16 · 1143 阅读 · 0 评论 -
sklearn处理分类或者回归问题
sklearn处理回归问题import numpy as npimport matplotlib.pyplot as plt # 生成数据def gen_data(x1, x2): y = np.sin(x1) * 1/2 + np.cos(x2) * 1/2 + 0.1 * x1 return y def load_data(): x1_tra...原创 2020-03-31 21:37:01 · 601 阅读 · 0 评论 -
漫画上色, 构建神经网络CGAN
百行代码构建神经网络黑白图片自动上色系统http://blog.csdn.net/uwr44uouqcnsuqb60zk2/article/details/78409868github代码deepcolorhttps://github.com/kvfrans/deepcolor阅读文章:http://kvfrans.com/coloring-and-shading-li原创 2017-11-30 22:24:41 · 2031 阅读 · 0 评论 -
python serial 模块使用方法
一、概述 pyserial模块封装了对串口的访问。二、特性 在支持的平台上有统一的接口。 通过python属性访问串口设置。 支持不同的字节大小、停止位、校验位和流控设置。 可以有或者没有接收超时。 类似文件的API,例如read和write,也支持readline等。 支持二进制传输,原创 2018-01-22 11:34:47 · 84011 阅读 · 13 评论 -
神经网络预测彩票数据
一、人工智能深度学习神经网络在双色球彩票中的应用研究(一)https://www.cnblogs.com/zdz8207/p/DeepLearning-NeuralNetworks.html二、百度AIhttp://ai.baidu.com/paddlepaddle三、点宽网https://www.digquant.com.cn/四、聚宽网https://www.joi原创 2018-02-27 14:01:22 · 16430 阅读 · 0 评论 -
从CSV文件删除表头
import csvf = open("example.csv")f_read = csv.reader(f)f_data = list(f_read)#print (f_data)#print (f_data[2][2])for row in f_read:#使用for循环,不一次性写入内存 print ('Row#' + str(f_read.line_num) +原创 2018-04-01 16:47:20 · 5107 阅读 · 0 评论 -
项目:取得当前的天气数据json
#! python3# quickWeather.py - Prints the current weather for a location from the command line.import json, requests, sys# Compute location from command line arguments.if len(sys.argv) < 2: ...原创 2018-04-01 17:26:15 · 1014 阅读 · 0 评论 -
图像识别----中文显示检测结果
1、R-FCN+ResNet-50用自己的数据集训练模型(python版本)https://blog.csdn.net/sinat_30071459/article/details/532029772、matplotlib —— 添加文本信息(text)https://blog.csdn.net/lanchunhui/article/details/529343473、Linux下python m...转载 2018-05-05 15:33:52 · 441 阅读 · 0 评论 -
深度学习算法理解----(1)
不论是基本概念还是具体算法,最重要的就是实践。不实践这些算法就永远不能发现哪些地方没有掌握,因此希望本文能有助于各位读者实践自己的算法。没有免费午餐定理https://blog.csdn.net/starzhou/article/details/72614795在机器学习中,有个定理被称为「没有免费的午餐」。简而言之,就是说没有一个算法可以完美解决所有问题,而且这对于监督学习(即对预测的建模)而言...转载 2018-04-29 21:47:53 · 1912 阅读 · 0 评论 -
一文读懂目标检测:R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD
一、目标检测常见算法 object detection,就是在给定的图片中精确找到物体所在位置,并标注出物体的类别。所以,object detection要解决的问题就是物体在哪里以及是什么的整个流程问题。 然而,这个问题可不是那么容易解决的,物体的尺寸变化范围很大,摆放物体的角度,姿态不定,而且可以出现在图片的任何地方,更何况物体还可以是多个类别。 目前学术和工业界出现的...转载 2018-07-23 14:00:08 · 4836 阅读 · 0 评论 -
jupyter notebook 快捷操作
Jupyter Notebook 的快捷键Jupyter Notebook 有两种键盘输入模式。编辑模式,允许你往单元中键入代码或文本;这时的单元框线是绿色的。命令模式,键盘输入运行程序命令;这时的单元框线是灰色。命令模式 (按键 Esc 开启)Enter : 转入编辑模式 Shift-Enter : 运行本单元,选中下个单元 Ctrl-Enter : 运行本单元 Alt-Ent...原创 2018-07-17 19:36:08 · 1424 阅读 · 0 评论 -
pandas一些操作
# coding: utf-8# In[38]:# 导入相关库import numpy as npimport pandas as pd# In[39]:index = pd.Index(data=["Tom", "Bob", "Mary", "James"], name="name")data = { "age": [18, 30, 25, 40原创 2018-07-23 17:15:23 · 197 阅读 · 0 评论 -
Python快100倍?spaCy和Cython实现真正的企业级项目
http://mb.yidianzixun.com/article/0JYrTe6g?ref=browser_news&s=mbCython 是 Python 的超集,所以不要让它吓跑你!你现在的 Python 程序已经是 Cython 程序。有几种情况下你可能需要加速,例如:你正在使用 Python 开发一个 NLP 的生产模块; 你正在使用 Python 计算分析大型...原创 2018-07-18 10:07:54 · 550 阅读 · 0 评论 -
(1)程序解读--向量化计算
```pythonimport numpy as np #导入 numpy 库a = np.array([1,2,3,4]) #创建一个数据 aprint(a)``` [1 2 3 4] ```pythonimport time #导入时间库a = np.random.rand(1000000)b = np.random.rand(1000000) #通过 ...原创 2018-07-13 14:38:34 · 798 阅读 · 0 评论 -
第 一 门课 神经网络和深度学习(一)
第一门课会以猫作为对象识别第二门课中,学习超参数调整、正则化、诊断偏差和方差以及一些高级优化算法,比如 Momentum 和 Adam 算法。第三门课中,我们将使用两周时间来学习如何结构化你的机器学习工程。第四门课程中,我们将会提到卷积神经网络(CNN(s)),它经常被用于图像领域,你将会在第四门课程中学到如何搭建这样的模型。在第五门课中,你将会学习到序列模型,以及如何将它们应用于自然语言处理,以...原创 2018-07-16 10:37:31 · 561 阅读 · 0 评论 -
基于深度学习的图像语义分割算法综述(转载)
教程 | 重新发现语义分割,一文简述全卷积网络 全卷积网络自 2012 年出现以来,在图像分类和图像检测领域取得了巨大成功。本文利用笔记本电脑构建了一个小型全卷积网络,详细介绍了全卷积网络的思路、过程等等,值得一看 语义分割是一种学习如何识别图像中对象范围的机器学习技术。语义分割赋予机器学习系统与人类相似的理解图像内容的能力。它促使机器学习算法定位对象的精准边界,无论是街景图像...转载 2018-07-20 00:00:14 · 2697 阅读 · 0 评论 -
python reshape shape astype 理解
x_train = x_train.reshape(x_train.shape[0], 1, img_rows, img_cols)x_test = x_test.reshape(x_test.shape[0], 1, img_rows, img_cols)from numpy import *l = zeros((5,4))#构建一个5*4的零矩阵for i in range(5)...原创 2018-07-20 16:27:01 · 9372 阅读 · 2 评论 -
代价函数,损失函数,目标函数区别
一:损失函数,代价函数,目标函数定义首先给出结论:损失函数(Loss Function )是定义在单个样本上的,算的是一个样本的误差。代价函数(Cost Function )是定义在整个训练集上的,是所有样本误差的平均,也就是损失函数的平均。目标函数(Object Function)定义为:最终需要优化的函数。等于经验风险+结构风险(也就是Cost Function + 正则化项)。关于目标函数和...转载 2018-07-15 12:15:43 · 12051 阅读 · 3 评论 -
Python实现文件读写
if scores[i] <= 0: break #f.write(item+' '+str(label+1)+' '+str(score)+' '+str(int(box[0]))+' '+str(int(box[1]))+' '+str(int(box[2]))+' '+str(int(box[3]))+' \n'...原创 2018-07-20 21:19:06 · 646 阅读 · 0 评论 -
CNN 可视化卷积核
Deep Visualization:可视化并理解CNNhttps://blog.csdn.net/zchang81/article/details/78095378 caffe版本卷积神经网络CNN:Tensorflow实现(以及对卷积特征的可视化)本文主要是实现了一个简单的卷积神经网络,并对卷积过程中的提取特征进行了可视化. 卷积神经网络最早是为了解决图像识别的问题,现...转载 2018-07-22 10:51:12 · 19658 阅读 · 3 评论 -
skimage的简介
skimage的简介 skimage即是Scikit-Image。基于python脚本语言开发的数字图片处理包,比如PIL,Pillow, opencv, scikit-image等。 PIL和Pillow只提供最基础的数字图像处理,功能有限;opencv实际上是一个c++库,只是提供了python接口,更新速度非常慢。scikit-image是基于scipy的一款图像处...原创 2018-08-03 16:44:25 · 30507 阅读 · 2 评论 -
卷积的滑动窗口实现(Convolutional implementation of sliding windows)
为了构建滑动窗口的卷积应用, 首先要知道如何把神经网络的全连接层转化成卷积层原创 2018-07-22 16:45:44 · 4503 阅读 · 1 评论 -
crowd counting
crowd counting人群密度估计之MCNNhttps://blog.csdn.net/qq_14845119/article/details/689467272016年 --Single Image Crowd Counting via Multi Column Convolutional Neural NetworkThis is an unofficial implem...转载 2018-07-27 21:40:45 · 650 阅读 · 0 评论 -
语音识别实现
简单语音识别实现https://blog.csdn.net/m0_37490039/article/details/79474946TensorFlow技术解析与实战 11 自然语言处理https://blog.csdn.net/qfire/article/details/78837196模块简介当我们想在windows平台上利用Python将文本转化为语音输出,用作语音提示,...转载 2018-08-02 16:02:47 · 2643 阅读 · 0 评论 -
win10创建tensorflow环境跟管理环境
一、环境创建:conda create -n 环境名 -c 镜像源 Python 2.7 $ conda create -n tensorflow python=2.7 Python 3.4 $ conda create -n tensorflow python=3.4 Python 3.5 $ conda create -n ...原创 2018-09-22 17:25:32 · 795 阅读 · 0 评论 -
图像分类比赛[举一反三]
https://mp.weixin.qq.com/s/7XALdbcz3imCs2kbmEI-lQ用心去思考一些东西,相信自己可以做到的下面为大家介绍这一图像分类任务,该任务可以分为五个步骤第一步: 在大多数机器学习任务中,我们首先要做的(也是最重要的任务)就是在使用算法之前分析数据集。这一步骤之所以重要,是因为它能够让我们对数据集的复杂度有深入的了解,这最终将有助于算法的设计...原创 2018-10-31 09:53:09 · 1723 阅读 · 0 评论 -
无法打开包括文件: “numpy/arrayobject.h”: No such file or directory
Cython fatal error C1083: 无法打开包括文件: “numpy/arrayobject.h”: No such file or directory解决方案#解决方法:#添加 include_dirs=[np.get_include()]from distutils.core import setupfrom distutils.extension imp...原创 2018-11-06 15:19:33 · 12144 阅读 · 8 评论 -
生成随机数,绘制折线图
import randomimport matplotlib.pyplot as pltdef all_list(arr): result = {} for i in set(arr): result[i] = arr.count(i) return resultdef SumT(n): a =[] for i in range(1...原创 2018-11-09 21:29:03 · 2563 阅读 · 0 评论 -
图像强度归一化Intensity normalization
#因为opencv读入的图片矩阵数值是0到255,有时我们需要对其进行归一化为0~1'''import cv2img3 = cv2.imread('me.png')img3 = img3.astype("float") / 255.0 #注意需要先转化数据类型为floatcv2.imshow("Image",img3)cv2.waitKey()print(img3.dtype)...原创 2018-11-08 14:16:42 · 6929 阅读 · 1 评论 -
DeepMind&VGG提出基于集合的人脸识别算法GhostVLAD,精度远超IJB-B数据集state-of-the-art
转载自:https://mp.weixin.qq.com/s/R1hdkPTdFCo7JvOKNcEzJg人脸识别应用中,很多场景能够获取某一个体的多幅人脸图像的集合(比如在监控视频中),使用人脸图像集来做识别,这个问题被称为基于模板的人脸识别(template-based face recognition)。对于多幅图像,当然可以使用单幅人脸图像的识别方法,综合多幅图像的识别结果确定最终...转载 2018-11-08 14:44:19 · 2525 阅读 · 0 评论 -
pydub库---语音增强
【Python】利用pydub库操作音频文件最近使用Python调用百度的REST API实现语音识别,但是百度要求音频文件的压缩方式只能是pcm(不压缩)、wav、opus、speex、amr,这里面也就wav还常见一点,但是一般设备录音得到的文件都是mp3,这就要把mp3转换为wav,由于python的效率并不高,很多实现都是使用C++或者Java,不过GitHub上有一个项目pydub...原创 2018-12-08 21:13:03 · 4347 阅读 · 0 评论 -
人脸检测算法-----学习OpenCV看源码文件
方法3基于AdaBoost算法的人脸检测2010年viola和Jones引入积分图的概念,提出了基于Haar-like特征、级联结构的AdaBoost算法,成功应用于模式识别领域,实现了实时人脸检测,使人脸检测技术取得了突破性进展。为适应背景的复杂性,研究者提出了将肤色等人脸特征和AdaBoost算法相结合的人脸检测新算法。算法首先结合人脸特征,利用人脸特征确定人脸的大致方向,然后用级联结构的...原创 2018-12-19 15:56:38 · 1035 阅读 · 0 评论 -
原 keras 两种训练模型方式fit和fit_generator(节省内存)
fit_generator(self, generator, steps_per_epoch, epochs=1, verbose=1, callbacks=None, validation_data=None, validation_steps=None, class_weight=None, max_q_size=10, workers=1, pickle_safe=False, initi...转载 2018-12-21 09:31:04 · 2686 阅读 · 0 评论 -
使用librosa&SVM实现语言情感识别
任务:语言情感分类音频处理库:librosalibsora安装Librosa官网提供了多种安装方法,详细如下:最简单的方法就是进行pip安装,可以满足所有的依赖关系,命令如下:pip install librosa如果安装了Anaconda,可以通过conda命令安装:conda install -c conda-forge librosa数据集:casia...原创 2019-01-10 15:16:03 · 3939 阅读 · 4 评论 -
pip 换镜像源阿里云
临时使用:可以在使用pip的时候在后面加上-i参数,指定pip源eg:pip install scrapy -ihttps://pypi.tuna.tsinghua.edu.cn/simple永久修改:linux:修改 ~/.pip/pip.conf (没有就创建一个), 内容如下:有的朋友要改pypi源 mac没有.pip文件夹很正常 因为要自己建在终端...原创 2019-01-06 20:37:12 · 3542 阅读 · 0 评论