自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(58)
  • 资源 (6)
  • 问答 (2)
  • 收藏
  • 关注

原创 数据处理(2)用户点击数据world2vec词向量处理处理-

本篇文章主要讲解对于用户点击广告的行为,如何根据用户的点击,将点击的广告解析为词向量,再根据广告的词向量转化为用户的词向量一、 导入包from gensim.models.word2vec import Word2Vecimport pandas as pdimport numpy as npimport gc包版本for module in gensim,pd,np: print(module.__name__,module.__version__)gensim.

2020-11-25 20:26:47 39

原创 算法设计-Python编程 (2) 数组,哈希表,动态规划(字符串翻译,风景评分)

主要做一些想法的总结1. 两数之和哈希表传送门:哈希表① 暴力解法用两层循环,循环获取数据,但会重复读取数据,所以我们需要从第一个和第二个数据开始,并且不要直接读取列表用下标作为循环的变量,依据下标循环读取列表在第二个循环使用 第一个循环的下标值+1 作为标准,就能很好的契合我们一组一组比对过去的需求记得在得到数据后,输出 return i,j 并且 break .若没找到,使用 else: continue 进行再循环class Solution: def ..

2020-09-15 17:48:54 43

原创 TensorFlow2.0 (6) 自构建神经网络层—— transformer 实例讲解

有些网络结构,在子类 layer 中并没有定义,这时就需要我们自己来进行编写,为了更灵活的构建自己想要的神经网络层,我们可以自己来创建网络结构类,当然,构建之前先看一眼官方 API 文档,省得白费功夫那是最好。tensorflow2 官方 API 文档注意:__init__() ,__build__() ,__call__() 均继承自tf.keras.layers.Layer一、 初始化属性、初始化输入、向前运算不多说,先挂个最简单的官方例子class MyDenseLaye...

2020-08-05 11:59:13 181

原创 数据处理(3.0)-python 动态新建变量与动态调用动态变量

为了实现全自动数据处理,但数据的维度又在不断的改变,为了不用每次操心修改代码,会使用到动态新建变量和动态调用动态变量,但网上的资料很含糊,或者不好用,被逼无奈写了本篇文章一、 动态创建动态变量1. locals()调用该函数names = locals()新建变量names['ReImf' + str(0)] = 2在这之后,就可以直接使用 ReImf0 或者变量,这里我们可以将 0 这个数变成一个变量值,来动态新建变量for i in range(len(imfs.

2020-08-03 15:33:21 133

原创 TensorFlow2.0 (5) 实现 GAN 对抗网络

GAN 神经网络对于某些实践项目上会比 CNN 等网络有更好的实际效果,虽然 loss 不一定会比普遍的神经网络低.但更具有实践意义,特有此文章作为大家的编码 demo一、 GAN 入门示例import tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras import layersimport matplotjlib.pyplot as pltimport numpy as npimport globi.

2020-07-09 17:33:47 366

原创 Hadoop 环境搭建与初步使用(zookeeper 搭建)

主要讲解实战,理论可通过百度获取hadoop fs 命令(操作文件系统的 shell 命令)hdfs:// 开头表示操作 hdfsfile:/// 操作该命令所在的 Linux 系统tfs://node-3:666 操作淘宝文件系统如果不加前缀,则读取配置文件中的fs.defaultFS基本命令:hadoop fs -ls /显示根目录文件,主要在于 hadoop fs 命令(操作文件系统的 shell 命令)但我们的是分布式文件系统实际上的根目录查看...

2020-07-01 12:10:57 73

原创 数据处理(1.2)-python 正则表达式-量词与贪婪

学习极客时间的学习笔记一、正则模式种类正则有不同的匹配模式,有三种模式,第一:贪婪匹配,第二:非贪婪匹配,第三:独占模式主要区别在于匹配是一次还是多次,长度尽量长还是尽量短看到这个次数次数的,我们回顾一下量词的定义:...

2020-06-29 20:53:53 83

原创 数据处理(1.1)-python 正则表达式通俗易懂讲解

写一些数据结构时,发现有些地方光靠代码逻辑写有点费劲,还是回来复习一下正则表达式,写文章加深一下理解学习参考:报名参加了 极客时间(正则入门),以此做一下学习笔记应用场景示例:正则表达式实现模式匹配一、正则功能校验数据有效性 手机号,邮箱等限定格式查找符合要求的文本内容对文本切割替换等操作二、元字符元字符指正则表达式中特殊用途的字符分类1. 特殊单字符在匹配数字的时候,可以写成 \d{11} 匹配 11 位数字。其他也相同...

2020-06-23 17:23:35 115

原创 服务器ubuntu18.04 Python 开发环境搭建

电脑出了点问题,改用服务器来做,太久没在服务器上做,把环境搭建写下来,方便下次使用本文用的是 Ubuntu 和 docker 来进行部署docker 搭建笔记Python3.6的对应的是 Anaconda 5.2,5.3以后的都是python 3.7的不要看错了”一、 Ubuntu 软件安装1. 下载并安装常用软件包首先是 apt-get 的清华源替换官方教程还有其他 gedit,vim,sudo 可以自定下载2. 安装 anacodaPython3.6 对应的 a..

2020-06-23 10:37:41 138

转载 Docker 服务部署和使用

docker 的部署与快速使用,首先,容器是每个用户个人使用的,镜像是提前部署好的,用户根据镜像,建立自己的容器进行开发使用。容器内部是独立的1. 阅读须知本文档介绍了如何在宿主机系统上进行 Docker 服务的部署,以及如何创建 Docker 镜像、如何创建并运行 Docker 容器等,本文档的测试环境所用的宿主机系统是 Ubuntu16.04,具体信息如下。$ uname -aLinux ubuntu 4.10.0-28-generic #32~16.04.2-Ubuntu S.

2020-06-19 14:41:45 204

转载 Ubuntu 16 升 18

总体流程  1. sudo apt update (更新软件源)  2. sudo apt upgrade (更新内核相关的包)  3. sudo apt dist-upgrade  4.sudo apt-get autoremove  5. sudo apt install update-manager-core  6. sudo do-release-upgrade遇到的错误② 步骤错误:...

2020-06-18 09:19:02 62

原创 GitHub -实战使用指南

以前也初次学习 GitHub 也写过类似文章,不过重点在于原理,而本篇文章主要记录一些一个项目进行时的常用命令图形界面内操作打开 git-base ,在空文件夹 clone 远程仓库git clone https://github.com/Sober-Chen/caffe-python3-face-detection.gitcd 进入目录1. 分支基于当前分支创建分支并切换到该分支git checkout -b <branchname>添加修改文件或者全部.

2020-06-09 15:31:34 84

原创 数据处理(2.1)点击数据处理-lgb 训练实战

这篇文章主要将上一篇文章中的 lgb 训练函数列出来,上一篇主要详细讲解预处理和后处理。import lightgbm as lgbimport numpy as np1. 输入参数介绍输入参数主要有:训练集的特征列训练集的标签列验证集的特征列验证集的标签列cate_cols 指明类别特征任务的类型 job=“classification”def base_train(x_train, y_train, x_test, y_test, cate_cols=..

2020-06-08 17:57:29 360

原创 数据处理(2)点击数据处理-设置输出格式、日志模块、读取、矩阵空值处理,数据集分割,数据合并,列处理等

特征工程操作丰富而繁琐,记一下编写时的代码,以便日后重复调用1. 设置输出格式、logging 日志模块实例:np.set_printoptions(formatter={'float': lambda x: "{0:0.3f}".format(x)})logging.getLogger().setLevel(logging.INFO)1.1 设置输出格式①x: "{0:0.3f}".format(x)format 部分# -*- coding: cp936 -*-..

2020-06-05 11:42:41 238

原创 算法设计-Python编程 (1)总体整理

算法程序设计主要分为以下几种(并举例几个比较重要的难点)[力扣]1. 数据结构 1.1 数组 (单双向链表,跳舞链) 1.2 堆,队列,栈 (大小堆,可并堆) 1.3 树和图 (构建哈夫曼树,最近公共祖先,并查集) 1.4 集 1.5 哈希,映射 1.6 字符串 (字典树,后缀树)2. 算法 2.1 时间复杂度 2.2 搜索 (回溯,递归,剪枝技巧) 2.3 排序 (快速排序,归并排序,计数排序) 2.4 图 (最短路,最小生成树,...

2020-06-04 22:27:33 87

原创 Spark原理 (1) 基本工作原理与RDD

基本工作原理1. 分布式① 客户端某台能链接 spark 服务器的电脑,提交 spark 程序② spark 集群多节点,从 Hadoop /HDFS/Hise读取数据,读取数据分别存到节点,主要存储到节点的内存中.在节点中对数据进行处理,处理后的数据可能存储到别的节点的内存上.所有计算操作都是多个节点并行计算处理后的数据可能会回到 Hadoop,HDFS,Hive 等,或者 MySQL 这种DB 里.或者直接把结果返回客户端2. 主要基于内容(少数情况基于磁盘)

2020-06-04 21:59:13 70

原创 机器学习算法原理 (一)机器学习算法汇总

1、分层聚类2、KNN3、基于密度的聚类DBSCAN4、K-means5、自组织映射SOM6、PCA7、LDA8、MDS9、朴素贝叶斯10、数据降维11、感知机12、GMM13、EM14、LVQ15、HMM16、熵,条件熵17、决策树18、CART算法19、梯度下降20、logistics回归21、Adaboost22、SMO23、随机森林分类1、分...

2020-06-04 12:17:33 103

原创 数据处理-一些比赛中通用的函数

这篇文章主要记载一些非具体化的函数操作,以及一些加速,压缩等可用可不用的函数,具体到项目的数据处理函数详情见其他文章。1. 数据压缩处理def reduce_mem_usage(df, verbose=True): numerics = ['int16', 'int32', 'int64', 'float16', 'float32', 'float64'] start_mem = df.memory_usage().sum() / 1024 ** 2 for col i.

2020-06-03 15:11:56 89

原创 Caffe (1) 文件与数据介绍

特征工程与 caffe 基础 第一步我们需要先识别到人脸,想得到良好的模型,首先我们需要有良好的数据来源,先介绍一个合格的人脸检测数据是怎么样的(注意是检测数据) 数据: 二分类数据,第一类为人脸,第二类非人脸, 人脸数据:路径/xxx.jpg 以及两个坐标,也有可能给个左上角的坐标,然后再给一个长和宽 非人脸数据:只要不是人脸 数据来源: 1. benchmark (行业数据标准、论文、源码、结果)face dete...

2020-06-02 10:18:06 92

原创 华为海思 AI 芯片 (Hi3559A V100) 算法开发(六) 基于 caffe 人脸识别项目 Python 实现

前面我们搭建好了相关环境和最麻烦的 caffe 环境,接下来我们用 python 训练出来基于 caffe 的人脸识别 caffemodel。成功后我们再将它转化为海思开发板可以使用的 wk 文件。这里我们先整理下我们的思路,首先 caffemodel 文件可以转化为海思可以读取的 wk 文件,但只是读取 caffemodel 文件中的网络参数,所以我们最好使用 YOLOv3 来进行人脸识别,方便后续的算法修改。我设定的流程为先用 PC 端的 python 进行人脸识别的开发,在PC 端实现完整的人..

2020-06-02 10:15:56 1768

原创 华为海思 AI 芯片 (Hi3559A V100) 算法开发(五) 在 Hi3559 上运行 YOLOv3

又到了最麻烦的嵌入式环节,这里将教大家如何在 Hi3559 上运行 YOLO v3 。废话不多说NFS 文件系统我使用的是 VM player 虚拟机,虚拟机装的 Ubuntu 16.04第一步编译 uboot 和 kernel这一步我建议是跟着 <WM_Hi3559A╱C V100 SDK 安装及升级使用说明> 走就行,有疑问的话也可以参考下面的博客编译 uboot与kernel这一步我的同仁做了,物品主要负责算法部分。直接拿过来用,就不过多废话,有问题也可以评论问.

2020-06-02 10:07:26 1761 6

原创 视觉算法原理-LBPH 特征用于人脸检测

人脸识别分为两部分,一部分是检测到人脸,一部分是将你的人脸匹配到身份。而人脸身份匹配算法就有一下几种算法:基于PCA降维、基于LDA降维、基于LBPH特征 在前面的人脸识别实战文章中,我们使用了 LBPH 作为人脸身份识别的算法,接下来我们详细介绍一下 LBPH 到底是什么原始的 LBP 算子原始的 lbp 算子定义为 3*3 的窗口,以窗口中心像素为阈值,将八个相邻像素的灰度值与之相比,若大于等于,标记为 1 ,否则为 0,这样领域内就产生了8位二进制数(通常转化为十进制数即 LBP 码,.

2020-05-29 17:06:25 586 1

原创 数学原理-高等数学复习笔记 ——2.0 MLE最大似然估计 ,最大后验概率估计,交叉熵代价函数,softmax

最大似然估计挂上知乎链接,再说点自己的理解知乎专栏-搞懂似然估计

2020-05-28 14:11:50 226 1

原创 数据处理(1)-python 正则表达式汇总

正则表达式 Regular expression 缩写 regex 或 regexp。正则函数 正则表达式在 python 中主要放在 re 库中。 re.match(pattern,string,flags=0): 尝试从字符串起始位匹配一个模式,如匹配不成功,返回 none。 pattern:正则表达式 string:匹配的字符串 flags:标志位,用于控制正则表达式的匹配方式,如是否区分大小写,多...

2020-05-22 13:56:52 707

原创 华为海思 AI 芯片 (Hi3559A V100) 算法开发(五) 搭建 windows caffe python 开发环境 windows10 + anacod + cuda10

这篇文章就不讲的太过详细,因为遇到的 BUG 太多,首先网上没有 VS 2019 的版本的环境搭建,并且不向下兼容,驱动也遇到了问题,BUG 简直就是为每个人量身定做,本篇文章的环境基础是vs2019 +windows10+ python2.7 + cuda10 + cudnn因为翻过的文章太多,这里只放记得的一部分的环境搭建命运就是这么颠沛流离,刚刚还失败,在这个周六加班的夜晚,突然又成功了,这里简单写一下各个环境的搭配吧,以及应该按照哪个博文进行搭配。1. VS 版本 ...

2020-05-18 10:04:24 509

原创 视觉算法原理-YOLOv1 v2 v3 算法解析

摘要 在另一篇关于华为的博文中已经介绍了 YOLO 的原理,想了解的可以通过传送门在 PC 仿真库使用 YOLOv3 进行图片目标检测以及 NMS、YOLO 讲解翻到 YOLO 标题下了解。 本篇博文主要讲解 YOLO v1 v2 v3 的变化YOLOv2原文下载:https://arxiv.org/pdf/1612.08242v1.pdf工程代码:htt...

2020-05-07 16:45:24 679

原创 华为海思 AI 芯片 (Hi3559A V100) 算法开发(四) 在 PC 仿真库使用 YOLOv3 进行图片目标检测以及 NMS、YOLO 讲解

摘要 经过上一篇文章,大家编译运行 PC 仿真后,可能觉得有点迷惘,实际上你已经在后台完成了图像识别,保存结果,绘制识别框等一系列过程。这篇文章就教教大家怎么看识别的结果已经如何手动将识别框绘制出来。仿真代码浅析 为了方便实际操作,这篇文章使用 VS 来快速运行,我觉得 vs 运行比 Ruyi 稍微快一点 为了速度再快一点,我们修改我们要运行的文件夹下...

2020-05-06 18:50:45 959 1

原创 推荐算法项目(二)算法分类

一、常用推荐算法分类 二、基于人口统计学的推荐与用户画像三、基于内容的推荐与特征工程四、基于协同过滤的推荐

2020-05-06 08:36:27 325

原创 推荐算法项目(一)简介

一、内容简介 1.1 大数据平台指标、 统计指标 关联分析 汇总报告 1.2 运营数据 了解公司的运营状态 数据驱动运营,调节指标 1.3 需要大数据平台的支撑 埋点采集数据 数据库。日志、三方采集数据 对数据清洗、转换、存储 利用 SQL ...

2020-05-01 11:57:07 349

原创 数学原理-高等数学复习笔记 ——1.2 泰勒公式 罗尔中值定理与拉格朗日中值定理(附加多个实战题目)

微分中值定理 罗尔(Rolle)微分中值定理 设 f(x) 在闭区间[a,b]上连续,并且f(a)=f(b).又假设 y=f(x) 在(a,b)内可导,则必存在一点 c∈(a,b),使得 f'(c)=0 简单来说就是一个连续且可导的函数,在两个相等的端点中间必存在一条水平切线。 拉格朗日(Lagrange)微分中值定理 函数在闭区间 [a,b]...

2020-04-27 10:16:58 880

原创 华为海思 AI 芯片 (Hi3559A V100) 算法开发(三) PC 仿真运行

摘要 因为是操作性的文章,不是原理性的文章,我就写的简单点,大家要是遇到问题可以评论或者私信我,前面我们搭建好了基础环境,接下来我们使用 ruyi 来运行他提供的简单 demo仿真 我们使用 Ruyi Studio 来快捷的实现仿真运行。导入范例:选择 workspace选择范例文件夹 最后点击 finish 进行编...

2020-04-24 15:38:39 995 1

原创 华为海思 AI 芯片 (Hi3559A V100) 算法开发(二)RuyiStudio安装

摘要 上篇文章已经对一系列的名词进行了讲解,接下来我们将寻找 NNIE 的软件包,其中,有以下工具链: ① mapper(location:tool\nnie\linux\mapper),这个工具主要是可以将我们训练的模型转化成 Hi35xx 芯片或者仿真库可以加载的文件(.wk 后缀名) ② 仿真库(location:...

2020-04-21 16:59:34 1254

原创 华为海思 AI 芯片 (Hi3559A V100) 算法开发(一)资料以及术语介绍

摘要 最近着手在海思的 AI 芯片上实现算法,本次项目主要是实现智能门锁的人脸识别,不过我们不着急,先把与算法关系不大的部署工作完成,才能更好的进行后续的工作。工作开始前,日常在网上找资料,发现一位博主在一年前也同样进行了海思 AI 芯片的开发(只是型号不一致,博主的内容主要以 Hi3519AV100 为主),本着不重复造轮子的原则,会参阅该博主的许多内容,如果介意可...

2020-04-20 15:44:48 4364 7

原创 TensorFlow2.0 (4) dataset 使用

在第一章我们学会了用 TensorFlow2 来构建模型,第二章又学习了超参数搜索,第三章学会了 TensorFlow 基础 api 的实现。但想要训练出更好的模型,还有一步极其关键的步骤,数据的输入与处理,在实际工作项目中,数据的处理与输入甚至可能占用 60% 的时间。

2020-04-16 12:04:25 371

原创 TensorFlow2.0 (3) 基础 API 讲解

一、 @tf.function 引入

2020-04-16 11:53:32 370

原创 TensorfFlow2.0 (2) 超参数搜索代码实战

一、 概念 在神经网络中有许多参数,而超参数就是神经网络训练过程中不变的参数,也就是在训练之前设置好的参数, 而不是训练 得到的参数。比如说,神经网络结构:层数,宽度,激活函数、训练参数:batch_size,学习率,学习率衰减算法。 而超参数搜索就是让机器自己选择合适的...

2020-03-23 17:46:08 120

原创 TensorFlow2.0 (1) wide and deep 模型多输入代码详解

一、 wide and deep 1. 引入资源库import matplotlib as mpl # python 绘图库import matplotlib.pyplot as plt # python 2D 绘图库import numpy as np # 数学库,矩阵数组等import sklearnimport pandas as pd # 大数据处理模...

2020-03-09 09:24:49 717

原创 项目讲解-AVM 3D 全景泊车-畸变矫正(1)

1. 简介AVM 项目是为汽车的视野死角而设计的 360 °全景系统 ,让人可以观察到汽车的任意一个角落 ,在停车 ,狭小过道行驶 ,低障碍物较多的路面行驶等场景有丰富的作用 。让司机可以轻松的避免意外与危险 。目前项目已差不多完结 ,因内容较多 ,大体拆分为两部分来进行讲解 ,畸变矫正以及全景拼接 。本文主要讲解软件部分 ,硬件可各自修改移植。...

2019-12-30 15:45:08 1929

原创 BUG 修复-关于安装 OpenGL ES3.0 + VS2019 +windows10出现的模块计算机类型“x86”与目标计算机类型“X64”冲突的解决办法

按照网上的大部分的教程跑是没有问题的 ,但他们可能因为版本原因 ,在 CMake 中不需要多一步设定 ,我们使用新版本就会出现错误 ,因此 ,到这一步时需要多点击一下设定 ,(会节省半天时间)要将第二个框设定为 WIN32...

2019-12-02 10:32:58 332

原创 数学原理-数学原理链接

数学常识链接库 :拉格朗日乘子法 :https://www.matongxue.com/tags/47/泰勒公式 :推荐这个https://www.zhihu.com/question/25627482/answer/313088784 ( https://www.zhihu.com/question/2...

2019-09-19 15:23:35 105

VS平台工具集.zip

解压内容到VS所在盘(一般是C 盘 )C:\Program Files (x86)\MSBuild 即可

2020-05-16

python元胞自动机模拟生态环境草羊狼以及灰色关联等代码

美赛期间写了一天半的模拟生态元胞自动机,逻辑主体已完成,细节有bug,尚未修改.等待一个有缘人来将它完善.草每天自动寻找周围空地繁衍,羊找周围的草.没草就闲逛.狼找羊,会踩死草.生命算法历程代用了户口本,投胎转世的概念 附送svm,灰色关联,熵权法,等等小代码,

2019-01-29

hadoop环境搭建,机器部署以及 Linux 常用命令操作指南

hadoop 全套环境搭建指南,三台虚拟机环境准备 linux基础及shell增强 大数据集群环境准备 zookeeper介绍及集群操作 网络编程

2020-07-01

Python→Transorflow猫狗识别完整代码,附送500步训练模型。人工智能入门首选

最好联系书本学习,input是输入文件,evaluateCatorDog是主文件,traning是训练文件,model模型文件

2018-06-21

超100个微信小程序完整源码-1(有2部分,点我名字查找全部)

超100个微信小程序源码

2018-04-28

rocketmq-console.war 3.2.6 管控台war包

rocketmq 管控台中心, 部署到web容器修改相关nameserver配置即可

2018-04-28

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除