- 博客(77)
- 收藏
- 关注
RSS订阅转载 Linux(CentOS)下安装NVIDIA GPU驱动
GCC官网：http://gcc.gnu.org1）检查NVIDIA驱动需要GCC等C/C++开发环境，首先检测GCC是否已经安装gcc –v# 如果系统显示没有找到GCC指令，或没有显示GCC版本信息，则需要安装C/C++环境2）安装# 使用yum命令安装yum -y install gcc gcc-c++ kernel-devel //安装gc...
2019-09-05 15:09:00
2998
转载 深度学习模型速度估计
Blog：http://machinethink.net/blog/how-fast-is-my-model/https://www.jianshu.com/p/0a195604c7ad在移动设备上运行深度学习时，模型预测的准确性并不是唯一要考虑的因素，还需要注意以下问题：在App发布包中占用的空间——单个模型有能会使你的App下载体积增加几百MB。运行时占用的...
2019-09-03 01:37:00
1979
转载 DL4J中文文档/Keras模型导入/函数模型
导入Keras函数模型假设使用Keras的函数API开始定义一个简单的MLP：from keras.models import Modelfrom keras.layers import Dense, Inputinputs = Input(shape=(100,))x = Dense(64, activation='relu')(inputs)predi...
2019-09-03 01:28:00
379
转载 模型评估与调参
Blog：https://www.jianshu.com/p/c4e24a6a9633https://www.cnblogs.com/jingsupo/p/9865464.html在用训练数据对模型进行拟合时会得到模型的一些参数，但将模型用于新数据时需重设这些参数，并且还需要评估这个模型的实用性。可以利用scikit-learn中的一些方法来达到这么目的。# 加载数...
2019-09-02 01:20:00
747
转载 文本挖掘
一、文本挖掘·概念文本挖掘是抽取有效、新颖、有用、可理解的、散布在文本文件中的有价值知识，并且利用这些知识更好地组织信息的过程，是从文本数据中获取有价值的信息和知识，它是数据挖掘中的一种方法。文本挖掘中最重要最基本的应用是实现文本的分类和聚类，前者是有监督的挖掘算法，后者是无监督的挖掘算法。文本挖掘是信息挖掘的一个研究分支，用于基于文本信息的知识发现。文本挖掘利用智能算法，如神经...
2019-09-01 14:52:00
3519
转载 Python接口开发
一、flaskflask是一个python编写的轻量级框架，可以使用它实现一个网站、web服务。用flask开发接口的流程为：1、定义一个serverserver=flask.Flask(__name__) #__name__代表当前的python文件。把当前的python文件当做一个服务启动2、然后定义接口函数，一般函数和接口函数的区别在于，定义为接口的函数...
2019-08-31 23:53:00
187
转载 使用Python的文本挖掘的特征选择/提取
在文本挖掘与文本分类的有关问题中，文本最初始的数据是将文档表示成向量空间模型的一个矩阵，而这个矩阵所拥有的就是不同的词，常采用特征选择方法。原因是文本的特征一般都是单词(term)，具有语义信息，使用特征选择找出的k维子集，仍然是单词作为特征，保留了语义信息，而特征提取则找k维新空间，将会丧失了语义信息。当然，另一方面，在处理文本时，对于我们来说，已经拥有将不同词在低维空间上总结归纳...
2019-08-31 23:14:00
1951
转载 数据预处理与特征工程
特征工程特征是数据中抽取出来的对结果预测有用的信息，可以是文本或者数据，数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已，因此有必要进行特征工程，其目的就是最大限度地从原始数据中筛选出更好的特征，获取更好的训练数据，以供算法和模型使用。因为好的特征具有更强的灵活性，可以用简单的模型做训练，更可以得到优秀的结果。“工欲善其事，必先利其器”，特征工程可以理解为利其器的过程...
2019-08-31 15:37:00
1324
转载 Keras模型训练的断点续训、早停、效果可视化
训练：model.fit()函数fit(x=None, y=None, batch_size=None, epochs=1, verbose=1, callbacks=None, validation_split=0.0, validation_data=None, shuffle=True, class_weight=None, sample_weight=None, ...
2019-08-30 11:40:00
6578
转载 Git LFS的使用
Git LFS简介帮助文档：https://coding.net/help/doc/git/git-lfs.htmlGit LFS是Github开发的一个Git的扩展，用于实现Git对大文件的支持LFS是Git的一个扩展，所以没有改变Git的工作方式，其是把指定需要LFS管理的文件替换成了一个指针文件交给Git进行版本管理在pull/push等这些操作中，LFS又...
2019-08-28 10:17:00
480
转载 使用GPU训练TensorFlow模型
查看GPU-IDCMD输入：nvidia-smi观察到存在序号为0的GPU ID观察到存在序号为0、1、2、3的GPU ID在终端运行代码时指定GPU如果电脑有多个GPU，Tensorflow默认全部使用。如果想只使用部分GPU，可以设置CUDA_VISIBLE_DEVICES命令行输入：# 指定采用1号GPU运行*.pyCUDA_...
2019-08-27 10:42:00
3772
转载 使用Python基于TensorFlow的CIFAR-10分类训练
TensorFlow ModelsGitHub：https://github.com/tensorflow/modelsDocument：https://github.com/jikexueyuanwiki/tensorflow-zhCIFAR-10 数据集Web：http://www.cs.toronto.edu/~kriz/cifar.html目标：（建立一...
2019-08-27 02:47:00
668
转载 使用Python基于百度等OCR API的文字识别
百度OCRBaidu OCR API：一定额度免费，目前是每日500次Python SDK文档：https://cloud.baidu.com/doc/OCR/OCR-Python-SDK.html安装使用1）首先注册一个百度云BCE账号登录官网https://cloud.baidu.com/ --> 右上角‘管理控制台’ --> 产品服务 --> ...
2019-08-26 10:12:00
600
转载 基于Keras的OpenAI-gym强化学习的车杆/FlappyBird游戏
强化学习课程：Q-Learning强化学习(李宏毅)、深度强化学习强化学习是一种允许你创造能从环境中交互学习的AI Agent的机器学习算法，其通过试错来学习。如上图所示，大脑代表AI Agent并在环境中活动。当每次行动过后，Agent接收到环境反馈。反馈包括回报Reward和环境的下个状态State，回报由模型设计者定义。如果类比人类学习自行车，可以将车从起始点到当前位...
2019-08-23 13:03:00
1831
转载 使用Python基于VGG/CTPN/CRNN的自然场景文字方向检测/区域检测/不定长OCR识别
GitHub：https://github.com/pengcao/chinese_ocrhttps://github.com/xiaofengShi/CHINESE-OCR|-angle 基于VGG分类模型的文字方向检测预测|-bash 环境安装|----setup-python3.sh 安装python3环境|----setup-python3-cpu.sh 安装CPU环境...
2019-08-13 00:07:00
2193
转载 深度学习文字识别
Blog：https://blog.csdn.net/implok/article/details/95041472步骤：文字识别是AI的一个重要应用场景，文字识别过程一般由图像输入、预处理、文本检测、文本识别、结果输出等环节组成。分类：文字识别可根据待识别的文字特点采用不同的识别方法，一般分为定长文字、不定长文字两大类别。定长文字（例如手写数字识别、验证码），由...
2019-08-11 23:57:00
5964
转载 使用Python基于OpenCV的验证码识别
Blog：https://blog.csdn.net/qq_40962368/article/details/89312429（Verification_Code_Identification）步骤：（1）获取批量验证码图片（利用某高校登录页面的验证码图片）（2）为验证码图片做信息标注（手动标记，要确保百分百正确）（3）利用Tesseract-OCR对验证码图片进行识别并...
2019-08-06 11:11:00
1622
转载 使用Python基于OpenCV的图像油画特效
算法步骤：1、获取图像的灰度图片2、设计一个小方框(4x4/8x8 /10x10等)，统计每个小方框的像素值3、将0-255的灰度值划分成几个等级，并把第二步处理的结果映射到所设置的各个等级中，并计数4、找到每个方框中灰度等级最多的所有的像素，并且求取这些像素的均值5、用统计出来的平均值来替代原来的像素值import cv2import numpy as ...
2019-08-06 00:54:00
1590
转载 使用Python基于HyperLPR/Mask-RCNN的中文车牌识别
基于HyperLPR的中文车牌识别Bolg：https://blog.csdn.net/lsy17096535/article/details/78648170https://www.jianshu.com/p/7ab673abeaaeGitHub：https://github.com/zeusees/HyperLPRHyperLPR简介HyperLPR是开源的基于...
2019-08-05 08:41:00
1259
转载 使用Python基于OpenCV和Tesseract的OCR
OCROCR(Optical Character Recognition,光学字符识别)是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程。Tesseract(识别引擎)简介Tesseract是一款由HP实验室开发由Google维护的开源OCR引擎，当时在1995年已经成为OCR业内最准确...
2019-08-02 16:58:00
397
转载 使用Keras基于AdvancedEAST的场景图像文本检测
Blog：https://blog.csdn.net/linchuhai/article/details/84677249GitHub：https://github.com/huoyijie/AdvancedEAST自然场景文本检测自然场景文字是图像高层语义的一种重要载体，自然场景文本检测是图像处理的核心模块，近年来ICDAR的历界比赛成绩不断提升：Result：http...
2019-08-02 16:45:00
985
转载 使用Keras基于RCNN类模型的卫星/遥感地图图像语义分割
遥感数据集1. UC Merced Land-Use Data Set图像像素大小为256*256，总包含21类场景图像，每一类有100张，共2100张。http://weegee.vision.ucmerced.edu/datasets/landuse.html2. WHU-RS19 Data Set图像像素大小为600*600，总包含19类场景图像，每一类大概...
2019-08-02 11:20:00
5194
转载 基于FCN的图像语义分割
语义图像分割的目标在于标记图片中每一个像素，并将每一个像素与其表示的类别对应起来。因为会预测图像中的每一个像素，所以一般将这样的任务称为密集预测。(相对地，实例分割模型是另一种不同的模型，该模型可以区分同一类的不同目标）常见应用自动驾驶汽车：我们需要为汽车增加必要的感知，以了解他们所处的环境，以便自动驾驶的汽车可以安全行驶；下图为自动驾驶过程中实时分割道路场景；...
2019-07-29 17:10:00
1019
转载 传统与深度学习图像分割算法
Blog：https://blog.csdn.net/qq314000558/article/details/816326931998年以来，人工神经网络识别技术已经引起了广泛的关注，并且应用于图像分割。基于神经网络的分割方法的基本思想是通过训练多层感知机来得到线性决策函数，然后用决策函数对像素进行分类来达到分割的目的。这种方法需要大量的训练数据。神经网络存在巨量的连接，容易引入空间...
2019-07-29 11:45:00
9198
转载 基于VS搭建OpenCV环境
OpenCVOpenCV的全称是Open Source Computer Vision Library，是一个跨平台的计算机视觉库。OpenCV是由英特尔公司发起并参与开发，以BSD许可证授权发行，可以在商业和研究领域中免费使用。OpenCV可用于开发实时的图像处理、计算机视觉以及模式识别程序。该程序库也可以使用英特尔公司的IPP进行加速处理。OpenCV用C++语言编写，它的主要接...
2019-07-25 14:30:00
468
转载 计算机视觉领域研究问题
一、图像分类图像分类主要是基于图像的内容对图像进行标记，通常会有一组固定的标签，通过模型预测出最适合图像的标签。比赛：ImageNet挑战赛（约有1400万张图像，超过20000个图像标签）模型：AlexNet、GoogLeNet、VGGNet、ResNet二、图像说明计算机视觉+自然语言处理，例如，为图像生成一个最适合图像的标题图像说明是基本图像检测...
2019-07-23 17:02:00
696
转载 基于Hadoop伪分布式集群搭建Spark
一、前置安装1）JDK2）Hadoop伪分布式集群二、Scala安装1）解压Scala安装包2）环境变量SCALA_HOME = C:\ProgramData\scala-2.10.6Path = %SCALA_HOME%\bin3）测试三、Spark安装1）解压Spark安装包2）环境变量SPARK_HOME = C:\P...
2019-07-23 11:01:00
593
转载 Hadoop单机模式/伪分布式模式/完全分布式模式
一、Hadoop的三种运行模式（启动模式）一.单机(非分布式)模式 这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。默认情况下，Hadoop即处于该模式，用于开发和调式。不对配置文件进行修改。使用本地文件系统，而不是分布式文件系统。Hadoop不会启动NameNode、DataNode、JobTracker、TaskTrac...
2019-07-23 10:38:00
1025
转载 MacOS上安装Anaconda+Pycharm+TensorFlow+Keras
一、安装Anaconda登录https://www.anaconda.com/download/#macos，下载Anaconda3-5.3.1-MacOSX-x86_64.pkg二、安装Pycharm登录https://www.jetbrains.com/pycharm/download/#section=mac，下载pycharm-community-2018.3.dmg...
2018-12-04 13:11:00
519
转载 Keras深度学习
一、Keras中的不同优化器测试梯度下降（Gradient Descent，GD），含有单一变量w的一般成本函数C(w)：梯度下降可以看作是一名要从山上到山谷的背包客，山上表示成函数C，山谷表示成最小值Cmin，背包客的起点为w0。 背包客慢慢移动，对每一步r，梯度就是最大增量的方向。从数学上讲，该方向就是在步r到达的点wr上求得的偏导数。 因此，通过走相反的方向，背包客可以...
2018-08-28 21:51:00
228
转载 Python数据结构
栈栈(stacks)是一种只能通过访问其一端来实现数据存储与检索的线性数据结构，具有后进先出(last in first out，LIFO)的特征。利用Python列表实现栈的数据结构。stack通常的操作：Stack() 建立一个空的栈对象push() 把一个元素添加到栈的最顶层pop() 删除栈最顶层的元素，并返回这个元素pee...
2018-08-28 15:44:00
156
转载 将奇异值分解应用于缺失值填补
SVD奇异值分解算法：用于矩阵近似问题。假设矩阵可以分解成三个矩阵的乘积。其中第一个矩阵是一个方阵，并且是正交的，中间的矩阵通常不是方阵，它对角线上的元素都是由原矩阵的特征值构成的，第三个矩阵也是一个方阵，并且也是正交矩阵。分解时，中间的矩阵不取全部的特征值，而是只取前面若干个最大的特征值，这样就可以对原矩阵进行近似了，两个矩阵之间的近似度一般用Frobenius 范数来...
2018-08-28 10:54:00
1282
转载 对比XGBoost与深度学习
观点1：XGBoost要比深度学习更重要。2016年Kaggle大赛29个获奖方案中，17个用了XGBoost。因为它好用，在很多情况下都更为可靠、灵活，而且准确；在绝大多数的回归和分类问题上，XGBoost的实际表现都是顶尖的。观点2：针对非常要求准确度的那些问题，XGBoost确实很有优势，同时它的计算特性也很不错。然而，相对于支持向量机、随机森林或深度学习，XGBoost的优势...
2018-08-28 10:42:00
3090
转载 PythonError解决方案
# Pip Errorpip install *error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”: http://landinghub.visualstudio.com/visual-cpp-build-tools方法11.访...
2018-05-10 18:36:00
144
转载 反向传播算法-损失函数&激活函数
在监督学习中，传统的机器学习算法优化过程是采用一个合适的损失函数度量训练样本输出损失，对损失函数进行优化求最小化的极值，相应一系列线性系数矩阵W，偏置向量b即为我们的最终结果。在DNN中，损失函数优化极值求解的过程一般采用梯度下降法、牛顿法或拟牛顿法等迭代方法来迭代完成。对DNN的损失函数用梯度下降法进行迭代优化求极小值的过程即为反向传播算法，可以使用多种损失函数和激活函数。1. 均...
2018-03-22 11:03:00
1730
转载 独热码-离散特征处理
一、独热码独热码(one-hot code)，直观来说就是有多少个状态就有多少比特，而且只有一个比特为1，其他全为0的一种码制。机器学习中，对于离散型的类别数据，需对其进行数字化。比如数字化性别属性，有男性、女性及其他三种值，最简单的数字化表达是设置男性为0，女性为1，其他为2，但使用该简单的序列对分类值进行表示后，进行模型训练时可能会产生一个问题就是特征因为数字值不同影响模...
2018-03-22 10:24:00
223
转载 数据集汇总
一、免费大数据存储库的网站1、深度学习数据集收集网站http://deeplearning.net/datasets/**收集大量的各深度学习相关的数据集，但并不是所有开源的数据集都能在上面找到相关信息。2、Tiny Images Datasethttp://horatio.cs.nyu.edu/mit/tiny/data/index.html包含8000万的32x3...
2018-02-04 16:04:00
2060
转载 GitHub编辑README.md
一、标题等级表示法（六级）：#一级标题 ##二级标题 ###三级标题 ####四级标题 #####五级标题 ######六级标题 一级标题/大标题（文本下面加上等于号）：大标题 ===二级标题/中标题（文本下面加上减号）：中标题 ---注意：区分上下两种不同的布局方式，需在两种布局之间补一个空...
2018-01-22 15:27:00
78
转载 Windows7下Pycharm安装Keras
1.安装Anaconda32.安装Pycharm3.安装TensorFlow一、File -> Settings -> Install二、搜索TensorFlow -> Install Package三、安装完成4.安装Keras打开Anaconda Prompt，输入：pip install keras5.测...
2018-01-19 14:23:00
575
转载 Github上传本地项目
GitHub是基于Git实现的代码托管，Git是目前最好用的版本控制系统。一、创建Repository(仓库)创建仓库信息，仓库名必填。创建成功后，会有一个仓库地址。二、安装即配置Git客户端官方下载地址：http://git-scm.com/download/。按默认安装客户端安装路径避免中文路径。安装组件有：1）图标组件(Addition ...
2018-01-09 17:04:00
82
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人