- 博客(44)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 Linux基础及常用命令
一. Linux shell脚本Linux kernel是统一的，但是shell有很多种，比如Bash、Zsh等。可执行程序一般有两种实现方式：一种是二进制方式，另一种是脚本(script)方式。二进制程序（如.exe文件）是已经编译完的程序，计算机可直接执行；脚本是由一条一条的命令组成的文本文件，脚本在执行时多了一道翻译的过程，所以它比二进制程序执行效率要稍低一些。shell脚本在本...
2019-03-30 20:51:58
718
原创 Elastic Search 学习笔记（三）分析与映射
1、精确值VS全文Elasticsearch 中的数据可以概括的分为两类：精确值和全文。精确值如它们听起来那样精确，例如日期或者用户 ID，但字符串也可以表示精确值，例如用户名或邮箱地址。对于精确值来讲，Foo和foo是不同的，2014和2014-09-15也是不同的。精确值很容易查询。结果是二进制的：要么匹配查询，要么不匹配。全文是指文本数据（通常以人类容易识别的语言...
2019-09-04 19:55:43
237
原创 Elastic Search 学习笔记（二）搜索
Elasticsearch 不只会存储（stores）文档，为了能被搜索到也会为文档添加索引（indexes），这也是为什么我们使用结构化的 JSON 文档，而不是无结构的二进制数据。文档中的每个字段都将被索引并且可以被查询。全文检索，可以找出所有匹配关键字的文档并按照相关性（relevance）排序后返回结果。1、空搜索搜索API的最基础的形式是没有指定任何查询的空搜索，它...
2019-09-03 14:55:35
389
原创 Elastic Search 学习笔记（一）基础入门
一、简介Elasticsearch 是一个开源的搜索引擎，建立在一个全文搜索引擎库Apache Lucene基础之上。Lucene 可以说是当下最先进、高性能、全功能的搜索引擎库--无论是开源还是私有。但是Lucene非常复杂，Elasticsearch内部使用 Lucene 做索引与搜索，使全文检索变得简单， 通过隐藏 Lucene 的复杂性，取而代之的提供一套简单一致的 RESTful ...
2019-08-30 18:53:01
352
原创 机器学习算法 -- SVM 详解
一、简介支持向量机（support vector machines）是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的原则是间隔最大化，最终转化为一个凸二次规划问题来求解。由简至繁的模型包括：当训练样本线性可分时，通过硬间隔最大化，学习一个线性可分支持向量机 当训练样本近似线性可分时，通过软间隔最大化，学习一个线性支持向量机 当训练样本线性不可分时，通过核技巧和软间隔最...
2019-01-12 17:12:04
1037
原创 机器学习之判别式模型和生成式模型
判别式模型与生成式模型的区别产生式模型(Generative Model)与判别式模型(Discrimitive Model)是分类器常遇到的概念，它们的区别在于：对于输入x，类别标签y：产生式模型估计它们的联合概率分布P(x,y)判别式模型估计条件概率分布P(y|x)判别式模型常见的主要有： Logistic Regression SVM Tradi...
2019-01-11 11:15:11
409
1
原创 计算机视觉基础题目
1. 颜色的三要素（three elements of color）：亮度(明度)、色调(色相)、饱和度(纯度)为颜色的三属性，又称颜色的三要素。2. 方向梯度直方图（Histogram of Oriented Gradient, HOG）特征HOG特征对光照不敏感；HOG是在图像的局部方格单元上操作，所以它对图像几何的和光学的形变都能保持很好的不变性；HOG表示的是边缘（梯度）的...
2019-01-09 20:56:34
6707
原创 numpy.where()用法详解
numpy.where()用法详解numpy.where() 有两种用法：1. np.where(condition, x, y)满足条件(condition)，输出x，不满足输出y。import numpy as npaa = np.arange(10)np.where(aa > 5,1,-1)# array([-1, -1, -1, -1, -1, -1, 1,...
2018-11-21 15:21:18
283
原创 使用sklearn解决机器学习问题
1.读入数据import pandas as pdhousing = pd.read_csv("/Users/ff/PycharmProjects/prac_skl/datasets/housing/housing.csv")2.观察数据# housing.head() 输出前5行数据及表头# housing.info() 输出每个特征的元素总个数及类型信息# housing...
2018-11-21 11:30:20
526
原创 np.random.shuffle与np.random.permutation的区别
shuffle与permutation的区别函数shuffle与permutation都是对原来的数组进行重新洗牌（即随机打乱原来的元素顺序）。区别在于shuffle直接在原来的数组上进行操作，改变原来数组的顺序，无返回值。而permutation不直接在原来的数组上进行操作，而是返回一个新的打乱顺序的数组，并不改变原来的数组。示例：import numpy as npa = n...
2018-11-21 10:42:00
1122
1
原创 Tensorflow 搭建自己的神经网络(二)
卷积神经网络：import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datamnist=input_data.read_data_sets('MNIST_data',one_hot=True)# 定义Weight变量.其中我们使用tf.truncted_normal产生随机变量来进行初...
2018-11-14 12:02:58
422
原创 Tensorflow 搭建自己的神经网络(一)
视频教程：https://www.bilibili.com/video/av16001891网站教程：https://morvanzhou.github.io/tutorials/machine-learning/tensorflow/神经网络的输入只能是数值型：BP神经网络反向的误差传播过程中有求导运算的，必须是连续可导的函数才能进行此运算，所以输入也必须是数值型的数据（向量或者矩阵）。...
2018-11-12 21:17:49
1810
原创 机器学习中的特征工程
特征工程的目的是把原始的数据转化为我们的模型可以使用的数据，其主要包括三个子问题，特征构造、特征提取和特征选择。特征构造一般是在原有特征的基础上做一些“组合”操作，例如对原有特征进行四则运算，从而得到新的特征。特征提取是指使用映射或变换的方法将维数较高的原始特征转换为维数较低的新的特征。特征选择即从原始的特征中挑选出一些最具有代表性，使得模型效果最好的特征。其中特征提取和特征选择最常使用。（1...
2018-11-12 14:41:36
347
转载 吴恩达《卷积神经网络》课程笔记归纳（四）-- 特殊应用：人脸识别与神经风格迁移
1. 什么是人脸识别首先简单介绍一下人脸验证（face verification）和人脸识别（face recognition）的区别。人脸验证：输入一张人脸图片，验证输出与模板是否为同一人，即一对一问题。 人脸识别：输入一张人脸图片，验证输出是否为K个模板中的某一个，即一对多问题。一般地，人脸识别比人脸验证更难一些。因为假设人脸验证系统的错误率是1%，那么在人脸识别中，输出分别与K...
2018-11-06 19:58:20
307
转载 吴恩达《卷积神经网络》课程笔记归纳（三）-- 目标检测
1. 目标定位前两节课程中，我们介绍的是利用CNN模型进行图像分类。除此之外，本周课程将继续深入介绍目标定位和目标检测（包含多目标检测）。标准的CNN分类模型我们已经很熟悉了，如下所示：原始图片经过CONV卷积层后，Softmax层输出4 x 1向量，分别是：注意，class label也可能是概率。上述四个向量分别对应pedestrain，car，motorcycle...
2018-11-06 19:24:03
382
转载 吴恩达《卷积神经网络》课程笔记归纳（二）-- 深度卷积模型：案例研究
1. 为什么要进行实例探究本周课程将主要介绍几个典型的CNN案例。通过对具体CNN模型及案例的研究，来帮助我们理解知识并训练实际的模型。典型的CNN模型包括：LeNet-5AlexNetVGG除了这些性能良好的CNN模型之外，我们还会介绍Residual Network（ResNet）。其特点是可以构建很深很深的神经网络（目前最深的好像有152层）。另外，还会介绍In...
2018-11-06 19:00:45
240
转载 吴恩达《卷积神经网络》课程笔记归纳（一）-- 卷积神经网络基础
1. 计算机视觉计算机视觉（Computer Vision）是深度学习应用的主要方向之一。一般的CV问题包括以下三类：Image Classification Object detection Neural Style Transfer下图展示了一个神经风格转换（Neural Style Transfer）的例子：使用传统神经网络处理机器视觉的一个主要问题是输入层维度很大。例如一...
2018-11-06 14:41:46
384
原创 推荐系统笔记
推荐引擎简介推荐引擎利用特殊的信息过滤（IF，Information Filtering）技术，将不同的内容（例如电影、音乐、书籍、新闻、图片、网页等）推荐给可能感兴趣的用户。通常情况下，推荐引擎的实现是通过将用户的个人喜好与特定的参考特征进行比较，并试图预测用户对一些未评分项目的喜好程度。参考特征的选取可能是从项目本身的信息中提取的，或是基于用户所在的社会或社团环境。根据如何抽取参考特征，...
2018-11-01 17:33:25
396
原创 Python深度学习
一.深度学习简介机器学习和深度学习的核心问题在于有意义地变换数据，换句话说，在于学习输入数据的有用表示(representation)——这种表示可以让数据更接近预期输出。深度学习是机器学习的一个分支领域:它是从数据中学习表示的一种新方法，强调从连续的层(layer)中进行学习，这些层对应于越来越有意义的表示。可以将深度网络看作多级信息蒸馏操作:信息穿过连续的过滤器，其纯度越来越高(即对任务的...
2018-10-24 19:25:26
2167
原创 利用Python进行数据分析
一.预备知识一些重要的Python库：NumpypandasmatplotlibScipyscikit-learnstatsmodels二.Python语言基础缩进 import 运算符（is is not） 数据类型：数值型 字符串 Bytes Unicode 时间类型 布尔型 空值（None）控制...
2018-10-18 22:19:03
931
原创 Hadoop学习笔记
一.初识HadoopHadoop为我们提供了一个可靠的且可扩展的存储和分析平台。shared-nothing(SN)架构：是一种分布式计算架构，这种架构中，每一个节点都是独立的，自给的，在系统中不存在单点竞争。这种架构中不存在集中存储的状态，整个系统中没有资源竞争。更明确地说，没有节点共享存储器和硬盘。shared noting在web应用中广泛使用，原因就在于它的可扩展性。...
2018-10-08 10:04:15
355
原创 机器学习中如何处理样本不均衡问题
问题所在：可以永远预测数据多的一方，准确率accuracy仍然会很高。假定样本数目A类比B类多，且严重不平衡：1. A类欠采样(Undersampling)1）随机欠采样2）A类分成若干子类，分别与B类进入ML模型3）基于聚类的A类分割2. B类过采样(Oversampling)可以避免欠采样造成信息丢失，但是随机过采样采取简单复制样本的策略来增加少数类样本，这样容易产...
2018-10-06 21:37:08
524
原创 神经网络中的激活函数
所谓激活函数（Activation Function），就是在人工神经网络的神经元上运行的函数，负责将神经元的输入映射到输出端，也叫激励函数。作用：因为线性模型的表达能力不够，引入激活函数是为了添加非线性因素。在神经网络中，每一层输出的都是上一层输入的线性函数，所以无论网络结构怎么搭，输出都是输入的线性组合。在我们面对线性可分的数据集的时候，简单的用线性分类器即可解决分类问题。但是现实...
2018-10-06 20:44:06
1023
原创 机器学习中的数据标准化和归一化
标准化标准化的方法是只用大数定理将数据转化为一个标准正态分布，标准化公式为： 其中xi是输入向量X的第i个特征，μi是所有xi的平均值,δi是这个特征的标准差。其称为Z-score 标准化(zero-mean normalization)，也叫标准差标准化，经过 Z-score 标准化后，各变量将有约一半观察值的数值小于0，另一半观察值的数值大于0，变量的均值为0，标准差为1。如果特征...
2018-10-06 19:30:51
863
原创 利用Python的WordCloud生成词云
python代码：from wordcloud import WordCloud,ImageColorGeneratorimport matplotlib.pyplot as pltfrom scipy.misc import imread #加载图片#读取一个txt文件，根据文本生成词云text = open('/Users/ff/Desktop/text_wordclou...
2018-10-04 17:41:27
742
原创 机器学习分类器的评价指标--混淆矩阵，F1-score，ROC曲线，AUC，KS曲线
1. 混淆矩阵---确定截断点后，评价学习器性能TP（实际为正预测为正），FP（实际为负但预测为正），FN（实际为正但预测为负），TN（实际为负预测为负）通过混淆矩阵我们可以给出各指标的值：查全率（召回率，Recall）：样本中的正例有多少被预测准确了，衡量的是查全率，预测对的正例数占真正的正例数的比率：查全率 = TP / (TP+FN)查准率（精准率，Precision...
2018-10-03 17:47:08
3274
原创 L0、L1、L2范数及正则化
范数对于一个向量来说是一个向量的长度（模），对于一个矩阵来说是矩阵中所有向量的长度的求和。在深度学习中，监督类学习问题其实就是在规则化参数同时最小化误差。最小化误差目的是让模型拟合训练数据，而规则化参数的目的是防止模型过分拟合训练数据。参数太多，会导致模型复杂度上升，容易过拟合，也就是训练误差小，测试误差大。因此，我们需要保证模型足够简单，并在此基础上训练误差小，这样训练得到的参数才能保证...
2018-10-02 21:55:29
817
原创 机器学习（数据挖掘）总结
一.“没有免费的午餐”(no free lunch,NFL)定理简单易懂的解释:1、一种算法（算法A）在特定数据集上的表现优于另一种算法（算法B）的同时，一定伴随着算法A在另外某一个特定的数据集上有着不如算法B的表现；2、具体问题（机器学习领域内问题）具体分析（具体的机器学习算法选择）。二.模型评估方法：1、留出法：将数据集划分为互斥的训练集和测试集。训练/测试集的划分要尽可能保持...
2018-09-26 16:50:40
2977
原创 推荐系统笔记（吴恩达）
问题阐述一.基于内容的推荐算法（为每个向量x增加一个截距特征1）这一种推荐系统是基于内容的, 在这个例子中, 我们使用一个特征向量来表示一部电影. 但是通常情况下, 我们没有这样的向量或者很难得到这样的向量. 这个时候我们就需要不是基于内容的推荐系统.二.协同过滤（Collaborative Filtering）特征学习：该算法能够自行学习所要使用的特征三.协同...
2018-09-21 11:18:39
474
原创 吴恩达《机器学习》课程笔记归纳（一）-- 初识机器学习
参考地址：https://github.com/fengdu78/Coursera-ML-AndrewNg-Notes1. 什么是机器学习一个年代近一点的定义，由 Tom Mitchell 提出，来自卡内基梅隆大学，Tom 定义的机器学习是，一个好的学习问题定义如下，他说，一个程序被认为能从经验 E 中学习，解决任务 T，达到性能度量值 P，当且仅当，有了经验 E 后，经过 P 评判...
2018-09-13 17:17:39
689
转载 吴恩达《神经网络与深度学习》课程笔记归纳（二）-- 神经网络基础之逻辑回归
参考的原博地址：https://blog.csdn.net/red_stone1/article/details/77851177上节课我们主要对深度学习（Deep Learning）的概念做了简要的概述。我们先从房价预测的例子出发，建立了标准的神经网络（Neural Network）模型结构。然后从监督式学习入手，介绍了Standard NN，CNN和RNN三种不同的神经网络模型。接着介绍了...
2018-09-11 12:15:41
434
转载 吴恩达《神经网络与深度学习》课程笔记归纳（三）-- 神经网络基础之Python与向量化
原博地址：https://blog.csdn.net/red_stone1/article/details/77929889上节课我们主要介绍了逻辑回归，以输出概率的形式来处理二分类问题。我们介绍了逻辑回归的Cost function表达式，并使用梯度下降算法来计算最小化Cost function时对应的参数w和b。通过计算图的方式来讲述了神经网络的正向传播和反向传播两个过程。本节课我们将来探...
2018-09-11 12:14:22
381
原创 Mac配置maven环境
1、下载Maven： http://maven.apache.org/download.cgi2、把下载到的压缩包解压到相应目录，比如直接解压到电脑根目录下，然后配置一下环境变量。看看~/下是否有.bash_profile文件，如果没有就创建一个，如果有直接在该文件下编辑，环境变量需要配置在这个文件中。创建文件：touch ~/.bash_profile打开文件： open .bash...
2018-07-20 19:47:30
179
1
原创 mac安装node.js，及第一个应用
首先进入node官网 https://nodejs.org/en/ 下载安装包下载好以后，无脑点击继续就好了。我们可以使用以下命令来查看当前的 Node 版本：node -v由于新版的nodejs已经集成了npm，所以之前npm也一并安装好了。同样可以通过输入 "npm -v" 来测试是否成功安装，出现版本提示表示安装成功。如果你安装的是旧版本的 npm，可以很容易得通过 ...
2018-07-19 21:18:56
822
转载 吴恩达《神经网络与深度学习》课程笔记归纳（一）-- 深度学习概述
本文旨在对吴恩达《神经网络与深度学习》课程第一课中所阐述的主要观点进行归纳和分析。若后续遇到无法理解的地方，可以通过查阅如下博客：http://blog.csdn.net/red_stone1/article/details/77799014 ，或者观看视频：http://study.163.com/my#/smarts。I. 什么是神经网络深度学习（Deep Learning）指的是训练...
2018-07-17 19:37:43
483
转载 CapsNet(Capsule Network)——胶囊网络原理
在讲胶囊网络之前，首先我们回顾一下我们熟悉的CNN。CNN做了什么事情呢? 假设这里有一个卷积核（左图），除了曲线轨迹上的值很大，其他的值都是零，所以这个卷积核对旁边这种曲线（右图）就有很高的输出，也就是说对这种曲线有很高的识别，而对其他的曲线类型输出就低。所以比如图像分类中，一旦卷积核检测到了类似于眼睛啊、鼻子啊、嘴巴啊这种特征；从数学角度上说就，相关卷积核对鼻子、眼睛等卷积出来的值很大，那么与...
2018-07-10 20:30:14
9667
1
转载 白话过拟合、欠拟合以及对应措施
开始我是很难弄懂什么是过拟合，什么是欠拟合以及造成两者的各自原因以及相应的解决办法，学习了一段时间机器学习和深度学习后，分享下自己的观点，方便初学者能很好很形象地理解上面的问题，同时如果有误的地方希望大家在评论区留下你们的砖头，我会进行纠正。无论在机器学习还是深度学习建模当中都可能会遇到两种最常见结果，一种叫过拟合（over-fitting ）另外一种叫欠拟合（under-fitting）。首先谈...
2018-07-04 12:44:18
300
转载 MAC激活PyCharm 2018
1. 修改 /etc 目录下的 hosts 文件sudo vim /etc/hosts2. 在hosts文件中添加以下信息0.0.0.0 account.jetbrains.com 3. 启动 pycharm 选择 Activate code 进行激活4. 复制以下信息EB101IWSWD-eyJsaWNlbnNlSWQiOiJFQjEwMUlXU1dEIiwibGljZW5zZWVOYW1lI...
2018-07-04 09:29:08
285
转载 Mac下安装MySQL
安装登录MySQL网站用dmg的方式安装。Download MySQL Community Server或者常规方式，打开官网 : http://www.mysql.com/downloads/ 进入, 点击下方的DOWNLOADS : MySQL Community Server选择dmg文件下载选择选择不登录,直接下载接着, 会跳转到如下页面, 你只需要选择不登录,直接下载即可记住临时密码下载...
2018-07-01 18:03:24
135
转载 Mac下安装及配置Eclipse
1.安装Eclipse前先确认你的Mac上是否已安装java运行环境。进入终端，输入”java -version”，如果返回了java版本号则说明已安装，否则，请先安装java运行环境： 2.访问eclipse官方首页http://www.eclipse.org/home/index.php ，点击右上角“Download”按钮: 3.这里列出了多种下载安装包，根据你的需求来选择。由于我们需要开发...
2018-06-28 21:36:04
295
空空如也
用java语言制作球星管理系统
2015-12-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人