骆驼分析师的博客

原创 为什么取名骆驼？

为什么取名骆驼？因为尼采的三种境界：人的精神有三种境界：骆驼、狮子和婴儿。第一境界骆驼，忍辱负重，被动地听命于别人或命运的安排；第二境界狮子，把被动变成主动，由“你应该”到“我要”，一切由我主动争取，主动负起人生责任；第三境界婴儿 ，这是一种 “我是”的 状态，活在当下，享受现在的一切。 ——尼采​现在的我是在一个学习的阶段，不断地获取，不断地进步，所以非常符合骆驼的形象。我希望自

转载 python 项目自动生成requirements.txt文件

pip的freeze命令保存了保存当前Python环境下所有类库包，其它包括那些你没有在当前项目中使用的类库。（如果你没有的virtualenv）。使用 pipreqs 用于生成 requirements.txt 文件可以根据需要导入的任何项目。但有时你只想将当前项目使用的类库导出生成为 requirements.txt；pip的freeze命令只保存与安装在您的环境python所有软件包。使用方法：pipreqs 加上当前路径即可。为什么不使用pip的Freeze命令呢？

原创 TF2.0使用tf.data处理数据建模Demo

目录背景数据集特征处理模型构建及评估背景：很多TF模型的例子都是使用dataframe进行数据处理及读取的，在部署及大任务处理时可能会遇到需要特征额外处理及内存不足等问题，所以想直接使用tf.data将预处理及数据读取批次等问题直接处理掉。本Demo包含了以下完整代码：用tf.data建立了一个输入流水线（pipeline），用于对行进行分批（batch）和随机排序（shuffle）。 用特征列将 CSV 中的列映射到用于训练模型的特征。 用 Keras 构建，训练并..

转载 tf.tensordot运算(转)

版权声明：本文为博主原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/u013337743/article/details/98903601函数原型：tf.tensordot(a, b, axes)tensordot函数用来进行矩阵相乘，它的一个好处是：当a和b的维度不同时，也可以相乘。举例：1.import tensorflow as tfa = tf.ones(shape=[2,3,3]...

原创 强化学习在广告参数上的应用（未完待续）

前言：本文是根据个人自己看的blog及日常工作对其进行的一些总结。因为才疏学浅，如有不对之处，请发邮件指点liedward@qq.com。非常感谢帮忙指正错误。目录一、业务说明：二、数据模型抽象：三、强化学习算法说明四、例子：一、业务说明：搜索、推荐广告通常是一个多目标的需求。比如电商GMV公式通常如下：Ctr：一个item对应该用户的点击率预测Cvr：一个...

原创 deepFM论文学习

前言：deepFM结构比较清晰，更多信息可以参考最后github的代码。核心思想：在dl基础上增加了FM特征（结构非常类似wdl）。FM（linear+二介组合特征）细节：1、每个特征都是一个field 映射成embedding向量2、FM模型与deep part共享feature embedding3、不需要预训练FM得到隐向量4、论文给出的FM简化公式方便计算...

原创 youtube推荐系统论文学习

尽可能简明扼要，如有错误或我没有理解的地方请指点，互相讨论。原论文地址目录一、整体架构二、召回模块（match）三、排序模块（ranking）四、参考文献及额外知识点：一、整体架构YouTube推荐主要分为两块：1）match（召回） 2）ranking（排序）二、召回模块（match）核心思想：使用网络训练 用户向量U 和 视频向量V，线上使用使用to...

原创 《SSM到Spring Boot-从零开发校园商铺平台》课程学习笔记（一）

自行笔记使用。1-1 配置环境1、安装 tomcat https://blog.csdn.net/feng2qing/article/details/609685482、mac 安装jdk／maven／tomcat 以及eclipse相关配置 https://blog.csdn.net/yangkai_hudong/article/details/50130933 注意：1）Mac...

转载 Isolation Forest算法原理详解

转载：该博客我觉得是写Isolation Forest逻辑最为简介与清晰的，转载做收藏。本文只介绍原论文中的 Isolation Forest 孤立点检测算法的原理，实际的代码实现详解请参照我的另一篇博客：Isolation Forest算法实现详解。       或者读者可以到我的GitHub上去下载完整的项目源码以及测试代码（源代码程序是基于maven构建）： https://github.c...

原创 小D文稿

转载 textview文字对齐换行问题

半角转换为全角 /** * 半角转换为全角 * * @param input * @return */ public static String ToDBC(String input) { char[] c = input.toCharArray(); for (int i = 0

原创 Tensorflow学习笔记--使用迁移学习做自己的图像分类器（Inception v3）

本文主要使用inception v3的模型，再后面接一个softmax，做一个分类器。具体代码都是参照tf github。整体步骤：步骤一：数据准备，准备自己要分类的图片训练样本。步骤二：retrain.py 程序，用于下载inception v3模型及训练后面的分类器（可见最后的代码）步骤三：训练 命令步骤四：预测 prediction.py 程序，用于调用新生成的模

原创 Tensorflow学习笔记--MNIST LSTM分类器代码

前言：您通过学习LSTM知识后（http://www.jianshu.com/p/9dc9f41f0b29） 通过以下代码完成一次实践。dataguru-tf学习与应用 第7课课后习题：1.解释outputs和final_state有多少个维度，每个维度是代表什么。2.解释lstm网络的运行原理。

原创 Tensorflow学习笔记--cifar10 cnn分类器代码

数据集使用了cifar10数据，实现了一个cnn的分类器。1）下载地址：gti clone https://github.com/tensorflow/models.git 包含了cifar10等python包2）分层如下：conv1,pool1,norm1,conv2,norm2,pool2,local3,local4,logits3）其中用了多线程，如果使用with tf.Session() as sess 会报错，所以最后使用 sess = tf.InteractiveSession()4

原创 Tensorflow学习笔记--使用keras完成文本情感分类问题

代码记录# -*- coding:utf-8 -*-import numpy as npimport pandas as pdimport jiebaimport csvdf = pd.read_csv('train_data.csv',encoding='utf-8')df['label']=1df.loc[df['satisfaction_id']==1,['lab

原创 nn优化研究（二）

there is amazing question:from tensorflow.examples.tutorials.mnist import input_dataimport tensorflow as tfsess = tf.InteractiveSession()mnist = input_data.read_data_sets('MNIST_data',one_hot

原创 nn优化研究

使用mnist数据集与tensorflow工具做 神经网络的优化研究工作#方法一：nn结构 2层import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data #数据准备mnist = input_data.read_data_sets("MNIST_data",one_hot=True

原创 Tensorflow学习笔记--模型保存与调取

注：本文主要通过莫烦的python学习视频记录的内容，如果喜欢请支持莫烦python。谢谢目前tf的模型保存其实只是参数保存，所以保存文件时你特别要主要以下几点：1、一定要设定好参数的数据类型！2、设定参数的名称，并且一一对应！3、读取参数时，需要设定好模型图！下面做一个简单的demo，供各位参考：保存模型：import tensorflow as tf

原创 文本情感分析（一）

最近和小伙伴一起研究文本的情感分类，所以做一个记录。一、背景：       商品的评论信息，好评与差评约各20000条。二、目标：        根据现有的样本做一个分类器。三、方案：        方案一：情感类词库，进行线性求和。        方案二：句向量+传统机器学习分类器。        方案三：句向量+DNN分类器        方案四：词向量

原创 深度学习资料整理--有用的网站

深度学习资料的githubhttps://github.com/kjw0612/google公开论文（含deepmind）https://research.google.com/pubs/BrainTeam.html

原创 阿里小蜜技术学习笔记--知识点整理

简要：本文通过阿里技术公开的文章，对其知识点进行整理。供个人学习使用。1、阿里小蜜技术原文：http://www.infoq.com/cn/articles/electricity-supplier-intelligent-assistant/简单来说就是一套智能回答系统。知识点一，知识图谱：知识图谱：http://www.36dsj.com

原创 Tensorflow学习笔记--RNN精要及代码实现

RNN介绍代码实现

原创 TensorFlow学习笔记--CNN精要及实现

1、有了神经网络，为什么有CNN？如果全部使用神经网络，会导致权重过多，计算量增大，无法正常计算。CNN个人理解为特征的提取，在不损失太多信息量的情况下，减小权重数量，使得网络更容易迭代。最经典的可以如图所示：如果我们全部使用全连接，则对于图像的处理我们第一层就需要1亿个权重，我们使用了cnn，共享权重机制则只需要3.5W个权重。2、内存估算方法

原创 TensorFlow学习笔记--GPU报错upgrade your CuDNN library to match

在我使用线性回归做例子的时候GPU能正常运行，但在使用CNN时，神奇的事情发生了：Loaded runtime CuDNN library: 5005 (compatibility version 5000) but source was compiled with 5105 (compatibility version 5100).  If using a binary install, u

转载 TensorFlow学习笔记--比较细的知识点blog纪录

TensorFlow四种Cross Entropy算法实现和应用http://www.tuicool.com/articles/n22m2az

原创 TensorFlow学习笔记--mnist可视化版本

主要代码tensorflow的官网上都有，这个版本主要是增加了一些可视化的东西。方便观察一些变量。注：以下代码为1.0版本下

原创 TensorFlow学习笔记--1.0版本下的可视化

老版本的部分api已经不能使用，所以在此更新一个1.0版本的可视化模版本文章主要从一个神经网络为例子，然后分别展现2个版本：第一个是展现神经网络的结构，第二个是展现训练迭代的loss及权重图接下来我们对上面的代码进行一次可视化的修改：代码如下

原创 TensorFlow学习笔记--1.0 版本的一个小坑记录

主要是常用的api有一定的更改：tf.mul、tf.sub 和 tf.neg 被弃用，现在使用的是 tf.multiply、tf.subtract 和 tf.negative.新的版本中这些方法已经木有了~~~各位注意下。=======1.0更改的apiTensorFlow/models 被移到了一个单独的 GitHub repository.除法和

原创 Caffe学习笔记5--deploy文件的修改与使用

deploy文件的修改目是为了我们能够真正使用训练好的模型进行预测，输出概率及最佳结果的重要过程。问题背景：如我们前面已经生成了一个预测手写体识别的模型，我们现在如何预测某个人写的数字是多少呢？预测的概率是多少呢？最终解决的结果：为了达到以上的结果，我们需要做3步骤第一步，修改mnist_deploy.prorotxt文件第二步，编写test_m

原创 深度学习4--mnist运行测试

本文主要运行一个手写体数字识别的程序，熟悉一下整体caffe的运行过程。手写体数字数据库介绍：https://en.wikipedia.org/wiki/MNIST_database。主要就是标注了0~9的数字图片，我们可以运用机器学习的算法完成对图片识别的预测。主要分为3个步骤：1、获取数据 2、转换数据格式 3、训练 4、预测脚本代码如下：//获取数据$ ./data/m

原创 深度学习3--caffe的安装与测试(CPU版本)

caffe安装官网推荐：http://caffe.berkeleyvision.org/install_apt.html安装依赖库$ sudo apt-get install libprotobuf-dev libleveldb-dev libsnappy-dev libopencv-dev libhdf5-serial-dev protobuf-compiler$ sudo a

原创 深度学习2--安装opencv2.4（材料都在百度云上）

非常重要的前言：本人因为被坑过，所以建议各位最好在安装caffe第三方库前安装 opencv。主要原因是caffe官网要安装 apt-get install libopencv-dev 命令会导致你安装的opencv版本与此产生版本冲突，所以建议先安装opencv。不然你冲突了还要卸载重新安装，比较麻烦。注意：当你已经安装好opencv时，就不需要再需要apt-get install libo

原创 深度学习1--机器配置与双系统安装

本篇文章主要说明一下本人使用的机器配置及双系统的安装。

原创 Word2vec学习笔记

主要内容：1、什么是Word2vec？为什么要Word2vec？2、常规的做法有哪些及一些简单的介绍？3、NNLM的Word2vec原理及问题解决方案（原论文《Distributed Representations of Words and Phrases and their Compositionality》）4、Word2vec工具的使用

转载 [转]Auction算法介绍

注：阅读资料，无链接，感觉写得挺好的。一、传统拍卖竞价策略1、英式拍卖（English Auction）英式拍卖又叫公开增价拍卖OAB（Open Ascending Bid），卖家提供物品，在物品拍卖过程中，买家按照竞价阶梯由低至高喊价，出价最高者成为竞买的赢家。为了保证竞价收敛，一般会为竞价设定一个终止时间。2、荷兰式拍卖（Sealed-bid Auction

原创 数据结构学习笔记--队列

队列【引出队列】引子非常长~~~请耐心看问题背景：求杨辉三角形的第K层的所有元素的值。问题抽象：输入：一个数字K输出项：K个数字处理过程：如果我们要求第K层第I个数字时，我们需要先求Y[K-1,I-1] 和Y[K-1,I]的值。这个问题需要一层层往上，所以变成了一个递归。第一种方案：递归思想int32_t solve_one(int32_t k, int32_t

原创 数据结构学习笔记--栈

栈：【引出栈的概念】问题场景：括号是否合法，成对出现的？（）正确（（））正确（））错误（）））错误问题抽象：  输入项：一个字符串，里面含有一堆括号。  输出项：YES/NO，括号是否是成对出现的。  处理过程：每输入一个字符串，就判断这个字符串的中间是否存在某个位置，左括号的数量比右括号少。如果存在这样的一个位置，则返回NO，如果处理到末尾，左括号的数量不

原创 c++学习笔记（图书馆易简系统）

前言：该文章主要是学习与练习C++代码之用，涉及类、宏、控制语句等基础语法。主要实现用户注册，用户登入，图书馆增加图书，图书查询，数据库本地存储功能。PS：就是练习代码而已~#include #include #include #include #include #include #include #include #include #pragma comment(lib,"

原创 python学习笔记（继承）

继承：子类对父类属性和方法的共享。为什么要有继承？假设我们常常需要一个类的属性与方法，如果使用继承就可以方便的完成这个工作。如果没有继承那么就会重复很多代码。直接上代码讲解#父类class Bird(object): have_feather =True way_of_reproduction='egg' def move(self,dx,dy):

原创 python学习笔记（属性和方法）

属性和方法：类的属性是对数据的封装，方法则是对类的行为的封装一、属性1）公有属性：在类中和类外调用的属性2）内置属性：由系统在定义类的时候默认添加的，由前后两个下划线构成 比如：__dict__,__module__3）私有属性：不能被雷以外的函数调用，定义时在属性名前加__二、方法1）方法的定义：self作为第一个参数2）类方法也分为：公有方法和私有方法。