- 博客(77)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 【Python】安装.whl类库报错“XXX is not a supported wheel on this platform”的解决方案
问题今天在部署系统时，需要安装类库“MarkupSafe-1.1.1-cp37-cp37m-macosx_10_6_intel.whl”，在CentOS7.6系统执行安装命令“pip3 install MarkupSafe-1.1.1-cp37-cp37m-macosx_10_6_intel.whl”，提示错误。解决经查阅资料，修改包名“MarkupSafe-1.1.1-cp37-cp37m-macosx_10_6_intel.whl”至“MarkupSafe-1.1.1-cp37-none
2020-09-07 18:26:18
2431
1
原创 【Python】cx_oracle报错"DatabaseError: DPI-1047: 64-bit Oracle Client library cannot be loaded: "
记得2016年使用cx_Oracle类库访问Oracle时就出现过错误，近期在新电脑部署环境时又出现种种问题。现记录如下，供以后查阅。遇到问题使用pip命令安装cx_Oracle类库很顺利，当执行Python脚本对Oracle数据库进行访问时，一直出现"DatabaseError: DPI-1047: 64-bit Oracle Client library cannot be loade...
2020-01-01 10:33:52
2988
原创 下载XXX不安全，SmartScreen筛选器已阻止下载
先说遇到的问题：1、使用Google Chrome浏览器自带的下载功能，去下载软件，下载速度很慢（30M的东西可能要几个小时），并且在快要下载成功后，突然提示“失败 已被禁止”；2、使用IE浏览器自带功能下载软件，在点击保存按钮时，出现“下载XXX不安全，SmartScreen筛选器已阻止下载”错误；以上两种情况解决方案：Internet选项---高级---去掉“启动Sma...
2019-12-31 19:34:17
1974
原创 【TensorFlow】 利用LSTM进行情感分析
深度学习技术发展到今天，在图像、语音、自然语言处理（natural language processing，NLP）领域有很多的应用。由于人类语言的多样性、多意性，使得NLP的难度成倍增加。例如由相同的三个字形成的组合“不怕辣”、“辣不怕”、“怕不辣”、“怕辣不”表达了不同的含义。有些话还要结合当时的语境进行理解，否则得到的结果谬之千里，比如：“中国乒乓球谁也打不过”、“中国足球谁也打不过”。本文...
2019-12-25 18:50:48
5128
4
原创 【TensorFlow】 基于LSTM的行为识别
简介本文基于LSTM来完成用户行为识别。数据集来源：https://archive.ics.uci.edu/ml/machine-learning-databases/00240/此数据集一共有6种行为状态：行走； 站立； 躺下； 坐下； 上楼； 下楼；以上6种行为数据是通过传感器进行采集的。.\data\UCI HAR Dataset\train\Inertial S...
2019-12-16 19:51:30
5423
5
原创 【MongoDB】Studio 3T使用技巧--JavaScript, Java, Python, C# and PHP代码自生成
近期经常查询MongoDB数据库，由于MongoDB的查询语法和SQL不同，所以写起来比较别扭，还好有一个可视化的查询工具Studio 3T，在使用此工具时，逐渐找到了一些技巧、特异功能，现整理如下，便查阅防遗忘。我使用的工具版本为：1、使用IntellShell查询：右键想查询的Collections（类似“表”），选择“Open IntellShell”。即可输入相应的...
2019-12-11 18:35:54
2500
原创 【Python】matplotlib类库画图常用设置
使用matplotlib画图时，遇到如下问题：给图加个标题； 设置x、y轴坐标含义； 设置x、y最小刻度值； x轴使用日期表示，如12-03， 12-04等； 中文正常显示； 3个数据按照一定顺序同时显示在一个图中。实现：import matplotlib.pyplot as pltimport matplotlibimport datetimefrom matplot...
2019-12-03 18:42:19
396
原创 【Python】datetime、time类库常见日期计算
在处理时间序列时，经常会有日期计算，现整理常见日期计算的方法，防止遗忘。今天 today = datetime.date.today()， 昨天 yesterday = today - datetime.timedelta(days=1) 上个月last_month = today.month - 1 if today.month - 1 else 12 当前时间戳 time_sta...
2019-12-03 18:18:15
1798
原创 【sklearn】GBDT（Gradient Boosting Decision Tree） - 预测在网具有单卡转合约倾向的客户
本文主要完成如下内容简单介绍GBDT； 介绍sklearn中GBDT算法（GradientBoostingClassifier）的参数； 介绍使用pandas模块分析训练数据的方法； 介绍使用网格搜索对GBDT调参的方法技巧；GBDT介绍GBDT全称梯度下降树，可以用于分类（做二分类效果还可以，做多分类效果不好）、回归（适合做回归）问题，也可以筛选特征。本次使用GBDT解决分类、特...
2019-10-09 16:39:56
3553
2
原创 【TensorFlow】对抗生成网络（DCGAN）- 根据MNIST数据集模拟生成数字手写体实战
《文章》介绍了使用全连接构建对抗生成神经网络GAN，本文介绍基于卷积构建对抗生成神经网络DCGAN（深度卷积对抗生成网络，Deep Convolutional Generative Adversarial Networks）。DCGAN的特点判别模型：使用带步长的卷积（strided convolutions）取代了的空间池化（spatial pooling）,容许网络学习自己的空间下采样...
2019-09-30 19:23:08
1279
原创 【TensorFlow】对抗生成网络（GAN）- 根据MNIST数据集模拟生成数字手写体实战
简介简单的说，对抗生成网络就是真和假之间的对抗。造“假”水平不断提高，以此瞒过“真”的眼睛；辩“真”能力不断提高，以此识别出“假”。两股力量不断博弈，最后达到以假乱真的目的。生成器G（造假） ：生成的结果越真越好，可以以假乱真。达到瞒天过海，骗过判别器的目的 判别器D（打假）：具有火眼金睛，分辩真假的能力越强越好。分辨出生成和真实的 损失函数：一方面要让判别器分辨能力更强，另一方面要让...
2019-09-30 15:34:19
1652
3
原创 【django】django类库安装遇到问题解决FileNotFoundError: [Errno 2] NO such File pytz-2019.2.dist-info\METADATA
背景领导要求做个前台web页面，以实现AI运维的可视化，于是尝试使用Django框架。使用框架之前需要安装Django，于是一串的问题出现了。安装Django安装一个类库有啥难的，pip不就行了么？带着这个想法，于是一串的坑就出现了。。。方法一：使用最原始的pip命令安装，pip install django，然后出现一个错误：WARNING: No metadata f...
2019-09-29 15:37:55
2959
原创 【lightfm】推荐算法（协同过滤）实践 - 视频喜好推荐
推荐算法的种类推荐算法是个大的范围，里面包括了很多小的算法，具体算法分类见下：协同过滤是推荐算法中目前最主流的种类，花样繁多，在工业界已经有了很多广泛的应用。它的优点是不需要太多特定的领域知识，可以通过基于统计的机器学习算法来得到较好的推荐效果。最大的优点是工程上容易实现，可以方便应用到产品中。目前绝大多数实际应用的推荐算法都是协同过滤推荐算法。目的本实验基于开源的MovieL...
2019-09-23 19:34:09
3398
1
原创 【sklearn】K-Means聚类与PCA降维实践 - 用户信用分群和分析
目的本实验使用电信用户的通信行为数据集，进行用户信用分群和分析。由于是没有标注的训练样本，使用降维和聚类等无监督方法将用户进行分群，然后对不同群体数据进行人工分析，确定群体的信用行为特点。数据本实验中数据集来自开源的电信用户的通信行为数据集，共30000条数据，7个字段：入网时间、套餐价格、每月流量、每月话费、每月通话时长、欠费金额、欠费月份数。实现代码import pand...
2019-09-18 18:14:53
6443
31
原创 【sklearn】SVM（支持向量机） - 预测在网具有单卡转合约倾向的客户
训练数据本实验的特征维度取自实际工程，但具体数据纯属模拟，只是想以此对SVM理论进行一次实践。数据集-数据字典 序号 名称 说明 类型 备注 1 user_id 用户标识 int 2 service_kind 业务类型 string 2G、3G、4G 3 call_duration 主叫时...
2019-09-16 23:37:48
628
原创 【sklearn】随机森林 - 预测用户是否离网
目的本文使用Python的sklearn类库，基于对随机森林算法的理论学习，利用工程中的数据，以此来对随机森林的理论知识进行一次实践总结。利用过往1年的数据训练专家系统，目的是判断用户3个月内是否会离网。训练集主要来自工程中的数据集，一共100万条样本数据，16个维度。实现导入依赖类库：#!-*- coding:utf-8 -*-import pandas as pd...
2019-09-15 18:23:41
1080
原创 【sklearn】线性回归 - 预测波士顿房价
目的本文使用Python的sklearn类库，基于对机器学习线性回归算法的理论学习，利用sklearn中集成的波士顿房价数据，以此来对线性回归的理论知识进行一次实践总结。本文不以预测的准确率为目的，只是简单的对机器学习的线性回归等理论知识进行一次实践总结，以此来体验下sklearn类库的使用方法。美国波士顿房价的数据集是sklearn里面默认的数据集，sklearn内置的数据集都位于d...
2019-09-14 14:50:37
13371
1
原创 【TensorFlow】4位纯数字或数字字母组合验证码识别
本文做了一个识别简单验证码的小例子，具体思路如下：使用captcha类库随机生成4位纯数字或数字、大小写组合的验证码； 以第一步生成的验证码为训练数据，对3层卷积、2层全连接模型进行训练； 当训练的正确率达到规定的阈值时，保存模型，并停止训练。说明：若验证码为4位纯数字，则模型要完成的分类数为4*10=40分类任务； 若验证码为4为数字+大写+小写组成，则为4*(10+26+26)...
2019-09-13 21:32:54
4374
原创 【TensorFlow】用TFRecord方式对数据进行读取（二）
笔记《【TensorFlow】用TFRecord方式对数据进行读取（一）》讲述了如何生成TFRecord文件。那么如何读取生成的文件进行模型训练呢？且往下看。本文读取TFRecord的方法大致如下：构建.tfrecord文件的文件路径列表filenames 使用string_input_producer(filenames)方法生成一个文件名队列filename_queue 使用pre...
2019-09-03 17:58:34
461
原创 【TensorFlow】用TFRecord方式对数据进行读取（一）
在做深度学习项目时，在模型训练前，通常要对训练/验证图像进行读取操作。之前博文《TensorFlow 卷积神经网络 - 猫狗识别》使用的是OpenCV读取的方式。使用OpenCV把图像读成矩阵形式当然可以满足模型训练的要求，此方式在处理小批量图像时还可以，如果处理大批量图像，就显得有点慢了。对于大型项目、大批量的图像，经常用TFRecord的方式对数据进行读取。TFRecord是TensorF...
2019-08-28 12:57:08
2444
原创 【Python】range()、np.arange()、np.linspace()、np.logspace()的使用和区别
近期在调试深度学习相关的代码时，经常隔三差五遇到range()、np.arange()、np.linspace()、np.logspace()一系列的函数，每次遇到后，当时貌似理解了，但是过段时间又忘了，并且这几个函数看起来还长的差不多，虽然实现的功能看起来挺相似，但是他们之间还是有很多细微的区别。毫不夸张的说，每次见到，每次好像都懂，但是呢，每次貌似又不确定，每次还是懵的、大脑还是混淆的。...
2019-08-27 19:41:08
9077
3
转载 【TensorFlow】tf.app.flags.FLAGS和tf.app.flags.DEFINE_XXX()
tf.app.flags.DEFINE_xxx()就是添加命令行的optional argument（可选参数），而tf.app.flags.FLAGS可以从对应的命令行参数取出参数。tf 中定义了 tf.app.flags.FLAGS ，用于接受从终端传入的命令行参数，相当于对Python中的命令行参数模块optpars（参考：《【Python】optparse模块 - 处理命令行参数》）...
2019-08-26 15:52:59
757
1
转载 【Python】optparse模块 - 处理命令行参数
optparse是python中用来处理命令行参数的模块，可以自动生成程序的帮助信息，功能强大，易于使用，可以方便的生成标准的，符合Unix/Posix 规范的命令行说明。使用add_option()来加入选项，使用parse_args()来解析命令行。add_option()中参数：add_option(self, *args, **kwargs)第一个参数表示optio...
2019-08-26 11:55:07
1672
原创 【TensorFlow】使用RNN预测时间序列
现有一个时间序列international-airline-passengers.csv，怎么使用RNN来预测呢？本文就对其进行详细的阐述。本时间序列一共144行，数据量很小，但是用其来学习RNN的使用已经足够了。使用RNN预测时间序列的整体思路是：取时间序列的第二列（international-airline-passengers.csv的第一列数据为时间，未在本次程序中使用），...
2019-08-07 17:17:42
8074
3
原创 【TensorFlow】TensorBoard的使用（四）
在《【TensorFlow】TensorBoard的使用（三）》中讲述了如何增加TensorBoard所展示的参数。本文旨在讲述如何让TensorBoard帮我们进行参数的选择。主要增加如下信息：设置不同的学习率：for learning_rate in [1E-4, 1E-3, 1E-2]: 设置不同的全连接层：for use_two_fc in [True, False]: 设置不...
2019-08-06 17:06:28
2830
2
原创 【TensorFlow】tf.reset_default_graph()函数
如下是官网对tf.reset_default_graph()函数描述的翻译：tf.reset_default_graph函数用于清除默认图形堆栈并重置全局默认图形。注意：默认图形是当前线程的一个属性。该tf.reset_default_graph函数只适用于当前线程。当一个tf.Session或者tf.InteractiveSession激活时调用这个函数会导致未定义的行为。调用此函数后...
2019-08-06 16:21:11
43510
9
原创 【TensorFlow】TensorBoard的使用（三）
在《【TensorFlow】TensorBoard的使用（二）》中讲述了如何使生成的图更具有可阅读性，但是生成的可阅读参数较少，本文旨在增加TensorBoard的展示信息。主要增加如下信息：权重、偏置等在训练过程中的分布情况：tf.summary.histogram('weights', w) 损失值、准确率随着迭代次数的进行，其指标变化情况：tf.summary.scalar('ac...
2019-08-06 14:24:36
4548
2
原创 【TensorFlow】TensorBoard的使用（二）
在《【TensorFlow】TensorBoard的使用（一）》中讲述了如何简单的使用TensorBoard，但是生成的图比较乱，本文旨在对生成的图进行优化。优化主要分为如下步骤：定义操作名字的作用域：with tf.name_scope(name): 定义张量的name值：w = tf.Variable(tf.truncated_normal([5, 5, size_in, size_...
2019-08-06 10:22:21
7885
原创 【TensorFlow】TensorBoard的使用（一）
概述TensorBoard是一个可视化工具，它可以用来展示网络图、张量的指标变化、张量的分布情况等。特别是在训练网络的时候，我们可以设置不同的参数（比如：权重W、偏置B、卷积层数、全连接层数等），使用TensorBoader可以很直观的帮我们进行参数的选择。本系列文章一共四篇，由浅入深，以常见的Mnist数据集为实验对象，从实现最简单TensorBoard开始，逐步增加参数、复杂度，最后实...
2019-08-06 09:21:20
171242
8
原创 【TensorFlow】验证LSTM是否可以选择性遗忘
概述长短期记忆网络（LSTM，Long Short-Term Memory）是一种时间循环神经网络，是为了解决一般的RNN（循环神经网络）存在的长期依赖问题而专门设计出来的。LSTM可以解决RNN的梯度爆炸问题，时间序列可以比RNN更长。想详细了解循环神经网络的原理可以参考：https://zhuanlan.zhihu.com/p/45289691 https://www.jianshu...
2019-08-02 15:52:42
487
原创 【TensorFlow】tf.squeeze函数
定义def squeeze(input, axis=None, name=None, squeeze_dims=None)该函数返回一个张量，这个张量是将原始input中所有维度为1的那些维都删掉的结果。axis可以用来指定要删掉的为1的维度，此处要注意指定的维度必须确保其是1，否则会报错。用法删掉所有维度为1的：# 't' is a tensor of shape [...
2019-08-02 11:29:54
12777
转载 【TensorFlow】tf.tile函数
tf.tile()函数是用来对张量(Tensor)进行扩展，作用是对当前张量内的数据进行一定规则的复制。函数定义为：tf.tile( input, multiples, name=None)input是待扩展的张量，multiples是扩展方法。假如input是一个3维（比如：(5, 6, 7)。）的张量。那么mutiples就必须是一个1*3的1维张量...
2019-08-02 10:40:48
845
原创 【TensorFlow】Mnist数据集 - RNN
一、使用RNN识别手写数字1、什么是RNNRNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。首先我们要明确什么是序列数据，摘取百度百科词条：时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。这是时间序列数据的定义，当然这里也可以不是时间，比如文字序列，但总归序列数据有一个特点——后面的数据跟前面的数据...
2019-07-30 21:05:03
778
原创 【Python】jupyter notebook使用技巧
一、jupyter更换主题jupyter默认主题为白色，时间长了容易引起视觉疲劳，那么怎么更换jupyter的主题呢？更换主题前需退出jupyter服务。Windows7环境，win+R组合键进入DOS模式，执行命令安装jupyter主题：pip install jupyterthemes在安装过程中可能遇到让升级pip的提示，大家按照提示进行升级就是了。查看已安装了哪些主题...
2019-07-24 11:49:28
480
转载 【TensorFlow】tf.expand_dims()函数
TensorFlow中，想要维度增加一维，可以使用tf.expand_dims(input, dim, name=None)函数。当然，我们常用tf.reshape(input, shape=[])也可以达到相同效果，但是有些时候在构建图的过程中，placeholder没有被feed具体的值，这时就会包下面的错误：TypeError: Expected binary or unicode stri...
2019-07-18 19:51:15
9479
转载 【TensorFlow】tf.nn.embedding_lookup()函数
tf.nn.embedding_lookup()函数主要是选取一个张量里面索引对应的元素。tf.nn.embedding_lookup(params, ids):params可以是张量也可以是数组等，id就是对应的索引，其他的参数不介绍。ids为一维：import tensorflow as tfimport numpy as np#c = np.random.random([...
2019-07-18 19:40:00
670
转载 【Python】enumerate()枚举函数
enumerate()函数用于将一个可遍历的数据对象（如列表、元组或字符串）组合为一个索引序列，同时列出数据和数据下标，一般用在for循环当中。enumerate(sequence, [start=0])参数：sequence：一个序列、迭代器或其他支持迭代对象 start：下标起始位置返回值：返回enumerate(枚举)对象。seasons = ['Spring',...
2019-07-18 19:15:41
391
原创 【TensorFlow】使用卷积神经网络（CNN）进行文本分类
CNN应用在图片分类的场景中较多，可能给大家一个思维定势----CNN貌似只能应用在图片场景，其实CNN也可对文本进行分类。卷积只是特征提取的一种方式，并不是只能处理图像，使用卷积只要能提取特征即可。一、卷积应用在文本分类的思路下图为卷积对文本分类的整体思路：文本分词-->映射成向量：把文本（字符串）转换成数值（对文本进行编码），上图使用7*5的矩阵存储每一句话的编码 ...
2019-07-18 17:11:45
4147
3
转载 【TensorFlow】tf.name_scope、tf.variable_scope使用
一、tf.name_scope(‘scope_name’)tf.name_scope 主要结合 tf.Variable() 来使用，方便参数命名管理。import tensorflow as tf'''Signature: tf.name_scope(*args, **kwds)Docstring:Returns a context manager for use when d...
2019-07-17 15:41:12
887
原创 【TensorFlow】使用AlexNet网络对图片进行识别分类
AlexNet是2012年ImageNet竞赛冠军获得者Hinton和他的学生Alex Krizhevsky设计的。也是在那年之后，更多的更深的神经网络被提出，比如优秀的vgg，GoogLeNet。虽然时隔多年，但AlexNet经典依旧，本文就简单回顾一下AlexNet的网络结构。一、AlexNet网络结构由于当时硬件资源的限制，Hinton使用了两块GPU对AlexNet训练，即把输...
2019-07-15 18:32:07
9513
4
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人