- 博客(244)
- 收藏
- 关注
RSS订阅转载 Python基础--正则表达式基本语法以及re模块
正则是个很牛逼的东西，python中当然也不会缺少。所以今天的Python就跟大家一起讨论一下python中的re模块。re模块包含对正则表达式的支持。什么是正则：正则表达式是可以匹配文本片段的模式。正则表达式’Python’可以匹配’python’通配符.表示匹配任何字符：‘.ython’可以匹配’python’和’fython’对特殊字符进行转义：‘py...
2019-04-16 15:18:00
834
原创 python实现Flask启动app.run(host='0.0.0.0',port=5000)
记录一个小坑。这段时间用Flask写了一个小项目，用于局域网内提供restful服务，起到一个连接各个软件的作用吧，然后今天查了一下：from flask import Flask# Flask初始化参数尽量使用你的包名，这个初始化方式是官方推荐的，官方解释：http://flask.pocoo.org/docs/0.12/api/#flask.Flaskapp = Flask(_...
2019-01-13 16:44:52
63101
10
转载 Python-第三方库requests详解
Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的，所以它比 urllib 更加 Pythoner。更重要的一点是它支持 Python3 哦！希望我的博客对您有用。阿...
2019-01-10 19:16:23
928
转载 redis简介
一、什么是redis redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)和zset(有序集合)、Hash(哈希类型的映射表)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种...
2019-01-10 18:29:15
470
原创 Kafka简介
背景： 当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：如何收集这些巨大的信息如何分析它 如何及时做到如上两点 以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理分析）这些信息，而在生产者与消费者之间，需要一个沟通两者的桥梁-消息...
2019-01-10 16:56:51
355
转载 消息队列技术介绍
一、 消息队列概述消息队列中间件是分布式系统中重要的组件，主要解决应用耦合、异步消息、流量削锋等问题。实现高性能、高可用、可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。目前在生产环境，使用较多的消息队列有ActiveMQ、RabbitMQ、ZeroMQ、Kafka、MetaMQ、RocketMQ等。二、 消息队列应用场景下面详细介绍一下消息队列在实际应用中常用的使用场景...
2019-01-10 16:20:42
376
转载 IP地址，子网掩码，默认网关，DNS服务器详解
为了更深入的学习TCP/IP协议，最近看了不少有关资料，收集整理记录如下，以备后面的使用和方便各位学习： IP地址，子网掩码，默认网关，DNS服务器是什么意思? （一） 问题解析001. 问： IP地址,子网掩码,默认网关,DNS服务器,有什么区别呀？我知道没有IP地址就不能上网，我也知道没设DNS就不能上外网，可它们都有什么功能，有什么区别呢？还有真奇怪,我的计算机没设...
2019-01-07 16:06:14
543
1
转载 python-fbprophet总结
时间序列预测一直是预测问题中的难点，人们很难找到一个适用场景丰富的通用模型，这是因为现实中每个预测问题的背景知识，例如数据的产生过程，往往是不同的，即使是同一类问题，影响这些预测值的因素与程度也往往不同，再加上预测问题往往需要大量专业的统计知识，这又给分析人员带来了难度，这些都使得时间序列预测问题变得尤其复杂。传统的时间序列预测方法通常有如下缺陷： 1. 适用的时序数据过于局限 ...
2019-01-04 15:50:11
4978
转载 numpy中的convolve的理解
函数numpy.convolve(a, v, mode=‘full’)，这是numpy函数中的卷积函数库 参数： a:(N,)输入的一维数组 b:(M,)输入的第二个一维数组 mode:{‘full’, ‘valid’, ‘same’}参数可选 ‘full’ 默认值，返回每一个卷积值，长度是N+M-1,在卷积的边缘处，信号不重叠，存在边际效应。 ...
2019-01-04 14:36:41
3652
转载 Python装饰器详解
在上一篇文章中我们提到了闭包，也就是将函数作为返回值返回。闭包搞懂了之后，接下来的内容就很简单了。在定义了许多函数之后，我们希望扩展这些函数的功能，譬如在函数调用前后自动打印日志，但如果是一些通用的功能，修改每一个函数又会显得比较麻烦。最好的方法就是定义一个装饰器，给每个函数增加功能。这种在代码运行期间动态增加函数功能的方式，成为装饰器（Decorator）一、初始函数>>...
2019-01-03 17:27:48
1464
转载 深度学习中Embedding层有什么用？
这篇博客翻译自国外的深度学习系列文章的第四篇，想查看其他文章请点击下面的链接，人工翻译也是劳动，如果你觉得有用请打赏，转载请打赏:Setting up AWS & Image Recognition Convolutional Neural Networks More on CNNs & Handling Overfitting在深度学习实验中经常会遇Eembedding...
2018-12-26 14:47:43
1476
转载 Python 中argparse模块的使用
问题提出最近开发Python程序需要使用命令行参数，于是查阅了以下标准库，发现了argparse。。。argparse模块简介argparse模块使得编写用户友好的命令行接口非常容易。程序只需定义好它要求的参数，然后argparse将负责如何从sys.argv中解析出这些参数。argparse模块还会自动生成帮助和使用信息并且当用户赋给程序非法的参数时产生错误信息。 argparse是p...
2018-12-23 22:46:39
394
转载 通俗理解生成对抗网络GAN
0. 引言自2014年Ian Goodfellow提出了GAN（Generative Adversarial Network）以来，对GAN的研究可谓如火如荼。各种GAN的变体不断涌现，下图是GAN相关论文的发表情况：图1 GAN相关论文发表情况大牛Yann LeCun甚至评价GAN为 “adversarial training is the coolest thing since...
2018-12-23 21:10:44
1891
转载 多组时间序列预测
云脑科技机器学习训练营以讲解时间序列收尾，详细解说了时间序列的传统模型、进阶模型、神经网络模型。本期训练营由科赛联合云脑科技打造，中美大咖导师授课，精心指导学员解决机器学习中的实际问题，为人工智能行业培育高潜力人才。K-Lab在线数据分析协作平台为本次训练营提供全程支持，训练营学员可在浏览器中方便、快捷地进行数据处理、模型搭建、代码调试、撰写报告等分析工作，实现在线「报名-AI应用算法案例学习...
2018-12-20 17:48:44
3380
转载 深度学习中的注意力机制
作者 | 张俊林责编 | 何永灿 最近两年，注意力模型（Attention Model）被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中，是深度学习技术中最值得关注与深入了解的核心技术之一。本文以机器翻译为例，深入浅出地介绍了深度学习中注意力机制的原理及关键计算机制，同时也抽象出其本质思想，并介绍了注意力模型在图像及语音等领域的典型应用场景。注意力...
2018-12-20 15:54:46
353
原创 python求均值、中位数、众数的方法
首先需要数据源，这里随便写了一个：nums = [1,2,3,4]求均值和中位数均可以使用numpy库的方法： import numpy as np #均值np.mean(nums)#中位数np.median(nums)求众数方法一：在numpy中没有直接的方法，但是也可以这样实现：import numpy as np counts = np.binc...
2018-12-10 11:43:54
9308
原创 tensorflow 1.0 学习：模型的保存与恢复(Saver)
1 Tensorflow模型文件我们在checkpoint_dir目录下保存的文件结构如下：|--checkpoint_dir| |--checkpoint| |--MyModel.meta| |--MyModel.data-00000-of-00001| |--MyModel.index1.1 meta文件MyModel.meta文件保存的是图结构...
2018-12-02 16:07:53
559
1
转载 常用激活函数比较
本文结构：什么是激活函数 为什么要用 都有什么 sigmoid ，ReLU， softmax 的比较 如何选择1. 什么是激活函数如下图，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数 Activation Function。2. 为什么要用如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是...
2018-12-02 10:39:12
294
转载 怎样提升深度学习的性能？
你是如何提升深度学习模型的效果？ 这是我经常被问到的一个问题。有时候也会换一种问法：我该如何提高模型的准确率呢？ ……或者反过来问：如果我的网络模型效果不好，我该怎么办？通常我的回答是“具体原因我不清楚，但我有一些想法可以试试”。然后我会列举一些我认为能够提升性能的方法。为了避免重复罗列这些内容，我打算在本文中把它们都写出来。 这些想法不仅可以用于深度学习，事实上可以用在任何机器学习的算法上。那么...
2018-12-02 10:38:00
352
转载 tensorflow教程:tf.contrib.rnn.DropoutWrapper
tf.contrib.rnn.DropoutWrapper Defined in tensorflow/python/ops/rnn_cell_impl.py.__init__( cell, input_keep_prob=1.0, output_keep_prob=1.0, state_keep_prob=1.0, variational_recu...
2018-11-25 11:32:08
942
原创 tf.nn.dynamic_rnn返回值详解
函数原型tf.nn.dynamic_rnn( cell, inputs, sequence_length=None, initial_state=None, dtype=None, parallel_iterations=None, swap_memory=False, time_major=False, scope=N...
2018-11-17 19:22:52
610
转载 【tensorflow 学习】 gpu使用
由于tensorflow默认抢占服务器所有GPU显存，只允许一个小内存的程序也会占用所有GPU资源。下面提出使用GPU运行tensorflow的几点建议：1.在运行之前先查看GPU的使用情况：$ nvidia-smi # 查看GPU此时的使用情况或者$ nvidia-smi -l # 实时返回GPU使用情况2.目前实验室服务器有0，1，2，3四个GPU，找到空闲的GPU号，...
2018-11-05 21:10:37
423
2
转载 LSTM学习笔记
Long Short-Term Memory（LSTM） 是一种循环神经网络（Recurrent Neural Network, RNN）。跟所有RNN一样，在网络单元足够多的条件下，LSTM可以计算传统计算机所能计算的任何东西。Like most RNNs, an LSTM network is universal in the sense that given enough networ...
2018-10-24 16:56:21
1829
转载 卷积神经网络（CNN）之一维卷积、二维卷积、三维卷积详解
由于计算机视觉的大红大紫，二维卷积的用处范围最广。因此本文首先介绍二维卷积，之后再介绍一维卷积与三维卷积的具体流程，并描述其各自的具体应用。1. 二维卷积 图中的输入的数据维度为14×1414×14，过滤器大小为5×55×5，二者做卷积，输出的数据维度为10×1010×10（14−5+1=1014−5+1=10）。如果你对卷积维度的计算不清楚，可以参考我之前的博客吴恩达深度学习笔记（...
2018-10-09 20:14:01
7281
1
转载 详细解释CNN卷积神经网络各层的参数和连接个数的计算
积神经网络是一个多层的神经网络，每层由多个二维平面组成，而每个平面由多个独立神经元组成。 图：卷积神经网络的概念示范：输入图像通过和三个可训练的滤波器和可加偏置进行卷积，滤波过程如图一，卷积后在C1层产生三个特征映射图，然后特征映射图中每组的四个像素再进行求和，加权值，加偏置，通过一个Sigmoid函数得到三个S2层的特征映射图。这些映射图再进过滤波得到C3层。这个层级结构再和...
2018-09-29 21:59:41
2572
转载 Python 内置函数 dir()
简述在 Python 中，有大量的内置模块，模块中的定义（例如：变量、函数、类）众多，不可能全部都记住，这时 dir() 函数就非常有用了。dir() 是一个内置函数，用于列出对象的所有属性及方法。在 Python 中，一切皆对象，模块也不例外，所以模块也可以使用 dir()。除了常用定义外，其它的不需要全部记住它，交给 dir() 就好了。| 版权声明：一去、二三里，未经博主允许不得...
2018-09-19 21:47:45
2941
转载 Python logging 模块
Python logging 模块给大家剖析下Python的logging模块。logging模块是Python内置的一个强大易用的日志模块。简单到你只需要两行代码就能输出一些东西来：import logginglogging.warning('Hi, I print something.')输出：WARNING:root:Hi, I print something....
2018-09-19 21:32:37
121
原创 python—pandas中DataFrame类型数据操作函数
python数据分析工具pandas中DataFrame和Series作为主要的数据结构. 本文主要是介绍如何对DataFrame数据进行操作并结合一个实例测试操作函数。 1）查看DataFrame数据及属性df_obj = DataFrame() #创建DataFrame对象df_obj.dtypes #查看各行的数据格式df_obj['列名'].astype(int)#转换某列的数...
2018-09-17 17:01:09
1122
转载 python pandas dataframe 行列选择，切片操作
python pandas dataframe 行列选择，切片操作SQL中的select是根据列的名称来选取；Pandas则更为灵活，不但可根据列名称选取，还可以根据列所在的position（数字，在第几行第几列，注意pandas行列的position是从0开始）选取。相关函数如下： 1）loc，基于列label，可选取特定行（根据行index）； 2）iloc，基于行/列的positio...
2018-09-17 15:55:10
4831
转载 LSTM 实际神经元隐含层物理架构原理解析
最近看一些基于LSTM网络的NLP案例代码，其中涉及到一些input_size， num_hidden等变量的时候，可能容易搞混，首先是参照了知乎上的一个有关LSTM网络的回答https://www.zhihu.com/question/41949741， 以及github上对于LSTM比较清晰的推导公式http://arunmallya.github.io/writeups/nn/lstm/in...
2018-09-16 14:52:53
4048
转载 miniconda的安装及使用
Python 环境的配置及相关工具的安装数据分析师（入门） DC学院 1.安装 miniconda进入网址 Miniconda - Conda下载 Python3 的 64-bit 版本即可。注意，最好是64位的版本（除非你的电脑是32位的）。这里选择3.X或者2.X没关系，都可以，但建议和课程一致选Python3版本。 【注意！】在下载完对应的Mi...
2018-09-14 14:51:06
3254
转载 python 安装influxdb-python
一、Linux下安装1.yum install -y git2.安装pip，参考：一、Linux下安装1.yum install -y git2.安装pip，参考：https://app.yinxiang.com/shard/s41/sh/0338ba85-5443-453f-b8c1-349a70377e73/7b712e4a6718279862eae0b71de4369...
2018-09-12 11:42:44
2368
原创 Java为什么基本数据类型不需要进行创建对象？
Java是一门面向对象的语言，即一切皆是对象！那么为何数据类型中还分为：基本类型和对象？ Java中有8种基本数据类型boolean、byte、short、char、int、flaot、long、double，基本数据类型作为Java语言的一部分，但基本数据类型不是对象，基本数据类型放在堆栈中，对象放在堆中。堆的读写速度远不及栈，如果使用基本数据类型相当于在栈上进行操作，对变量的...
2018-09-12 11:00:41
1674
转载 @SuppressWarnings注解什么意思
简介：java.lang.SuppressWarnings是J2SE 5.0中标准的Annotation之一。 可以标注在类、字段、方法、参数、构造方法，以及局部变量上。作用：告诉编译器忽略指定的警告，不用在编译完成后出现警告信息。使用： @SuppressWarnings(“”) @SuppressWarnings({}) @SuppressWarnings(value...
2018-09-10 21:08:51
1091
原创 HashMap和HashSet的区别
HashMap和HashSet的区别是Java面试中最常被问到的问题。如果没有涉及到Collection框架以及多线程的面试，可以说是不完整。而Collection框架的问题不涉及到HashSet和HashMap，也可以说是不完整。HashMap和HashSet都是collection框架的一部分，它们让我们能够使用对象的集合。collection框架有自己的接口和实现，主要分为Set接口，Lis...
2018-09-09 10:44:30
380
原创 Linux Shell学习笔记：exit退出状态代码
inux提供$?特殊变量来保存最后一条命令执行结束的退出状态。执行完一条命令后，立即执行echo$?，可以查看最后一条命令的退出状态值。正常的情况下，命令成功执行完成的退出状态是0，如果非0，则命令执行有错。该命令可以用于检查命令是否正确执行，比如在解压包的时候，检查解压包是否成功十分有效。 自定义退出状态码，可以在脚本中定义自己的退出状态代码，然后使用echo $?检查。退出...
2018-09-07 10:41:53
6264
原创 Ubuntu的kill命令
Linux中的kill命令用来终止指定的进程（terminate a process）的运行，是Linux下进程管理的常用命令。通常，终止一个前台进程可以使用Ctrl+C键，但是，对于一个后台进程就须用kill命令来终止，我们就需要先使用ps/pidof/pstree/top等工具获取进程PID，然后使用kill命令来杀掉该进程。kill命令是通过向进程发送指定的信号来结束相应进程的。在默认情况下...
2018-09-06 23:14:26
15914
转载 在Ubuntu下后台持续运行Python程序
由于项目的需要，现在需要通过一种方式，让Python程序能够在会话退出后继续在后台运行，并将屏幕的输出重定向到文件中去。本文的示例代码已经上传到http://download.csdn.net/detail/mrbcy/9789067参考资料http://blog.csdn.net/loonger_leon/article/details/5764552http://www.cnb...
2018-09-06 23:05:14
2864
转载 使用GPU跑程序
查看机器上GPU情况命令： nvidia-smi功能：显示机器上gpu的情况命令： nvidia-smi -l功能：定时更新显示机器上gpu的情况命令：watch -n 3 nvidia-smi功能：设定刷新时间（秒）显示GPU使用情况其中左上侧有0、1、2、3的编号，表示GPU的编号，在后面指定GPU时需要使用这个编号。在终端执行程序时指定GPU CU...
2018-09-06 23:00:35
16894
6
转载 Python自动单元测试框架
一、软件测试大型软件系统的开发是一个很复杂的过程，其中因为人的因素而所产生的错误非常多，因此软件在开发过程必须要有相应的质量保证活动，而软件测试则是保证质量的关键措施。正像软件熵（software entropy）所描述的那样：一个程序从设计很好的状态开始，随着新的功能不断地加入，程序逐渐地失去了原有的结构，最终变成了一团乱麻（其实最初的"很好的状态"得加个问号）。测试的目的说起来其实很简单也...
2018-09-02 22:38:26
792
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人