- 博客(40)
- 收藏
- 关注
RSS订阅原创 基于注意力的卷积神经网络关系抽取模型Attention CNNS
基于注意力的卷积神经网络关系抽取模型Attention CNNS模型源自：论文Relation Classification via Multi-Level Attention CNNs要点本模型的精髓在于使用了两次注意力机制与输入数据特征组合。对于输入数据而言考虑了与语义相关的词向量，与实体位置相关的位置向量，这两种向量进行拼接构成了最初始的向量。使用滑动窗口的方式进行获取目标词与周围词组...
2020-04-02 22:27:16
3927
原创 基于tushare的股票数据构建1
基于tushare的股票数据构建<一>tushare中提供了很多非常优秀的数据结构，但是并不是所有的数据都对自己有用，这里需要进行构建自己的数据库以方便后续进行数据建模tushare数据tushare是完全免费的一个数据源，不只是有股票数据，还有很多期货数据，有着和谐的社区，为了防止有人恶意的申请接口，造成数据拥堵，tushare采用的是注册账号的方式，注册完账号后生成自己的to...
2019-06-23 14:32:50
1639
原创 量化交易之tushare的初识
量化交易之tushare的初识tushare与tushare pro的区别其实tushare就是tushare pro的老版本，现在tushare pro还在调试更新迭代中，有些功能老版本才有，所以咯，使用新版的时候还是需要多注意一下。首先必须非常感谢tushare后面的团队，本着免费开源的思想促进整个互联网的进步，数据时代的来临也就意味着数据本身的价值会在后续的分析和挖掘中体现出来。个人...
2019-05-11 12:50:06
2876
原创 集成学习
集成学习集成学习可以简单的理解为综合一些不是很好的学习模型,将他们整合起来,进行一个多数投票的方式来构架一个集成的框架进行学习训练处新的模型.当然,具体的集成学习方式并不是使用的多数投票对于弱分类器而言,当某个模型对数据的分类效果不理想,但是总还是比随机分类强,那么这种模型多少还是有点分类效果,如果某个模型对某个类别区分效果很好,而对其他类别区分效果不行,那么集成学习就可以只让这个模型去区分分...
2019-01-24 23:17:42
274
原创 pandas初级篇
pandas初级篇1 pandas数据panadas加载完成之后的数据类型为DataFrame,如果对DataFrame进行查询后,其结果转变为Serise类型如果要求了解不深的话可以简单的把DataFrame理解成为一个表格Serise理解成为只有一列的表格当我们利用pandas从数据库,csv文件等读出来的数据都是DataFrame类型,如果对DataFrame进行查询,只要查询结果...
2019-01-14 12:40:19
271
原创 pandas数据读取
pandas数据读取读写数据库数据读读取数据库依赖于SQLAlchemy库,真正连接数据库的是这个进行配置数据库连接from sqlalchemy import create_engineengine = create_engine('mysql+pymysql://root:root@127.0.0.1:3306/testdb?charset=utf8')使用create_eng...
2019-01-13 15:29:02
431
原创 flask踩坑记
flask踩坑记flask用来搭建项目框架,可以进行发开不仅仅是网页,这里完全可以进行基于内网的平台开发,凡是具有交互性质的都可以用flask进行开发flask框架坑flask与django在使用python开发的时候最最最重要的区别就在于,我擦,视图文件,模型文件,入口文件,form表单文件,配置文件,初始化文件,都是自己搭建自己写…已经呕血一斗,第一次撸flask一脸懵逼,根本不知道为...
2019-01-11 11:26:42
1045
原创 python踩坑记-引用与赋值
引用与赋值在python中的赋值,实际上都是引用,内在的含义就是用一个标签指向这个内存空间a = 10这个语句在执行的时候实际上是先在内存空间中创建一个10,然后将a这个标签指向这个内存空间,因此这才是完整的引用操作python中所有的赋值操作都是引用,而不是复制这个内存空间创建一个新的空间来存放这个值浅拷贝和深拷贝因为存在引用的关系,那么数据类型可以分为不可变的数据类型和可变的数据...
2019-01-10 19:16:28
461
原创 redis应用场景
redis应用场景1 缓存提高访问速度redis数据库是基于缓存的数据库,缓存可以提高速度,当我们访问某个网站的时候,第一个访问的人发起请求之后服务器这边收到请求,下一步就是返回一些静态文件,那么如果某些静态文件的内容是不经常变动的,那么就没有必要每次都去查找文件进行返回在redis开辟一个空间进行存储,用户发起访问之后现在redis中进行寻找,如果里面存放着数据,那么直接就从redis中进...
2019-01-09 19:10:24
620
原创 K-means和K-中心点算法
K-means和K-中心点算法k-means算法在聚类的算法中这个算法比较常用,首先是将数据集中的每一条数据想象称为超空间中的一个点,因为通常数据不只是只有三个特征属性,当超过三个特征属性之后就难以在坐标空间中进行表示,所以这里统一的称为超空间先确立一些比较重要的思想:距离的概念,如果每一个点都有坐标,不管是5维还是6维,反正存在j个属性,每个属性的值进行归一化处理之后得到一个比较干净的数...
2019-01-05 15:15:53
16464
原创 python类方法与静态方法
类方法与静态方法类方法首先需要明确的类方法是用装饰器进行装饰的,那么装饰器的原理就在于在进行被装饰函数执行之前先进行装饰函数的运行.这就非常有意思的将被装饰函数包装起来可以更加形象的理解装饰器就是在被装饰函数执行前先进行审查,只有通过审查的参数才能被传到被装饰函数中,甚至是可以选择对所有传入的参数都选择忽略,一个都不给被装饰函数class New(object): def __in...
2019-01-04 16:29:47
152
原创 sqlalchemy的使用
sqlalchemy的使用orm模型object relationship map 模型对象关联映射模型,意思就是把数据库中的表的相关结构映射成代码中的关系表名 —>类名字段 —>类属性记录 —>实例化对象这种模型的优势在于在程序中进行查询非常方便,省去了写原生的sql语句创建表与连接表我们操作的程序是停留在程序层面,它本身是无法进行数据库的操作的,数据库存在自...
2018-12-29 19:57:20
312
原创 Flask基础二
Flask基础二蓝图的引入虽然一个py文件确实能够写完所有的flask功能,从路由到视图到数据库,但是实际上并没有任何实际项目这么做,原因在于管理起来非常不方便,作为一个成熟的框架怎么可能会存在管理混乱的现象,所以我们先简单的看视图py文件和运行py文件进行分离的问题运行py文件: main_func文件from flask import Flaskapp = Flask(__name...
2018-12-28 13:25:18
248
原创 python创建虚拟环境
虚拟环境使用虚拟环境进行安装,首先必须在电脑上先安装创建虚拟环境的包pip install vituralenv虚拟环境的实质:在开发过程中使用虚拟环境进行开发,防止了lib之间的相互干扰,比如你的flask是1.0版本的,开发要求使用的是0.10版本,那么你确实可以把1.0的卸载后装,但是实际上如果手里面还有其他的项目要求是1.0,难道还装回来么使用虚拟环境导致的结果是环境很纯,需要...
2018-12-26 13:04:58
112
原创 flask基础一
Flask基础首先安装好flask1.0服务器与框架的关系服务器与框架之间实际上就是一个分离而结合的关系,服务器运行的时候,所有客户端请求的信息都是通过服务器进行通信,并没有直接给框架,服务器接收信息之后如果是静态内容则直接返回出去,如果是动态的内容,服务器是没有能力进行处理的,这个时候服务器就会通过wsgi接口把客户端的请求信息发送给框架,框架从接口处接收到信息进行对应的处理之后返回响应内...
2018-12-26 13:03:44
141
原创 线性回归-最小二乘方法代码实现
线性回归-最小二乘方法使用最小二乘的方法进行原始的计算方式编写先把该导入的包全部导入了# 首先需要导入对应的包import pandas as pd # 数据处理import numpy as np # 数据计算import matplotlib.pyplot as plt # 画图from sklearn.model_selection import train_test_s...
2018-12-18 17:46:26
1469
原创 wsgi的实质
wsgi的实质wsgi其实就是一个接口,作用就是连接服务器和框架的文件,必须按照一定的协议来写为了理解其原理,先不管协议有什么规定,先来看看内在的处理问题实质是什么不定导包这个具体叫啥专业名字我也没有查,简单说就是平时我们导入一个包的语法为import 包名当然这个包可以是一个py文件,这种导的方式就是直接导入了整个py文件里面的定义的所有函数和所有类服务器存在这种需求,如果存在很...
2018-12-16 20:29:53
194
1
原创 html协议与静态服务器的python实现
html协议浏览器请求协议表示规定,意思就是必须按照这个来,不然你发出去的东西别人不认识# 这里写的是请求方式,请求的内容 / 表示根目录 HTTP/1.1表示版本GET / HTTP/1.1# 请求的域名Host: www.baidu.com# 请求的连接方式,使用的是长连接模式Connection: keep-aliveUpgrade-Insecure-Requests: 1...
2018-12-15 19:53:49
337
原创 epoll技术-多路复用进行抗并发
epoll技术-多路复用进行抗并发首先必须清楚,这个代码在windows下面无法执行,因为windows系统不支持,要搞就是在linux中撸epoll技术核心的与socket的根本区别就是解决了轮询问题epoll技术不是用的轮询,而是反向的,挨个去询问监控区里面的内容有没有变化太低端了,牛皮的都是吼一声,监控区里面的谁状态改变了自己报上名来内核就干的这个事情,如果监控区里面的对象发生了状态...
2018-12-14 19:09:11
176
原创 socket多路复用的技术
socket多路复用的技术就像上一篇的思想一样,socket多路复用就是实现在一个进程中抗并发.核心的思维就是使用中间缓存socket抗并发的原理在系统内核中存在一个监控的系统,当服务器启动的时候,server对象就会在程序中创建,socket已经内置好了一个空间专门用来监控的.如果有客户端进行服务器连接,那么server对象就会发生变化,socket内核就会监控这种变化,一旦发现某个被监控...
2018-12-14 19:08:27
1578
1
原创 服务端单进程实现并发
服务端单进程实现并发单进程实现并发的原理其实就是利用了系统的回收机制,如果内存中的数据没有任何变量进行指向的话,那么我们就叫这个数据ip的映射数为0,系统会自动的对映射数为0的数据ip进行清空单进程中,服务端本来每次只能执行一个,但是如果使用变量进行接收到server创建的new_server则不会导致new_server被清空,还是可以继续执行具体代码如下from socket impo...
2018-12-14 19:07:35
323
原创 服务端的并发处理-多线程多进程
服务端的并发处理-多线程多进程在服务端进行挂起监听的时候,可能会遇到同时大量的用户进行连接和数据请求,那么单进程的可以使用多路复用的方式进行解决这个问题,这个技术后面再讲,现在最简单的解决方案就是使用多线程和多进程多线程与多进程的选择这取决于到底是IO密集型还是CPU密集型,IO密集型需要使用多线程,cpu密集型进行多进程这里显然就是io密集型的,但是为了练习,现在使用多线程和多进程都实验一...
2018-12-14 19:06:22
391
原创 学习笔记-模型分析优劣的度量
模型分析的优劣度量对于模型建立后,使用测试数据进行分析的时候会得到测试数对应的测试结果,根据这个结果进行统计首先测试数据本身是可以完全知道对模型的某个属性分类的,这里为了简单进行分类,就使用二元分类方式,正例和反例,现在还可以简单的理解为好与不好,实际到了后面正例和反例的分界是可以进行调节的.这里先进行非正即反的分析方式进行分析先明确概念:真正例:表示测试对象实际为真,模型判定结果也为真 ...
2018-12-13 14:38:41
244
原创 学习笔记-TCP的三次握手四次挥手
TCP的三次握手四次挥手形象的理解是创建连接的时候进行三次通信,断开连接的时候进行4次通信创建连接的三次通信第一次客户端------>服务端客户端发送请求到服务端,此时客户端并不确定自己的发送功能是否正常,接收功能也不确定服务端接收到客户端的请求之后服务端能够确定的是:客户端的发送功能正常,自己的接收功能正常此时服务端并不确定的是:自己的发送功能是否正常,客户端的接收功能是否...
2018-12-13 11:04:29
93
原创 学习笔记-文件上传粘包问题
实现模拟文件上传文件下载和文件查看功能模拟出服务端和客户端客户端:客户端具有文件查看功能,文件上传功能,以及从服务端下载文件功能文件查看功能是客户端进行输入指定的字符,将其传送给服务端,服务端解析客户端输入的命令并执行相关的操作,将结果返回给客户端文件下载功能是客户端输入指定字符以及文件名,传送字符给服务端,服务端解析字符后进行打开文件并传输回客户端,客户端接收到数据后进行文件写入的操作...
2018-12-13 10:20:14
150
原创 学习笔记-实现模拟ssh连接功能
实现模拟ssh连接功能注意到MOBA软件的功能就是连接上虚拟机之后在软件里面记性linux各种操作,练习的时候使用虚拟机,实际上以后都是连接的远程服务器软件里面输入命令,将命令传输给ssh对应的22号端口,端口接收后进行解析,执行命令,将执行完成的命令返回给 软件,整个流程就像是一个客户端向服务器发起请求,服务器接收请求后执行命令,并返回执行结果,客户端接收到服务器返回的结果后进行打印那么必...
2018-12-11 22:37:14
271
原创 学习笔记-python网络编程-TCP面向连接
四层网络构架模型工作原理应用层应用层实际上就是将对应的信息进行打包发送给传输层传输层传输层打包应用层的信息后加上自己的协议信息,最重要的是这里加上对应的端口信息网络层打包传输层的信息,这一层是ip协议,该层就是打包传输层的内容,加上ip协议后继续打包传递给下一层物理层物理层接收上面的打包,然后再继续将mac物理地址封装在包内,使用物理信号再次传输给外面如此就完成了整个发送,从物理...
2018-12-11 22:21:12
132
原创 学习笔记-网络基础2
DUP在python中的连接配置客户端c/s构架中其实客户端用python来实现简单的抠脚客户端需要进行向服务端进行发送消息,客户端需要进行接收消息,此时客户端就模拟出了一个服务端,所以这里进行客户端的演示from socket import *# 创建客户端对象,并传入参数第一个是指的ipv4协议,第二个是指的udp协议client = socket(AF_INET, SOCK_D...
2018-12-10 22:09:24
86
原创 学习笔记-网络基础1
交换器\路由ip打开网络连接,首先理解一下IP地址的内容比如:192.168.1.101ip地址分为4个段,根据ipv4协议的规定,分类为好几种,理论上是这个样子,然而好像并没有卵用,大家并没有遵循这个方式进行有些固定的ip是私网ip,公网的ip与私网的ip不同这里以私网的ip为例子,最后一个段最大为255,通常255和1和0不分配ip地址,1通常分配给路由,255用于广播,0用于指代...
2018-12-10 22:08:13
132
原创 不同进程之间的关系
不同进程之间的关系首先要明确一点,所有我们创建的进程都是存在一个父亲进程,这个父亲进程的作用在于子进程执行完成,其内存空间需要释放掉,那么释放内存空间的这个行为是由父进程去做的.父进程的职能就是为子进程在结束的时候释放掉空间,那么同样会存在父进程结束了,子进程还没有结束的情况孤儿进程和守护进程所谓孤儿进程就是没有父进程的进程,说起来比较绕,实际上就是在你执行程序的时候进行进程分裂操作,主进...
2018-12-09 20:18:49
670
原创 matplotlib使用-初级
matplotlib使用-初级画图主要分为几大步骤1创建图布创建图布采用的是import matplotlib.pyplot as pltimport numpy as np # 导入numpy库为后面的计算做准备fig = plt.figure()很多时候可以看到figure里面存在参数,实际上就是将图布分为多少块,当前选用那一块,比如(2,1,1)表示的就是两行一列,第一个子图...
2018-12-09 19:42:26
114
原创 朴素贝叶斯分类
朴素贝叶斯分类从名字来看,好像跟统计学里面的贝叶斯公式有关,我个人觉得好像没有什么太大的关系,只是用到里面的一个思想而已,公式应用的意义不大P(A|B) 表示在已经发生B的前提下A发生的概率,这就是条件概率如果两个事件本身是相互独立的,那么两个事件都发生的联合概率就是P(AB)=P(A)P(B)如果已经存在一个训练数据集合D,这个集合中存在N条数据,每条数据都有n个属性,所以存在很...
2018-12-09 13:30:56
177
原创 学习笔记-python守护线程和时间延迟
python守护线程和时间延迟也许我们存在这种需求,有些线程是处于监听功能的线程,希望其一直执行下去,直到关机,那么对于一个程序而言,在启动之后一个进程里面可以存在很多个线程,其他线程先执行完成,如果存在某个线程需要一直执行,那么这个程序就无法退出,此时就需要守护线程这种方式进行,一旦设置成为守护线程,这个线程会按照自己的代码执行,直到执行完成,如果其先于非守护线程执行完成,则看不出任何区别,如...
2018-12-09 10:24:15
267
原创 python中多线程与多进程的选择问题
多线程与多进程的选择问题既然python中多线程和多进程都能够进行异步操作,那么到底应该如何选择首先我们必须知道GIL全局解释锁对线程的影响,其同一时间只能够允许一个线程进入cpu进行执行,因此对于cpu密集型的程序并不适用于多线程操作cpu密集型的功能对cpu的占用率要求很高,需要大量的运算能力,而我们采用多进程的话实际上cpu适用受到了限制,因此这种功能需要用多进程,多进程则不会因为全局...
2018-12-08 21:24:43
278
原创 GIL-全局解释锁
GIL全局解释锁在python中,存在一个GIL全局解释锁,这个锁并不是python特有的,而是cpython所有的,cpython是python的c语言写的解释器,使用jpython就不会出现GIL的问题如果使用的多进程,进程与线程不同,进程与进程的内存空间是相互独立的,双核的cpu可以同时处理两个进程,因此如如果运行的是两个进程程序from multiprocessing import ...
2018-12-08 21:08:15
174
原创 学习笔记-多线程
多线程线程与进程存在一定区别,每一个进程必须有一个线程,线程才是程序执行的最小单元进程实际上会在已有的进程空间中执行,在同一个进程里面,线程与线程之间是相互独立,都可以访问到进程空间里面的公共变量,而进程与进程之间完全独立,没有任何的共享空间,从而导致进程与进程之间的通信非常麻烦,需要依靠队列进行完成.而线程与线程之间则不需要,同在一个进程空间中,存在全局变量进行相互通信使用的是threadi...
2018-12-08 19:40:01
167
原创 学习笔记-多线程补充
多线程pool补充在python中没有办法使用队列进行传入到pool中这就导致如果要使用传入队列,那么需要使用另外的封装方法使用pool和队列模拟文件复制import randomimport timefrom multiprocessing import Managerfrom multiprocessing import Pooldef my_copy_read(q,ol...
2018-12-08 12:50:58
92
原创 学习笔记-linux基本命令
2018-12-04note基本命令cat 查看echo 相当于printll 查看当前文件下的文件列表ls -l -a 查看当前文件下文件列表,以列表方式展示,并且显示出隐藏文件cp 拷贝文件cp new.txt newfile/ -ar将文件拷贝到指定的newfile文件夹中,a和r是如果拷贝的是文件夹,则文件夹下面的文件也一同拷贝rm 删除文件rmdir -p 递归删...
2018-12-07 21:53:40
268
原创 学习笔记-服务器上使用linux安装python3
安装1 先配置镜像文件mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup2 选择对应的系统wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo3 使用yum生成缓...
2018-12-07 21:52:29
133
原创 学习笔记-python多进程
e多进程进程的实质就是就是正在执行的程序底层的cpu级别中根本就不会出现多个程序一起执行的情况,多核cpu能够同时执行对应核数的程序,cpu使用的是时间片段的方式进行程序执行,由于切换的非常快,看起来就像是同时执行多个程序为了看清实际的动作,使用的fork()进行编程,fork()只能在linux中执行,windows执行会直接报错代码:import osdef test1(): ...
2018-12-07 21:51:14
129
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人