- 博客(27)
- 收藏
- 关注
RSS订阅原创 最大匹配算法
最大匹配法起源最大匹配法是最简单的分词方法，他完全使用词典进行分词，如果词典好，则分词的效果好正向最大匹配法正向，即从左往右进行匹配#Maximum Match Method 最大匹配法class MM: def __init__(self): self.window_size = 4 def cut(se...
2019-08-30 11:28:00
590
原创 word2seq 把字符串转换数字编码
地址：http://ai.stanford.edu/~amaas/data/sentiment/，这是一份包含了5万条流行电影的评论数据，其中训练集25000条，测试集25000条。1.准备数据dataset.py'''准备数据'''from torch.utils.data import DataLoader,Datasetimport torch...
2019-08-28 17:18:00
568
原创 word2sequence 把字符串转换数字编码
地址：http://ai.stanford.edu/~amaas/data/sentiment/，这是一份包含了5万条流行电影的评论数据，其中训练集25000条，测试集25000条。1.准备数据dataset.py'''准备数据'''from torch.utils.data import DataLoader,Datasetimport torch...
2019-08-28 17:18:00
169
原创 PyTorch中在反向传播前为什么要手动将梯度清零？
对于torch中训练时，反向传播前将梯度手动清零的理解简单的理由是因为PyTorch默认会对梯度进行累加。至于为什么PyTorch有这样的特点，在网上找到的解释是说由于PyTorch的动态图和autograd机制使得其非常灵活，这也意味着你可以得到对一个张量的梯度，然后再次用该梯度进行计算，然后又可重新计算对新操作的梯度，对于何时停止前向操作并没有一个确定的点。所以自动设置梯度...
2019-08-27 09:00:00
384
原创 用pytorch做手写数字识别，识别l率达97.8%
pytorch做手写数字识别效果如下：工程目录如下第一步 数据获取下载MNIST库，这个库在网上，执行下面代码自动下载到当前data文件夹下from torchvision.datasets import MNISTimport torchvisionmnist = MNIST(root='./data',train=True,d...
2019-08-21 23:55:00
387
原创 sk-learn实现L2岭回归，对线性回归正则化
岭回归算法：from sklearn.datasets import load_bostonfrom sklearn.externals import joblibfrom sklearn.linear_model import Ridge, RidgeCVfrom sklearn.metrics import mean_squared_errorf...
2019-08-21 20:27:00
264
原创 pytorch-API实现线性回归
示例：import torchimport torch.nn as nnfrom torch import optimclass MyModel(nn.Module): def __init__(self): super(MyModel,self).__init__() self.lr = nn.Linear...
2019-08-19 21:50:00
147
原创 SK-learn实现k近邻算法【准确率随k值的变化】-------莺尾花种类预测
代码详解：from sklearn.datasets import load_irisfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import StandardScalerfrom sklearn.neighbors import KNei...
2019-08-19 13:28:00
244
原创 Pytorch手写线性回归
pytorch手写线性回归import torchimport matplotlib.pyplot as pltfrom matplotlib.animation import FuncAnimationLEARN_RATE = 0.1#1.准备数据x = torch.randn([500,1])y_true = x*0.8+3#2.计算...
2019-08-19 00:26:00
96
原创 numpy+sklearn 手动实现逻辑回归【Python】
逻辑回归损失函数：from sklearn.datasets import load_iris,make_classificationfrom sklearn.model_selection import train_test_splitimport tensorflow as tfimport numpy as npX,...
2019-08-16 23:22:00
161
原创 如何用TensorFlow实现线性回归
环境Anaconda废话不多说，关键看代码import tensorflow as tfimport osos.environ['TF_CPP_MIN_LOG_LEVEL']='2'tf.app.flags.DEFINE_integer("max_step", 300, "训练模型的步数")FLAGS = tf.app.flags.FLAGS...
2019-08-16 23:08:00
75
原创 进程、线程和携程的通俗解释【刘新宇Python】
通过下面这张图你就能看清楚了，进程、线程和携程的关系进程：多个进程是可以运行在多个CPU当中的，比如你的电脑是4核，可以同时并行运行四个进程，这是真正物理上的并行运行。线程：每个进程又可以有多个线程，线程是轮询执行的，因为轮询的速度很快，所以可以看成是并行。微线程：携程是微线程，一个线程可以分为多个携程，同样也是轮询执行，这样的好处是减少CPU的资源消耗，一些比较...
2019-08-13 21:32:00
230
原创 即时通信WebSocket 和Socket.IO
WebSocketHTML5定义了WebSocket协议，能更好的节省服务器资源和带宽，并且能够更实时地进行通讯。在2008年诞生，2011年成为国际标准。现在基本所有浏览器都已经支持了。WebSocket是一种在单个TCP连接上进行全双工通信的协议。在WebSocket API中，浏览器和服务器只需要完成一次握手（不是指建立TCP连接的那个三次握手，是指在建立TCP连接后传输一次...
2019-08-13 21:11:00
315
原创 gRPC【RPC自定义http2.0协议传输】
gRPC简介gRPC是由Google公司开源的高性能RPC框架。gRPC支持多语言gRPC原生使用C、Java、Go进行了三种实现，而C语言实现的版本进行封装后又支持C++、C#、Node、ObjC、 Python、Ruby、PHP等开发语言gRPC支持多平台支持的平台包括：Linux、Android、iOS、MacOS、Window...
2019-08-11 20:57:00
626
原创 Django中MySQL事务的使用
Django中事物的使用from django.db import transaction@transaction.atomic通过transaction的@transaction.atomic装饰器来开启事务，在视图逻辑涉及数据库操作的地方添加事物保存点，在操作不满足时进行事物回滚，在操作满足是进行事物提交# 前端传递的参数:地址id(addr_id) 支付方式...
2019-08-10 23:43:00
77
原创 缓存的一些问题和一些加密算法【缓存问题】
缓存1 需求背景缓存不是必须的，是为了提升性能而增加的目标： 减少磁盘数据库的查询，比如mysql的查询 ，更多的从内存中读取数据mysql查询 通常在1s左右 （几百毫秒， 0.xxs），1s以上通常认为是慢查询redis 支持操作的性能 1s可以支持1w+ 操作（更高 可达10W+)场景前提： 读取频繁数据不经常变化，基本一定会做缓存处理数据可能变化频繁，...
2019-08-09 17:41:00
494
原创 什么是缓存穿透和缓存雪崩？【缓存问题】【刘新宇】
缓存问题1 缓存穿透缓存只是为了缓解数据库压力而添加的一层保护层，当从缓存中查询不到我们需要的数据就要去数据库中查询了。如果被黑客利用，频繁去访问缓存中没有的数据，那么缓存就失去了存在的意义，瞬间所有请求的压力都落在了数据库上，这样会导致数据库连接异常。解决方案：约定:对于返回为NULL的依然缓存，对于抛出异常的返回不进行缓存,注意不要把抛异常的也给缓存了。采用这种手...
2019-08-09 17:35:00
291
原创 缓存模式【缓存使用几种模式】【刘新宇】
缓存模式1） Cache Aside更新方式先更新数据库，再更新缓存。这种做法最大的问题就是两个并发的写操作导致脏数据。如下图（以Redis和Mysql为例），两个并发更新操作，数据库先更新的反而后更新缓存，数据库后更新的反而先更新缓存。这样就会造成数据库和缓存中的数据不一致，应用程序中读取的都是脏数据。先删除缓存，再更新数据库。这个逻...
2019-08-09 17:30:00
230
原创 缓存的有效期和淘汰策略【Redis和其他缓存】【刘新宇】
缓存有效期与淘汰策略有效期 TTL （Time to live)设置有效期的作用：节省空间做到数据弱一致性，有效期失效后，可以保证数据的一致性Redis的过期策略过期策略通常有以下三种：定时过期每个设置过期时间的key都需要创建一个定时器，到过期时间就会立即清除。该策略可以立即清除过期的数据，对内存很友好；但是会占用大量的CPU资源去处理过...
2019-08-09 17:27:00
183
原创 模拟电磁曲射炮_H题 方案分析【2019年电赛】【刘新宇qq522414928】
请查看我的有道云笔记：文档：电磁曲射炮分析.note链接：http://note.youdao.com/noteshare?id=26f6b6febc04a8983d5efce925e92e21
2019-08-07 12:23:00
1922
原创 什么是CDN内容分发网络？【刘新宇】
CDN使用第三方OSS服务的好处是集成了CDN服务，下面来了解一下什么是CDN。CDN全称:Content Delivery Network或Content Distribute Network，即内容分发网络是将源站内容分发至最接近用户的节点，使用户可就近取得所需内容，提高用户访问的响应速度和成功率。解决因分布、带宽、服务器性能带来的访问延迟问题，适用于站点加速、点播、直播等场景...
2019-08-06 20:39:00
73
原创 七牛云文件存储的使用【刘新宇】
七牛云存储需求用户头像、文章图片等数据需要使用文件存储系统来保存方案自己搭建文件系统服务选用第三方对象存储服务我们在头条项目中使用七牛云对象存储服务http://www.qiniu.com。使用注册新建存储空间使用七牛SDK完成代码实现七牛Python SDK 网址https://developer.qiniu.com/kodo/sd...
2019-08-06 20:32:00
119
原创 Gitflow工作流
Gitflow工作流Gitflow工作流通过为功能开发、发布准备和维护分配独立的分支，让发布迭代过程更流畅。严格的分支模型也为大型项目提供了一些非常必要的结构。这节介绍的Gitflow工作流借鉴自在nvie的Vincent Driessen。Gitflow工作流定义了一个围绕项目发布的严格分支模型。虽然比功能分支工作流复杂几分，但提供了用于一个健壮的用于管理大型项目的框架...
2019-08-04 16:02:00
58
原创 Redis
Redis1 Redis事务基本事务指令Redis提供了一定的事务支持，可以保证一组操作原子执行不被打断，但是如果执行中出现错误，事务不能回滚，Redis未提供回滚支持。multi开启事务exec执行事务127.0.0.1:6379> multi OK 127.0.0.1:6379> set a 100 QUEUED 127.0.0.1:6379> set b 200 QUE...
2019-08-02 21:16:00
73
原创 数据库理论【刘新宇】
数据库理论1. 复制集与分布式复制集（Replication）数据库中数据相同，起到备份作用高可用 High Available HA分布式（Distribution）数据库中数据不同，共同组成完整的数据集合通常每个节点被称为一个分片（shard)高吞吐 High Throughput复制集与分布式可以单独使用，也可以组合使用（即每个...
2019-08-02 21:10:00
70
原创 数据库优化问题【刘新宇】
数据库优化数据库是Web应用至关重要的一个环节，其性能的优劣会影响整合Web应用，所以需要对数据库进化优化以提高使用性能。以下提供几点方法作为参考。1 理解索引2 SQL查询优化避免全表扫描，应考虑在 where 及 order by 涉及的列上建立索引；查询时使用select明确指明所要查询的字段，避免使用select *的操作；SQL...
2019-08-02 20:49:00
39
原创 雪花算法【分布式ID问题】【刘新宇】
分布式ID1 方案选择UUIDUUID是通用唯一识别码（Universally Unique Identifier)的缩写，开放软件基金会(OSF)规范定义了包括网卡MAC地址、时间戳、名字空间（Namespace）、随机或伪随机数、时序等元素。利用这些元素来生成UUID。UUID是由128位二进制组成，一般转换成十六进制，然后用String表示。550e8400-...
2019-08-02 20:36:00
678
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人