- 博客(18)
- 收藏
- 关注
RSS订阅原创 dockerfile部署python脚本
服务器配置环境安装docker安装python安装mongodb部署单独的脚本需要单独的文件夹3个脚本3个单独文件夹，每个文件夹的格式：脚本pydockerfile文件requirements.txt文件所需要其他pydockerfile文件内容：FROM python:3.7.0MAINTAINER DHSB_WANGCOPY requirements.txt ...
2020-02-21 16:17:41
3021
2
原创 回归算法总结
from sklearn import svmimport numpy as npimport matplotlib.pyplot as pltimport pandas as pdimport tushare as tsfrom sklearn import tree# F1 score是精确率和召回率的调和平均值from sklearn.metrics import f1_sc...
2020-02-20 17:41:55
318
原创 sk-learn回归算法总结
import pandas as pdimport tushare as tsimport randomimport numpy as npimport matplotlib.pyplot as pltfrom sklearn.metrics import f1_score,accuracy_score,r2_scorefrom sklearn import preprocessing...
2020-02-20 17:35:58
458
原创 dataframe数据处理常见方法
安装pip install pandasnumpy的默认使用科学计数法显示数据的改变办法,True是关闭科学计数显示np.set_printoptions(suppress=True显示所有列(参数设置为None代表显示所有行，也可以自行设置数字)pd.set_option('display.max_columns',None)显示所有行pd.set_option('displ...
2020-02-20 17:31:57
1304
原创 pymongo常见操作总结
连接myclient = pymongo.MongoClient('mongodb://120.27.246.172:27017/')指定操作的集合和表db = myclient['quarter']table = db['quarter_data']查询所有的数据库dblist = myclient.list_database_names()删除集合table.drop()...
2020-02-20 17:19:00
366
原创 Django中间件
django 中的中间件（middleware），在django中，中间件其实就是一个类，在请求到来和结束后，django会根据自己的规则在合适的时机执行中间件中相应的方法。配置中间件的位置在django项目的settings模块中，有一个 MIDDLEWARE_CLASSES 变量，其中每一个元素就是一个中间件，如下图。中间件包含的五大方法： 1. process_request(se...
2019-11-13 23:53:00
168
原创 Redis哨兵（Sentinel）模式
Redis的集群方案大致有三种：1）redis cluster集群方案；2）master/slave主从方案；3）哨兵模式来进行主从替换以及故障恢复。一、哨兵模式是什么Redis Sentinel是一个分布式系统，为Redis提供高可用性解决方案。可以在一个架构中运行多个 Sentinel 进程(progress)， 这些进程使用流言协议(gossip protocols)来 接收关于主...
2019-11-12 08:39:06
271
原创 Nginx负载均衡高可用
NginxNginx介绍Nginx同Apache一样都是一种WEB服务器。基于REST架构风格，以统一资源描述符(Uniform Resources Identifier)URI或者统一资源定位符(Uniform Resources Locator)URL作为沟通依据，通过HTTP协议提供各种网络服务。然而，这些服务器在设计之初受到当时环境的局限，例如当时的用户规模，网络带宽，产品特点等局限...
2019-11-11 14:58:29
125
原创 redis分区
为什么要做Redis分区？分区可以让Redis管理更大的内存，Redis将可以使用所有机器的内存。如果没有分区，你最多只能使用一台机器的内存。分区使Redis的计算能力通过简单地增加计算机得到成倍提升,Redis的网络带宽也会随着计算机和网卡的增加而成倍增长。你知道有哪些Redis分区实现方案？1、客户端分区就是在客户端就已经决定数据会被存储到哪个redis节点或者从哪个redis节点读取。...
2019-11-11 08:18:48
335
原创 redis分布式锁
一、什么是分布式锁？分布式锁是控制分布式系统之间同步访问共享资源的一种方式。如果不同的系统或是同一个系统的不同主机之间共享了一个或一组资源，那么访问这些资源的时候，往往需要互斥来防止彼此干扰来保证一致性，在这种情况下，便需要使用到分布式锁。实现分布式锁有很多实现方式和工具，如Zookeeper、Redis等。二、为什么需要分布式锁？在我们业务中，有些数据操作是不允许同时出现多次请求的。如添...
2019-11-11 08:05:04
166
原创 redis支持的数据类型-set
set集合的特点是元素是无序、不重复，支持集合间的操作（即两个集合取交集、并集、差集）；命令：注意集合的命令是以 s- 为前缀；交集、并集和差集分别对应方法： sinter, sunion, sdiff。sadd key element向集合Key添加element，若存在则失败srem key element将集合key中的element移除掉scard k...
2019-11-10 23:30:33
135
原创 redis支持的数据类型-list
Redis Listskey是字符串，value是一个有序的list。特点是有序、可以重复。要说清楚列表数据类型，最好先讲一点儿理论背景，在信息技术界List这个词常常被使用不当。例如”Python Lists”就名不副实（名为Linked Lists），但他们实际上是数组（同样的数据类型在Ruby中叫数组）一般意义上讲，列表就是有序元素的序列：10,20,1,2,3就是一个列表。但用数组实...
2019-11-10 16:45:04
335
原创 redis支持的数据类型-hash
redis支持的数据类型-hashkey为字符串，值分为两部分field和value，视为属性和值。可以把key当作一张表的一行，Key就代表一个id，每个属性可以看作关系型数据库的一个字段。fields不能相同，value可以。哈希键值结构，由key(String类型） field（属性） value（值）三部分组成，一个key可以对应多个 field-value，可以把它看成一个对象。...
2019-11-10 15:59:09
441
原创 redis支持的数据类型-strings
string这是最简单Redis类型。如果你只用这种类型，Redis就像一个可以持久化的memcached服务器（注：memcache的数据仅保存在内存中，服务器重启后，数据将丢失）。get key获取对应键的值set key value设置对应键的值del key删除对应键值incr key指定键的值自增1，如果Key不存在，自增后get(key)=1...
2019-11-10 11:59:14
179
原创 redis介绍
redis是什么Redis本质上是一个Key-Value类型的内存数据库，很像memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，每秒可以处理超过 10万次读写操作，是已知性能最快的Key-Value DB。Redis的出色之处不仅仅是性能，Redis最大的魅力是支持保存多种数据结构，此...
2019-11-10 11:40:00
956
原创 redis和rabbitmq实现队列的区别
队列：先进先出redis队列：Redis不仅可作为缓存服务器，还可用作消息队列。它的列表类型天生支持用作消息队列。由于Redis的列表是使用双向链表实现的，保存了头尾节点，所以在列表头尾两边插取元素都是非常快的。所以可以直接使用redis的list实现消息队列，只需简单的两个指令lpush和rpop或者rpush和lpop。rabbitmq使用参考网址：Python之操作Rab...
2019-11-08 14:58:41
661
原创 定位调用高德地图接口
流程高德开放平台注册应用，选择web端接口根据应用key拼接调用高德地图构造地图类，构造地点查询类初始化地图中心（根据经纬度初始化）使用查询类查询并更新显示地点（根据经纬度定位，搜索包含根据关键字搜索等）高德接口调用网址参考：https://lbs.amap.com/api/webservice/guide/api/search代码：index.html中添加地图样式并构造类...
2019-11-07 11:06:30
1313
原创 celery
celerycelery是什么Celery是一个简单、灵活且可靠的，处理大量消息的分布式系统专注于实时处理的异步任务队列，同时也支持任务调度celery实现原理Celery的架构由三部分组成，消息中间件（message broker），任务执行单元（worker）和任务执行结果存储（task result store）组成。消息中间件brokerCelery本身不提供消息服务，但...
2019-11-07 10:29:16
532
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人