- 博客(18)
- 收藏
- 关注
RSS订阅原创 Docker的基本使用
基本的Docker命令Docker镜像Docker Pull从镜像仓库获取镜像，默认为最新的镜像 docker pull ubuntuUsing default tag: latestlatest: Pulling from library/ubuntu5d3b2c2d21bb: Pull complete 3fc2062ea667: Pull complete 75adf526d75b: Pull complete Digest: sha256:b4f9e18267eb98998
2021-03-12 11:21:28
181
1
原创 Nginx-Nginx原理到配置
原理Nginx为什么那么快Nginx采用多进程+epoll的方式对请求进行处理，每一个请求就是对socket时间的读写，相比传统的阻塞IO,epoll通过IO多路复用的方式，在同一个线程中高效的完成读写操作，相比多线程减少了线程间切换的消耗，极大地提升了效率。Nginx请求流程初始化请求解析请求处理数据过滤返回Master和Worker的关系Master进程Fork出Worker进程，Master进程不参与请求的处理，只有Worker进程参与，Master进程只负责任务的分发、Wor
2021-03-10 16:18:23
188
1
原创 Celery-分布式任务框架
简介Celery作为一款出色的分布式任务框架，上手简单，效率高，尤其在处理需要异步处理的耗时操作时非常适用原理当你在A程序中，需要处理一个比较耗时但是又不是需要立即返回结果的任务、或者是当单机处理效率过低需要横向拓展的时候，选择Celery绝对没问题。A把任务task扔到Broker中，然后就继续干自己的事情去了，剩下的交给其他的 Worker去做，Worker监听队列，有任务就去消费，嗯，原理就是这么简单，就是生产者消费者模型。开始Celery之旅吧Broker通常使用RabbitMQ和Re
2021-03-04 11:21:08
302
1
原创 Redis-持久化
Redis持久化Redis的数据全部在内存里，假如遇到宕机的情况，数据就会全部丢失，所以采用一种持久化的方式将数据写入到磁盘中。Redis的持久化共有两种，第一种是快照的方式，第二种是AOF日志。两者的区别是，快照是全量存储，AOF是连续的增量备份，快照是内存数据的二进制序列化形式，AOF是内存数据的修改逻辑指令文件原理Redis为单线程程序，这个线程需要负责客户端的数据查询等操作，如果在一个线程中，既要完成数据存取、又要完成io操作，会严重拖垮服务器的性能，如果变读写边持久化，可能会出现数据冲突
2021-02-23 11:02:36
97
原创 Redis之延时队列
Redis实现队列Redis通过自带的数据结构list实现队列。使用rpush和lpush进行入队操作，rpop和lpop进行出队列操作，不过要注意的是，redis实现的队列并没有ack确认机制，所以在数据的安全与稳定性上有个劣势。127.0.0.1:6379> rpush queue a b c(integer) 3127.0.0.1:6379> rpush queue d(integer) 4127.0.0.1:6379> llen queue(integer) 41
2021-02-09 15:18:57
702
原创 Redis基础之容器类数据结构的基本使用
Hash（字典）Redis的字典是无需字典，内部存储了键值对，结构大体上是数组+链表。Redis的字典的值只能存字符串，在字典rehash的时候采用的是渐进式rehash，就是说在rehash的时候，旧的hash结构先不删除，先生成新的，在后续的定时任务以及hash查询的操作的时候，再将旧的删掉，当hash移除了最后的一个元素的时候，该数据结构被自动删除。基本使用HSET将哈希表 key 中的域 field 的值设为 value 。如果不存在，新建HSETNX将哈希表 key 中的域 field
2021-02-08 15:50:21
131
原创 Redis之列表的基本使用
List（列表）Redis的列表是双向链表的一种，所以他的插入和删除的速度非常快，时间复杂度为O(1),但是索引的时间很慢，为O(N)。双向链表支持双向遍历，当列表的最后一个元素被删除之后，该数据结构被自动删除，内存被回收。Redis的List可以当做双端队列来使用。基本操作LPUSH/RPUSH从左边、右边插入数据LPUSHX/RPUSHX从左边、右边插入数据当数据不存在时，什么也不做LPOP/RPOP从左边右边弹出数据RPOPLPUSH在一个原子操作内，将Alist的最右侧弹出并返
2021-02-08 14:26:00
129
原创 Redis之字符串的基本使用
字符串（String）字符串是redis中最简单的结构,内部表示为一个字符数组。Redis所有的数据结构都以唯一的Key字符串座位名称，然后通过这个Key取相应的Value值，不同的数据结构差异就在于Value的不一样。Redis的字符串是动态字符串，是可以修改的字符串，内部的结构采用预分配冗余空间的方式来减小频繁的分配，如当前的字符串分配内存空间要大于实际的字符串长度，当字符串小于1MB时，扩容是加倍现有的空间，当大于1MB时，每次扩容会多扩容1MB的空间。字符串最大的空间为512MB.基本操作S
2021-02-07 16:03:50
120
1
原创 MongoDB的查询操作与更新操作
文章目录使用find查询文档find示例查询条件对照表子文档查询数组查询控制find的返回字段使用update更新文档更新文档更新数组使用find查询文档findfind是mongodb的查询操作，相当于sql中的select返回值为游标，特别需要注意的是，如果在使用游标的时候，没有遍历完游标，最好使用close方法关闭游标，这样可以减少资源示例db.movies.find( { "y...
2020-03-14 19:11:31
1025
1
原创 Python实现JD口罩预约+抢购
疫情期间，口罩成了市面上的硬通货，简直就是“一罩难求”，不过在某些电商平台上有预约抢购的医用外科口罩，抢得到抢不到就要看个人运气了，但是我坚信科技改变生活，就用Python写了个抢购的脚本，可以自动预约，到点自动抢购JD。ps:仅供技术交流思路：模拟登陆（参考github上已有大神写好的登陆模块）输入需要抢购的物品，获取商品信息到点自动抢购，提交订单实现步骤：4. 发现jd的抢购...
2020-03-13 22:03:15
10582
5
原创 sklearn之逻辑回归
逻辑回归逻辑回归是一个二分类的算法以及多分类的算法线性回归与逻辑回归当在线性回归的结果上，我们添加一个sigmod函数时，线性回归就变成了逻辑回归。优缺点优点：计算代价不高，具有可解释性，易于实现。不仅可以预测出类别，而且可以得到近似概率预测，对许多需要利用概率辅助决策的任务很有用。缺点：容易欠拟合，分类精度可能不高。适用数据类型：数值型和标称型数据。sigmo...
2020-01-12 01:11:44
487
原创 模拟退火法
模拟退火算法简介模拟退火算法是一种通用概率演算法，用于在一个大的空间内寻找命题的最优解。原理根据热力学原理，在温度为T时，出现能量差为dE的降温概率为P(dE),标识为P(dE) = exp(dE/(kT))k为常数，exp为自然数，且dE<0，公式指出：温度越高，出现一次能量差为dE的降温概率越大。温度越低，出现降温的概率最小由于dE<0 --> dE/kT...
2020-01-05 22:14:28
243
原创 sklearn之KNN算法
KNN算法核心思想未标记的数据样本，通过距离其最近的k个数据样本进行投票算法原理便利所有的样本点，计算每个样本点与待分类数据的距离，找出k个距离最近的点，统计每个类别的个数，投票数据最多的类别即为样本点的类别。优点准确性高，对异常值和噪声的容忍度较高缺点计算量大，需要将所有数据在内存中计算。算法参数k,k越大，模型偏差越大，对噪声的容忍度越大，容易造成欠拟合,k越小，模型方差越...
2020-01-05 22:05:18
2581
原创 pyspark学习之分布式hadoop+spark集群环境搭建
环境搭建hadoop+spark前期准备配置免密登录生成密钥：ssh-keygen -t rsa添加密钥 cat ~/id_ras.pub >> ~/authorized_keysscp 传输同步到其他节点 scp 文件 user@hostname:路径exp: scp scp ~/.ssh/id_rsa.pub root@root:~配置h...
2019-12-10 22:55:22
1066
原创 欢乐的计算机视觉-隔空玩游戏(python手势控制飞机大战)
每个人儿时都有一个武侠梦，梦想自己有一天10块钱买到一本如来神掌，从此仗剑走天涯，不过在桃花岛，真的有一本秘籍：隔空玩游戏，今天，就带领大家翻阅翻阅这本秘籍。这本秘籍全部都是用python来完成的哦，想要学会它然后仗剑走天涯，就要先学会一部分python知识，好了，我们先来看看效果吧~演示完毕，现在我们来进入教学阶段吧~本次我们只讨论手势识别的过程，用python写游戏，我们放在后续的章节放出...
2019-03-04 15:57:54
5032
2
原创 Python操作MongoDB集合---增加、删除、更改
Python操作MongoDB集合—增加、删除、更改增加在pymongo中，有两个关于向mongo中添加数据的api：insert_many和insert_oneinsert_oneinsert_one(document，bypass_document_validation = False，session = None)参数：document：文档bypass_document_val...
2019-03-01 14:16:25
4191
原创 Python操作MongoDB---连接
Python操作MongoDB---连接连接MongoDB无账号密码、无权限验证有账号密码连接1. url方式连接2.指定加密方式连接连接MongoDBPython连接Mongodb,首先需要导入python对应MongoDB api的包。常见的python-mongo包有pymongo、Motor等，这里我们先介绍pymong。导入:from pymongo import MongoC...
2019-02-20 13:53:46
1202
原创 Ubuntu 18.04下 MongoDB的安装与基本配置
Ubuntu 18.04下 MongoDB的安装与基本配置MongoDB的安装新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出...
2019-02-19 15:26:03
1639
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人