- 博客(24)
- 收藏
- 关注
RSS订阅
原创 Django REST Framework千万级数据量拆表实践
场景产品基于Django rest framework、Mysql开发。随着产品发展，部分模型数据量日益增涨，每月达到千万级数据，严重影响性能。这里以项目实际场景中的Order（订单表）来展开需求：1、基本查询，查看历史订单。2、看板输出，查看每天销售情况，计算订单表中的金额、成本、毛利等字段。方案分析性能下降一方面是数据量过大，另一方面是该表承担着频繁的计算请求。以Django对Order(订单表)金额字段计算为例result = models.Order.objects.filter(p
2022-03-18 17:00:15
1386
原创 canal+kafka整合Django+整体部署
应用场景1、实时同步mysql数据到另外一个数据仓库（ES、另一个mysql）2、电商场景下的实时报表计算展示3、。。。。环境搭建过程》》》》【mysql+kafka+kafka-eagle】消费者 demo_11、tcp工作模式下的 canalimport timefrom canal.client import Clientfrom canal.protocol import EntryProtocol_pb2# 建立与canal服务端的连接client = Client()
2021-11-15 13:49:54
3121
原创 docker-compose 搭建Canal+Kafka+Kafka-eagle(监控)
环境准备1、CentOS(7.6)2、Docker-compose3、Mysql(5.7)4、Canal5、Kafka6、Kafka-eagle(官方压缩包下载地址)搭建流程Mysql配置1、开启数据库binlog[mysqld]log-bin=mysql-bin # 开启 binlogbinlog-format=ROW # 选择 ROW 模式server_id=1 开启数据库binlog是因为Canal的工作原理所需，具体细节---->【Canal工作原理】2、创建c
2021-11-15 11:21:22
4647
1
原创 python自动演奏Freepiano【双手合奏】
这里是最重要的，这里我们用两个列表分别存左右手的音符。3、键盘上的按键是不一样的，但是他们的mapping值是一样的（home page up 等）用多线程的方式，开两个线程，然后通过按键模拟的方式，分别模拟左右手去演奏。运行后，任意按键会打印对应的Mapping值，这里注意的是小键盘的锁切换后会不一样。首先要研究按键模拟，就是获取所有键盘的Mapping值。开始编码模拟左右手，因为左右手的演奏速度是不一样的，所以这里要做区分。PS:这里要注意新按键的通道，因为左右手的力度是不一样的。
2023-05-28 17:16:13
1189
2
原创 【Celery】任务Failure或一直超时Pending
task进入队列后，部分任务出现Failure或者一直Pending,且业务代码没有报错。
2023-04-28 16:46:26
1983
原创 【Django】多数据库的事务使用
很多基础不扎实的朋友，遇到事务操作都会直接去搜【django 中使用事务】，然后搜到的都是千篇一律的 with transaction.atomic():的常规使用，遇到特殊场景就不生效了。谨此记录现实遇到的小问题~
2023-04-26 14:58:10
284
原创 现实生产中使用Canal+kafka做数据同步的一次记录
业务场景需求：实时同步数据库（Mysql）数据到第三方公司、另一个数据库方案一、 数据同步操作嵌入业务代码块优点：实现简单。缺点：业务代码整体耦合性变高。如果同步到第三方公司的数据是有筛选的条件的，还会影响本身业务系统的性能。二、 多搞一个数据库，读写分离，专门用做数据同步。优点：较于方案一耦合性降低。不影响本身业务系统的正常运转缺点：如果本身没有读写分离的需求，为了同步数据给第三方而增加一台机器。增加了成本且有点浪费资源。实时性得不到保证三、 主从同步加消息队列实现同步第三种方
2021-12-03 17:46:37
1661
原创 Django实际开发中的单元测试
Django单元测试本文将会讨论什么是单元测试、单元测试的意义、django中是如何进行单元测试的认识单元测试单元测试就是用一段代码去测试另一段代码。测试的目标是软件设计的最小单位，比如函数或者一个类的方法。它的测试用例是基于白盒测试来设计的（知道程序设计的内部逻辑结构），也就是说单元测试的目的在于发现各模块内部可能存在的各种错误。单元测试的意义...
2021-03-14 19:11:47
3593
6
原创 超级鹰+selenium规避检测模拟登录12306
环境准备1.python3.6+2.超级鹰账号（超级鹰官网）3.selenium4.谷歌浏览器88版（涉及selenium规避检测）流程分析1.selenium打开浏览器，跳转账号密码登录页面2.获取验证码图面3.超级鹰处理验证码4.模拟输入账号密码并点击验证码5.解决登录滑块1.跳转账号密码页面现在大多数平台的初始登录页面都是二维码，这里通过selenium点击实现切换登录模式 # 打开页面，切换登录模式 bro.get('https://kyfw.12306.c
2021-02-06 08:58:04
1131
1
原创 解决TypeError: makedirs() got an unexpected keyword argument ‘exist_ok‘
TypeError: makedirs() got an unexpected keyword argument 'exist_ok’复制这个错误在百度上搜看到很多答案说是python版本的原因。2.7版本的python不支持这个库。要更新到3版本以上的python才行然而看了下自己的python版本因为没遇到过这样的错误，就简单翻译了下：“TypeError:makedirs（）获得意外的关键字参数“exist_ok””于是试着点开配置文件，删除了两个py文件中的“exist_ok”参数。.
2020-09-10 17:16:47
14329
3
原创 基于Paddlehub实现的秒换证件照底色
秒换证件照底色现实生活中，不同证件上需要不同底色的照片。比如结婚需要的红色，身份证需要的白色，考试报名需要的蓝色。同时准备三种颜色的证件照也不是不可能，但是有时候迫于时间关系，又没有准备好照片的情况下，依靠PhotoShop手动处理需要一定的时间，还要一定的软件使用技能。这个时候，AI自动处理图像的优势就出来了。速度快，效果好，操作成本低（将本程序封装成exe）。在此之前，先介绍一个线上的AI平台百度飞浆PaddlePaddlePaddlePaddleAI,很多人第一反应就是高门槛，要面对复杂的
2020-08-26 00:09:22
976
1
原创 Fast R-CNN网络结构详解
SPPNet 对R-CNN做出了改进，但是仍然存在网络之间不统一训练的问题。因此，Fast R-CNN就是解决这样的问题。上两篇博文有详细解析R-CNN和SPPNet:R-CNN详解，SPPNet详解Fast R-CNN改进之处●增加了一个RoI pooling，然后整合整个模型，把CNN、SPP变换层、分类器、bbox回归几个模块一起训练。具体过程图：●步骤：1、首先将整个图片输入到...
2020-04-03 10:37:56
3898
原创 SPPNet网络结构详解
上一篇有对R-CNN做出详解。地址：R-CNN详解本文主要是描述SPPNet对R-CNN在速度上的一些改进。R-CNN速度慢在哪里？R-CNN慢就慢在要对每个候选区域进行卷积提取特征，上面R-CNN详解中提到选择搜索算法（selective search）会有2000个候选区域。由此可见这里面的卷积操作需要花费很多时间。SPPNet的改进●减少卷积运算●防止图片变形除了卷积运算多之...
2020-03-30 23:40:42
5031
3
原创 R-CNN网络结构详解
在介绍R-CNN之前，先来了解一种目标检测算法的思路。目标检测-Overfeat模型最初的目标检测采用的思路是滑动窗口，比较暴力的从左到右和上到下的扫描图片。设定好检测框（Bounding box）的大小，扫描图片后生成字图片。这样就变成了分类的问题了。但是，图片中的物体大小是不一样的，这也意味着每个检测框的大小也不一样了。所以就要提前设定M个检测窗口，每个窗口滑动提取N张图片，总共M*N...
2020-03-27 00:12:22
10868
3
原创 什么是图像识别？
本文将会介绍图像识别中涉及的一些概念和专业名词图像识别的三大任务●目标识别：对图片进行分类，确定图片中的目标是什么。如下图要分类图中的水杯和水瓶，方体。●目标检测：定位目标，确定目标在图片中的具体位置●目标分割：对图片进行像素级的分类前景和背景，剔除背景并描述目标的形状不剔除背景：剔除背景：这里着重介绍目标检测目标检测的定义●识别图中有哪些物体以及物体的位置，这里的位置...
2020-03-23 23:07:56
10207
原创 什么是医疗影像？DICOM与窗宽窗位
在接触人工智能医疗方面时，单是学习算法和代码原理还不够，需要一定的医学影像知识储备。B超、CT、MR等都算是医疗影像，在现实生活中，从医院检查身体后拿到的胶片是处理过后的二维图像。这些医疗影像其实是三维的。最常见的图片格式有JPG、PNG等等，这些都是二维图片。而医疗影像的格式也有很多，其中最常见的是DICOM。什么是DICOM？为了方便各种医疗设备的通讯，美国成立的ACR-NEMA协会...
2020-02-06 22:10:53
2177
原创 TensorFlow（踩坑）：RuntimeError: The Session graph is empty.
TensorFlow–session刚安装完TensorFlow都会测试是否安装成功：import tensorflow as tfone = tf.constant([[3,3]])two = tf.constant([[2],[2]])p = tf.matmul(one,two)sess = tf.compat.v1.Session()re=sess.run(p)print(r...
2019-11-30 12:03:55
2335
1
原创 什么是TensorFlow？（一）
什么是TensorFlow？TensorFlow是由Google开发的python外部结构包。简单来说，就是一款工具。可以依靠TensorFlow快速入门神经网络。TensorFlow的安装TensorFlow支持windows之后，安装了Python的用户可以用指令：pip intall tensorflow这个命令安装的是CPU版本的，GPU版本的用以下命令：pip instal...
2019-11-21 17:03:50
1053
原创 【机器学习】KNN算法
KNN（近邻算法）KNN (K-Nears-Neighbor），从字面意思可理解为K个最近的邻居。所以KNN算法也叫最近邻算法，一般用于解决分类上的问题。在机器学习中，KNN做的分类属于监督学习的范畴中，即根据已知的结果标签对未知的标签分类。物以类聚，人以群分简单的说就是要判断一个人或者一件物品是属于什么类型的，可以根据它周围的东西去判断。比如说，你想知道你一个朋友是不是有钱人，但是又不...
2019-10-29 22:48:47
734
原创 【人工智能】简单理解机器学习
人工智能人工智能（artificial intelligence），这个话题很广，涉及的领域也很广。这一个领域还处于起步阶段，每个人都会有不同的理解，那么这里对AI的一个分支做简单的讨论。什么是人工智能？人工智能通俗的来说就是能让机器模仿与学习人类的技能，并且以这些技能更高效与准确的处理问题。人工智能再往细划分又有机器学习、深度学习。具体的关系如下图：AI的水很深，可能再有一段时间发...
2019-10-14 23:17:04
435
原创 Matplotlib可视化预测双色球
步骤1.获得数据2.清洗保存数据3.读取数据并可视化4.得出结论首先，简单说下国民彩票双色球的规则：选6位数字作为红球和1位数字作为篮球组成一注彩票，红球的区间是1~33，蓝球的区间是1 ~ 16。篮球+红球与开奖号码相同的个数决定中奖的金额。其中的单式，复式等玩法就不展开了，这里主要复习爬虫和可视化1.获取数据毋庸置疑，有数据才能分析。这里的数据来源有两个：一是自己写爬虫获取，...
2019-08-25 11:39:10
743
原创 爬取公众号历史推文，PDF格式保存本地。
一、需求分析很多公众号上的原创类型推文都是作者呕心沥血创作出来的精华。例如推送的是一些生活tips、科技时讯、技术教程，又或者是推送上有你的美好回忆，每次去看的时候都要在众多公众号中寻找。然而，有时候可能因为该公众号的停止运营或是转让，你想要的那片篇推送会被删除或者找不到了。那么微信只支持收藏推送，怎么把它保存到本地呢？莫慌，万物皆可爬！二、环境准备1.python32.reque...
2019-07-19 22:20:34
1201
翻译 “灭霸系列”——随机删除电脑一半的文件
从入门建库到删库跑路最近GitHub上有个开源的命令——Thanos.sh（灭霸）。功能是**随机删除执行电脑中的一半文件**（包括系统文件），由于作者没有跑过，所以也不搞长而不想看的讲解，直接上图和源码链接。GitHub地址：https://github.com/yikongchang/Thanos.sh怎么跑这里不介绍，只作学习分享。请自行百度灭霸忠告：没有时间宝石，只有一次...
2019-05-06 20:04:41
1209
原创 爬取复仇者联盟4豆瓣短评生成词云
Python在众多编程语言中有着很多强大的依赖库支持，能用很简短的代码完成很复杂的事情。最近复仇者联盟4非常火爆，而且口碑炸裂。因此，作者运用Python对此电影做了一些简单的分析。分析的具体流程如下：1.数据获取：使用爬虫在豆瓣网上获取信息2.数据清洗：清洗html中的标签3.数据展示：把数据以图片的形式展现出来第一部分（数据获取）这是爬虫中要用到的依赖库，这里就不展开了（因为都是...
2019-04-26 00:08:05
975
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人