自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

qq_35753140的博客

疯琴的学习记录

原创 java 与 python 多线程性能简单比较

之前做过基本的集合操作比较,例如循环向 list 追加元素,python 比 java 快,我想可能是因为 python 的基本容器数据类型经过 C 优化导致。 再比较简单的多线程操作:1000 张票两个售票员线程卖票,结果是 python 多数在 600 多毫秒完成,java 多在 300 多毫...

2019-09-01 22:08:48

阅读数 11

评论数 0

原创 Java 多线程实现和尚吃馒头的问题

和尚吃馒头问题 30和尚,100个馒头,每个和尚最多吃4个馒头,最少吃1个馒头,一次只能吃1个馒头。 满足上述条件,尽快吃光馒头。 注意 合适没吃一个馒头之后要 yield(),不然他会连续吃满4个馒头才撒嘴。 代码 Monk.java class Monk extends Thread{ ...

2019-08-31 11:03:56

阅读数 5

评论数 0

原创 Java 多线程实现蜜蜂和熊的问题

蜜蜂和熊的问题 100只蜜蜂,2头熊,每只蜜蜂每次生产的蜂蜜是1,有一个罐子,容量是50 罐子的蜂蜜量一旦到达20,熊就一次吃掉20 注意问题 生产和消费函数在等待结束执行完生产消费逻辑后要notifyAll() 生产者和消费者执行完生产消费函数后要yield() 以上两点可以保证蜂蜜到达2...

2019-08-30 14:22:06

阅读数 20

评论数 0

原创 Flink 使用 BucketingSink 分桶写入HSDFS 方便Hive查询

需求: 用BucketingSink进行分桶sink,按照event time每小时一个分桶,即一个文件夹,方便Hive查询 文件分桶说明 在每个分桶文件夹内有若干文件,文件名为_part-8-0.in-progress或_part-81-0.pending或part-8-0,分别代表处于in-...

2019-07-22 14:35:13

阅读数 24

评论数 0

原创 win10 spark scala 本地运行wordcount

注意 每次修改环境变量都要重启cmd 本机运行需要hadoop common,可以从 github 下载 zip,解包以后设置 HADOOP_HOME 环境变量指向它,然后在 PATH 里加上 HADOOP_HOME\bin,特别注意,hadoop common 的版本要和 spark 的 ha...

2019-07-20 10:22:36

阅读数 12

评论数 0

原创 Flink DataSet Sink 写入 Kafka

借鉴这篇博客,由于flink没有提供将DataSet写入kafka的API,所以自己写了一个。通过实现org.apache.flink.api.common.io.OutputFormat接口,参照JDBCOutputFormat,加入了自定义分区器。 Github KafkaOutputForm...

2019-07-01 16:34:05

阅读数 109

评论数 0

原创 Flink Dataset join+sortPartition

业务需求 表1大量数据,表2小量数据,表1通过join表2补充数据,将表1按照某个条件分区然后各分区排序,用dataset批处理 从hdfs并发读表1并加工过滤inner join两张表并过滤无效数据从hdfs读表2分区排序写入hdfs 表1有1275个gz文件,每个500多M,解压后1.8G,g...

2019-06-19 18:03:33

阅读数 138

评论数 0

原创 用于人脸识别的深度学习容器环境:docker+cuda+python3.6+opencv+dlib+keras

Nvidia容器运行时 Nvidia容器运行时支持GPU,可以方便的构建和部署容器化的使用GPU加速的应用程序,就是在docker引擎外面包裹了一层,可以在docker里支持GPU的驱动。 安装跟着官网的说明就可以顺利完成。 Nvidia docker镜像 Nvida把cuda的docker镜像...

2019-06-03 11:25:15

阅读数 146

评论数 0

原创 django rest framework 登录认证授权 jwt

需求 认证:登录状态保持30分钟,记录登录日志 授权:根据不同的视图集和http方法授权不同的用户组访问 初始方法 起初写了一个基于token的认证授权方式,建一张token表,有创建时间和更新时间两个字段,和user是many to many关系,这样可以保存登录记录,登录的时候如果通过...

2019-05-16 16:25:13

阅读数 249

评论数 0

原创 django vs flask 负载性能测试对比,谁更快(二)读数据库

上文书对比了二者简单GET json的性能 网上有篇16年的对比文章说django ORM性能要比flask sqlalchemy差,我简单对比了一下读数据库的效率。 环境说明 flask 1.0.2,Flask-SQLAlchemy 2.4.0, SQLAlchemy 1.3.3,一个app文...

2019-05-15 15:11:53

阅读数 114

评论数 0

原创 django vs flask 负载性能测试对比,谁更快(一)GET简单json

先上结果: 完整的django初始框架,开发服务器:390 rps 单文件django,开发服务器: 406 rps 单文件flask,开发服务器:423 rps 完整的django初始框架,gunicorn: 462rps 单文件面django,gunicorn:482 rps 单文件flas...

2019-05-15 12:56:21

阅读数 258

评论数 0

原创 django rest framework 自定义过滤器 django filter

django filter通过url传参实现资源的筛选、搜索、排序等功能,省着自己写从request.query_params获取参数然后Order.objects().filter()了。 首先安装django-filter pip install django-filter 在视图文件(vi...

2019-05-14 09:27:51

阅读数 164

评论数 0

原创 django rest framework 自定义分页

上回书说到自定义返回内容,通过继承viewsets.ModelViewSet实现,这里面有个问题,在list函数,也就是返回结果列表这个功能里,如果用到了分页,就需要额外的调整来实现自定义返回内容了。 def list(self, request, *args, **kwargs): ...

2019-05-13 09:37:54

阅读数 70

评论数 0

原创 django rest framework 自定义ModelViewSet的返回内容

django rest framework的ModelViewSet非常爽,省了一大堆业务逻辑代码,跟自己手写restful的API 比至少减了100多行代码,而且serializer这种东西都是复制就行,少耗费好多脑细泡。create和update的时候的各种异常根本不用自己检查,直接就能报出来...

2019-05-09 11:46:50

阅读数 495

评论数 0

原创 django rest framework 批量删除

使用ModelViewSet可以自动生成删除单个资源的方法,删除的url是/resource_name/pk/。如果想要批量删除可以写继承APIView的类,自定义delete方法,如果使用ModelViewSet的话可以在类里面写一个批量删除的函数: from rest_framework.de...

2019-05-06 14:38:50

阅读数 324

评论数 0

原创 LeetCode23 猴子补丁

本题并不难,但是使用heapq遇到一个问题,python3中如果类没有实现__lt__方法就不能进行比较,所以如果没有等号之间那段代码的话会报错TypeError: '<' not supported between instances of 'ListNode' and 'List...

2019-04-19 15:42:08

阅读数 28

评论数 0

原创 win10资源管理器右键打开wsl的linux bash shell

学习自这里 在win10的资源管理器里面shift+鼠标右键可以选择“在此处打开Powershell窗口”,喜欢用bash的话可以设置右键的菜单中包含“在当前位置打开bash shell窗口”,比如我想在当前位置将文件打tar包的时候。 方法是修改注册表。 win键+R打开命令运行窗口输入reg...

2019-04-15 10:10:27

阅读数 284

评论数 0

原创 Python Eventlet 使用协程和requests库遇到的问题及解决方法

之前用greenevent携程并发下载web内容,很方便,速度快。最近学习eventlet,还想结合requests并发下载web,各种尝试,遇到一些问题。 第一个官方示例 Eventlet官方文档的第一个示例: import eventlet from eventlet.green impo...

2019-04-12 22:02:55

阅读数 181

评论数 0

原创 django 单元测试 1067, Invalid default value for exist_info

django做单元测试时报错: python manage.py test django.db.utils.InternalError: (1067, “Invalid default value for ‘exist_info’”) 百度找了一个错误处理:https://www.smwen...

2019-02-18 10:10:24

阅读数 84

评论数 0

原创 Centos7.2 安装devstack S版

1. 系统准备 vmware虚拟机,2C4G,minimum安装,安装Developmen Groups,关selinux,关firewalld,校对系统时间 # 关闭防火墙 systemctl stop firewalld systemctl disable firewalld # 关闭seli...

2019-02-15 14:53:36

阅读数 308

评论数 6

提示
确定要删除当前文章?
取消 删除