太阳的味道

utf8 bom编码处理decode字符传乱码： 原因是从Facebook下载的csv文件是utf8 bom编码的， 直接decode(‘utf-8’)会出现’\ufeff’； 应该decode(‘utf-8-sig’)原本以为是文件内容导致的问题，debug之后，发现文件开头有’\ufeff’； 不知道这个是什么东西，墨迹了一会儿之后，尝试Google了才有答案；豁然开朗了data_str = file.read().decode('utf-8-sig')datas = data_str

python3 flask解析多选框的值结论ImmutableMultiDict 使用getlist 取多个相同key的值from werkzeug.datastructures import ImmutableMultiDictd = ImmutableMultiDict([('comment', 'test'), ('wp_ids', '2233'), ('wp_ids', '2341')])print(d['wp_ids'])print(d.get('wp_ids'))print(

错误log2020/12/24 06:39:09 [alert] 8315#0: *4128715829 socket() failed (24: Too many open files) while connecting to upstream, client: xxxx, server: xxxx, request: "GET /client/v3/wallpaper_4k/wallpaperList.json?sign=9939e1fa528ec5b4b1145e2045483929&pac

mysql OOM资源问题，被系统重启表象MySQL log 显示 OOM被重启解决问题log显示了OOM，就以为是MySQL占用内存过多导致系统内存紧张，被重启；思路方向一直是MySQL 内存分析、优化check内存相关参数配置，没有发现问题分析MySQL内存的使用, 并没有发现明显的问题脑海中各种问号，明明内存消耗没那么大，但是怎么就OOM被kill了呢分析syslog分析MySQL被重启前后的系统log，发现系统log记录了MySQL被重启时的系统状况：有pytho

MongoDB 索引优化1. 一图看懂索引原理2. 查看执行计划3. 如何建索引3. 索引的优化4. 索引的选择机制5. 优化实践country_themes 优化wallpapers mongo 优化themes mongo 优化1. 一图看懂索引原理# 初始化数据> db.comment.insertMany(... [... {'timestamp': 3, 'anonymous': true, 'rating': 1},... {'timestamp': 2, 'anonym

Superset 二次开发 根据APP控制权限一、背景数据是区分应用维度的，想要控制用户对应用数据的访问权限综上，需要二次开发，实现基于数据内容的权限控制二、Version系统：Ubuntupython版本：3.6superset版本： apache-superset==0.36.0conda 虚拟环境三、实现1. 思路实现该功能的最终目的就是只返回用户有权限的应用的数据，没有权限的不返回Google之后没有发现superset支持类似的功能，或者说在superset的设计

[Superset]修改FilterBox源码，实现下拉框别名name一、背景superset提高的filterbox 下拉框选择，不支持别名的形式；即value和name都是一个值，在配置filterbox的时候选择； 并没有提高别名的功能；要实现别名，只能自己二次开发了；二、开发测试环境conda 安装环境，因为之前已经有装好的环境；此处直接导出环境配置文件，然后安装；开发# 环境源机器conda activate supersetconda env export > envir

Superset 自定义视图，实现写一、背景superset数据展现很友好，所以最初选择了这个框架后期需要实现内容配置，即控制台实现写库的操作综上，需要自定义视图，集成superset实现写的操作二、Version系统：Ubuntupython版本：3.6superset版本： apache-superset==0.36.0conda 虚拟环境三、Installationconda 安装# 安装minicondawget https://repo.anaconda.

[python语法] python高级特性文章目录[python语法] python高级特性一、切片二、迭代三、列表生成式四、生成器五、迭代器一、切片切片的正常用法不再赘述，除了正常的切片功能，还可以在切片的基础上每个N个元素取一个；以下是每隔2个元素取一个l = range(10)for i in l[::2]: print(i) 02468二、迭代用for遍历list、tuple等可遍历对象，这种遍历就叫做迭代在Python中，迭代是通过for

python内存分配、id()函数的使用文章目录python内存分配、id()函数的使用1. id函数的使用2. 为了提高内存利用效率对于一些简单的对象，如一些数值较小的int对象，字符串对象等，python采取重用对象内存的办法3. list类型浅拷贝时，内存地址一样；深拷贝时，内存地址发生了变化4. 内存的分配1. id函数的使用id()函数可返回对象的内存地址python中会为每个对象分配内存，哪怕他们的值完全相等。id(object)函数是返回对象object在其生命周期内位于内存中的地

Python装饰器文章目录Python装饰器一、不接受参数的装饰器装饰器的例子：讨论二、接受参数的装饰器装饰器的例子：讨论结语一、不接受参数的装饰器装饰器的例子：import timefrom functools import wrapsdef timethis(func): ''' Decorator that reports the execution time. ''' @wraps(func) def wrapper(*args, **kwarg

*args **kwargs使用文章目录*args **kwargs使用写法用途标准参数与`*args、**kwargs`在使用时的顺序写法其实并不是必须写成*args 和**kwargs。 只有变量前面的 *(星号)才是必须的. 你也可以写成*var 和**vars. 而写成*args 和**kwargs只是一个通俗的命名约定用途主要将不定量的参数传递给函数，即当不确定函数有多少个参数的时候使用*args 是用来发送一个非键值对的可变数量的参数列表给一个函数.**kwargs 允许

备选： sanic、tornado、flaskflask暂时不支持异步，被淘汰sanic 、tornado对比tornadosanic支持的python版本3.X3.6+异步的底层实现asyncio（可以使用uvloop）uvlooprps较差较优文档完善较少更新差不多差不多uwsgi支持不支持综上，基于sanic目前还太新、文档还不完善且tornado可以使用uvloop事件循环，决定采用tornado6

python异步库asyncio、uvloopasyncio 是Python 标准库里的一个异步 I/O 框架。uvloop : 是 asyncio 默认事件循环的一个代替品，实现的功能完整，且即插即用。uvloop 是用 Cython 写的，建于 libuv 之上。uvloop 可以使 asyncio 更快。事实上，它至少比 nodejs、gevent 和其他 Python 异步框架要快 两倍 。基于 uvloop 的 asyncio 的速度几乎接近了 Go 程序的速度。在你的 asyncio 代

Python的异步IO异步IO的优势显而易见，各种语言都通过实现这个机制来提高自身的效率，Python也不例外。一、Python 2的异步IO库Python 2 时代官方并没有异步IO的支持，但是有几个第三方库通过事件或事件循环（Event Loop）实现了异步IO，它们是：twisted: 是事件驱动的网络库gevent: greenlet + libevent(后来是libev或libuv）。通过协程（greenlet）和事件循环库（libev，libuv）实现的gevent使用很广泛。to

[python异步] Linux 异步网络库libevent、libev、libuv对比一、概念：事件、事件循环二、对比三个库：三、在github上的影响力：四、事件种类五、可移植性六、异步架构程序设计原则一、概念：事件、事件循环Libevent、libev、libuv三个网络库，都是c语言实现的异步事件库Asynchronousevent library。异步事件库本质上是提供异步事件通知（Asynchronous Event Notification，AEN）的。异步事件通知机制就是根据发生的事件

文章目录一、细谈 io 多路复用技术 select 和pollSelect介绍Poll介绍Select、Poll 的缺点Select、Poll 的轮询过程二、细谈事件驱动--EpollEpoll提供了三个函数：Epoll解决的问题：总结操作系统在处理io的时候，主要有两个阶段：等待数据传到io设备io设备将数据复制到user space我们一般将上述过程简化理解为：等到数据传到kernel内核spacekernel内核区域将数据复制到user space（理解为进程或者线程的缓冲区）而

git 使用总结 git log filename 显示某个文件的修改历史 git show commit_id filename 显示某次提交对某个文件的修改 git log --name-status commit_id 显示某次提交修改的文件列表 commit冲突的解决 本地commit ahead远程的时候，push 会报错； 所以p...

python3 的fabric需要按着fabric3才能正常运行； tar 在Windows下无法识别带路径的文件名，只能在当前目录下生成不带路径的文件名； fab 部署的时候，为了能同时兼容从Windows和Linux系统部署到远程机器需要注意路径分隔符的使用： 本地分隔符使用os.path.join 远程要使用'/'，Linux下的分隔符，因为远程的机器...

简单的commit message 可以使用[type]作为前缀用于说明 commit 的类别，只允许使用下面7个标识。feat：新功能（feature） fix：修补bug docs：文档（documentation） style： 格式（不影响代码运行的变动） refactor：重构（即不是新增功能，也不是修改bug的代码变动） test：增加测试 chore：构建过程或...