自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

王图思睿

什么都不是 什么都没有

  • 博客(160)
  • 资源 (4)
  • 收藏
  • 关注

转载 阿里巴巴 MySQL binlog 增量订阅 & 消费组件 Canal 实践

原文 -> 阿里巴巴 MySQL binlog 增量订阅 & 消费组件 Canal 实践https://blog.error.work/python/115.html背景最近有个需求,有多个库,每个库中有一张相同表名的表需要实时同步到另一个服务器上的 Mysql,本想自己 python 写一个脚本去处理,就这么巧,正好看到了阿里巴巴开源的 Canal,刚刚好他又满足需求,那就勉为其难试用一下叭[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vlKLXxgl

2020-11-18 14:43:21 32

转载 loguru 简单方便的 Python 日志记录管理模块

原文:loguru 简单方便的 Python 日志记录管理模块 -> https://blog.error.work/python/114.html这是个啥?在 Python 中,一般情况下我们可能直接用自带的 logging 模块来记录日志,包括我之前的时候也是一样。在使用时我们需要配置一些 Handler、Formatter 来进行一些处理,比如把日志输出到不同的位置,或者设置一个不同的输出格式,或者设置日志分块和备份。但其实个人感觉 logging 用起来其实并不是那么好用,其实主要还是配置

2020-11-18 11:42:51 32

转载 大数据简介、Hadoop 起源以及 Google 三大论文介绍

文章后续更新及更好的排版请查看个人博客《大数据简介、Hadoop 起源以及 Google 三大论文介绍》:《大数据简介、Hadoop 起源以及 Google 三大论文介绍》本文主要简单介绍下大数据、Hadoop 起源以及 Google 三篇论文一、什么是大数据?1PB 够大吗?如果你没有直观印象,可以联想一下你的电脑硬盘容量,标配是 500G-1TB,大部分人用了一两年,可能这部分容量都没用完。而 1PB=1024TB=1048576GB。在实际中,一个小有名气的游戏一天的数据量就在数十 TB 左

2020-11-06 17:17:50 173

原创 让 macOS 终端走代理的四种方法

介绍当我们在使用小飞机的时候浏览器可以实现代理,但是 macOS 系统下终端仍然不走代理,下面提供的四种办法优点在于简单直接,并且影响面很小(只对当前终端有效)。方法 1在终端中直接运行命令export http_proxy=http://proxyAddress:port这个办法的好处是简单直接,并且影响面很小(只对当前终端有效)。方法 2把代理服务器地址写入 shell 配置文件 .bashrc 或者 .zshrc直接在 .bashrc 或者 .zshrc 添加下面内容export ht

2020-10-28 14:48:44 146 2

转载 python:Pandas里千万不能做的5件事

本文不再更新,最新链接:https://blog.error.work/python/106.html作为一个在进入数据分析领域之前干过开发的攻城狮,我看到我的同行以及新手在使用 Pandas 时会犯很多低级错误。今天我说出这五个坑,让大家别一而再,再而三的掉坑里。修复这些错误能让你的代码逻辑更清晰,更易读,而且把电脑内存用到极致。错误1:获取和设置值特别慢这不能说是谁的错,因为在 Pandas 中获取和设置值的方法实在太多了。大部分时候,你必须只用索引找到一个值,或者只用值找到索引。然而,在

2020-10-28 14:39:40 28

原创 Web 加载速度优化清单,让你的网站快上加快
原力计划

网页加载速度是衡量一个网页好坏的重要标准,网页遗弃率随网页加载时间的增加而增加。据说近一半的用户希望网页加载时间不超过 2s,超过 3s 一般就放弃该网页。时间就是生命,干等着,谁愿意平白无故地 +1s 呀,所以今天来整理下具体如何加快网页。本文不再更新,原文链接:https://blog.error.work/qd/89.htmlHTML1、压缩 HTML:HTML 代码压缩,将注释、空格和新行从生产文件中删除。为什么:删除所有不必要的空格、注释和中断行将减少 HTML 的大小,加快网站的页面

2020-07-01 13:31:47 682

原创 Pycharm 专业版配置自动同步代码至服务器

每次在本机上面写代码,然后传到服务器上面,在服务器上面运行,这样的方式十分繁琐,效率很低,使用下方配置后可实现本地编辑代码保存自动同步到服务器。使用场景先说说自己的使用场景,我是在什么情况下,需要将IDE配置成这样的环境来方便我的工作。首先,我需要在本地机子上开发代码,需要将本地写好的代码上传到服务器上,在服务器上运行。由于代码能力渣渣,所以常常需要反复修改代码,而直接在服务器上修改代码不是很方便。因此,希望可以像下面一样操作:可以直接在本机上码代码自动将代码同步到远程服务器上面配置过程首

2020-06-16 18:21:16 666

原创 ssh 连接 Linux 速度缓慢?一个配置解决

出处:https://blog.error.work/linux/79.html背景介绍最近在写一个服务器监控服务,发现使用 Python 连接 Linux 时非常慢,总是要停顿等待一会儿才能连接上,主要是因为 OpenSSH 服务器有一个 DNS 查找选项 UseDNS 默认情况下是打开的,本文就介绍一下如何通过关闭 UseDNS 加速 SSH 登录。操作步骤1、编辑sshd_confi...

2020-05-08 09:31:10 611

转载 脱离苦海,从避免滥用try...except...开始

有不少人在写 Python 代码时,喜欢用 try...except Exception,更有甚者一层套一层,不管有没有用,先套了再说:def func(): try: "函数内部代码" except Exception as e: print('函数错误:', e)try: func()except Exception as e:...

2020-05-07 18:21:03 584

原创 Windows 设置在当前目录打开 Windows Terminal(powershell)

最近考虑使用 Windows Terminal 的多 Tab 页。Windows Terminal 自从出来之后备受好评,功能简单扩展性强,颇有 VS Code 的作风。但是习惯了 Shift+右键 在此处打开命令窗口(在此处打开 Power Shell 窗口),就在想可不可以把右键菜单的 cmd 替换为 Windows Terminal,并实现在此处打开的功能。操作步骤1、win+R 输入...

2020-04-27 09:42:38 2004 1

原创 批量修改文件名小工具

介绍

2020-04-14 14:52:41 725

原创 linux 安装 python3.8 过程

一、下载 Python 31、进入 opt 文件目录下,cd opt/2、下载 python3 (可以到官方先看最新版本多少)输入命令 wget https://www.python.org/ftp/python/3.8.2/Python-3.8.2.tgz如果出现 找不到 wget 命令,输入yum -y install wget,安装其依赖将会被安装3、安装 Python3...

2020-04-10 15:44:17 729

原创 MySQL 使用命令导出/导入数据

导出数据库文件常用命令1、导出多个表,包括表结构和数据mysqldump -u root -p databaseName tableName1 tableName2 > /home/foo.sqlmysqldump -u 用户名 -p 数据库名 数据表名1 数据表名2 > 导出的文件名和路径导出数据库中多张表的结构及数据时,表名用空格隔开2、导出整个数据库mysqldump...

2020-03-26 13:57:51 590

转载 不会被和谐的良心云端储存网盘? 试试MEGA吧!

MEGA 简介空间大、流量多、速度快或者很安全,对于云端网盘,你最在乎哪方面?如果储存私人敏感信息,当然是安全和隐私最为重要了。MEGA 就是一款主打安全隐私的网盘,所有数据在上传时会通过密码和密钥自动加密,并且密码和密钥不储存在 MEGA 云端,所以非常安全。正因为如此,你一定要记住自己账号的密码和密钥,一旦遗失将无法找回,相当于失去所有储存数据。MEGA 为所有注册用户提供 50GB 免...

2020-03-05 11:19:52 6451 1

原创 什么是防抖和节流?vue 中如何使用防抖和节流

原文地址:https://blog.error.work/qd/59.html介绍在 JavaScript 中,防抖和节流其实是一个很重要的概念。主要应用场景就是会频繁触发的事件,比如监听滚动、点赞功能,总不能点一次赞就向后台发送一次数据,这时候就要用到防抖和节流。防抖和节流的核心就是定时器,我们要知道定时器的一个概念,就是在定时之后,在没触发之前清除定时器,这个定时器方法不会被触发。防抖...

2020-02-06 19:07:08 1794

原创 Linux 删除文件实现回收站功能

原文链接:https://error.work/linux/54.html从事过服务器维护的人都知道 rm、rm -rf 的厉害,执行起来一点也不马虎,有点六亲不认的感觉。刚开始我也没觉得 rm 的厉害,经过昨天 rm 掉我几天的工作量,我才发现 rm 就是一把双刃剑,幸好我的服务器有打快照,让我只损失了一天的工作量。通过亲身体会到了 rm 的厉害,我不得不在以后的 Linux 维护甚至是生产...

2019-12-31 10:51:51 565

转载 只需几行代码,即可实现多线程和多进程操作

concurrent.futures 是标准库里的一个模块,它提供了一个实现异步任务的高级 API 接口。本文将通过一些代码例子来介绍这个模块常见的用法。ExecutorsExecutor 是一个抽象类,它有两个非常有用的子类–ThreadPoolExecutor 和 ProcessPoolExecutor 。从命名就可以知道,前者采用的是多线程,而后者使用多进程。下面将分别介绍这两个子类,...

2019-12-11 14:31:29 576

原创 Mysql 数据库导入导出比较快的方式

本文不再更新,最新版本查看:https://error.work/database/49.html1、备份原来数据库表结构,在新库中恢复表结构,必须跟原库一模一样,包括索引等。2、在新库中执行以下语句,删除新库的数据文件alter table 表名 discard tablespace;3、使用 scp 抽取原数据库中表的 ibd 文件到新库中scp -r 老数据库服务器用户名@老数据...

2019-12-06 11:05:35 896

原创 Spring Boot(一)构建项目

一、使用 Intellij IDEA 创建 SpringBoot 项目1、点击 Create New Project2、选择 Spring InitialzrSpring Initializr(初始)选择 jdk 版本Next3、填写 group ,选择 packaging— War, 选择 NextGroup 组织唯一标识(组织域名倒序)Artifact 项目的唯一标识...

2019-12-03 17:50:01 575

原创 python 异步执行装饰器

使用多线程写一个简单的异步调用装饰器:async_call.py:import threadingdef myasync(f): def wrapper(*args, **kwargs): thr = threading.Thread(target = f, args = args, kwargs = kwargs) thr.start() ...

2019-12-03 15:11:47 852

转载 如何回收 Python 中的“垃圾”?

本文不再更新,最新版本请查看:https://error.work/python/48.html前言对于 python 来说,一切皆为对象,所有的变量赋值都遵循着对象引用机制。程序在运行的时候,需要在内存中开辟出一块空间,用于存放运行时产生的临时变量;计算完成后,再将结果输出到永久性存储器中。如果数据量过大,内存空间管理不善就很容易出现OOM(out of memory),俗称爆内存,程序可...

2019-12-02 11:21:50 546

转载 mysql 临时表空间,ibtmp1 表空间暴增解决办法

本文不再维护,最新版本:https://error.work/database/45.html接到了一台 MySQL5.7 服务器磁盘空间不足的报警,该业务的数据量 20G 的样子,是什么造成磁盘空间不足呢?经过排查后发现,数据目录下面有一个 ibtmp1 的文件特别大,有 949G 。ibtmp1 是个什么东西呢?查看官方文档后发现这是非压缩的 innodb 临时表的独立表空间。通过 in...

2019-11-20 09:37:33 872

转载 Linux 下安装 Elasticsearch

说明Elasticsearch 就不过多介绍了,可以自行百度或者查看上一篇文章《windows10安装ElasticSearch》下载可以自行登陆网站手动下载:https://www.elastic.co/cn/downloads/elasticsearchLinux 下使用 wget 下载 wget https://artifacts.elastic.co/downloads/ela...

2019-10-30 14:54:12 543

原创 windows10安装ElasticSearch

简介Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎。Elastic (官网:https://www.elastic.co) 的底层是开源库 Lucene。但是,你没法直接用 Lucene,必须自己写代码去调用它的接口。Elastic 是 Lucene 的封装,提供了 REST API 的操作接口,开箱即用,通过简单的REST api 隐藏了lu...

2019-10-28 13:35:58 543

转载 mysql binlog日志自动清理及手动删除

转载:https://blog.csdn.net/atco/article/details/24259333说明:当开启mysql数据库主从时,会产生大量如mysql-bin.00000* log的文件,这会大量耗费您的硬盘空间。mysql-bin.000001mysql-bin.000002mysql-bin.000003mysql-bin.000004mysql-bin.0000...

2019-10-23 09:44:53 559

转载 优雅地记录Python程序日志二:模块组件化日志记录器

转载自 州的先生博客 :https://zmister.com/archives/217.htmllogging的模块组件化在上一篇文章【优雅地记录Python程序日志:logging模块简介】中,我们介绍了 Python 的内置模块 logging 的使用,通过短短的几行代码我们就实现了一个日志记录器。import logginglogging.basicConfig(level=lo...

2019-09-17 15:42:40 577

转载 优雅地记录Python程序日志一:logging模块简介

转载自 州的先生博客 :https://zmister.com/archives/213.html前言在使用 Python 编写程序的过程中,我们经常使用 print() 函数打印一些信息到控制台,方便的查看结果和一些调试信息,以判断程序的运行是否正常。print() 确实是方便和易用,但是也有一些缺点,比如打印出来的信息不能保存,再次运行程序时,之前打印出来的结果就被清空了。而对于一些...

2019-09-17 15:35:43 535

原创 Python 内存分配时的小秘密

Python 中的 sys 模块极为基础而重要,它主要提供了一些给解释器使用(或由它维护)的变量,以及一些与解释器强交互的函数。本文将会频繁地使用该模块的 getsizeof() 方法,因此,我先简要介绍一下:该方法用于获取一个对象的字节大小(bytes)它只计算直接占用的内存,而不计算对象内所引用对象的内存这里有个直观的例子:import sysa = [1, 2]b = [a,...

2019-09-06 13:27:39 556

转载 【pandas 学习(1)】Series和DataFrame对象的创建

原文:https://github.com/hangsz/pandas-tutorial/blob/master/1. Series和DataFrame对象的创建.ipynbpandas 中的核心对象是 Series 和 DataFrame,这一节主要介绍如何创建这两种对象。import pandas as pdimport numpy as npimport matplotlib.p...

2019-07-22 16:08:40 667

转载 【pandas 学习(0)】环境配置及说明

声明本教程原文来自 https://github.com/hangsz/pandas-tutorial ,本系列所有文章根据原文学习基础上修改而来。教程说明当今最热的职业是数据科学,数据科学领域应用最广泛的编程语言是 python,python 这么火的原因就是其有一个功能强大的数据科学库:pandas。为什么写这套教程然而,作为一名数据科学行业从业者,即使在 pandas 中浸淫日久,...

2019-07-22 15:05:35 596

转载 Python 高效操作文件

在这个世界上,人们每天都在用 Python 完成着不同的工作。而文件操作,则是大家最常需要解决的任务之一。使用 Python,你可以轻松为他人生成精美的报表,也可以用短短几行代码快速解析、整理上万份数据文件。via:https://www.zlovezl.cn/articles/three-tips-on-writing-file-related-codes/建议一:使用 pathlib 模块...

2019-06-18 15:47:38 662

转载 Python yield 使用浅析

您可能听说过,带有 yield 的函数在 Python 中被称之为 generator(生成器),何谓 generator ?我们先抛开 generator,以一个常见的编程题目来展示 yield 的概念。如何生成斐波那契數列斐波那契(Fibonacci)數列是一个非常简单的递归数列,除第一个和第二个数外,任意一个数都可由前两个数相加得到。用计算机程序输出斐波那契數列的前 N 个数是一个非常...

2019-06-05 16:48:53 545

转载 Mongodb卡死,杀掉所有查询进程

1、打开mongodb的shell脚本,执行下面语句,即可杀死所有正在执行的进程var ops = db.currentOp().inprog; for(i = 0; i < ops.length; i++){ var opid = ops[i].opid; db.killOp(opid); print("Stopping op #"+o...

2019-05-21 13:56:17 1347

转载 flask项目端口设置无效

flask项目端口设置无效解决办法:程序设置(该方法无效):解决方法:右上角打开 “Edit Configurations” ,在Additional Options处设置启动参数删掉之前在run方法中设置的参数,再次运行OKvia:https://blog.csdn.net/baidu_30809315/article/details/83543803...

2019-05-15 16:29:49 982

原创 sublime_text3无法安装插件:由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败

原文:sublime_text3无法安装插件:由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败新安装 sublime_text3 ,安装插件时报错:Package Control: Error submitting usage information. URL error [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应,连接尝试失败。...

2019-05-14 11:28:37 2584

原创 python进度条tqdm的介绍及常用方法

原文:python进度条tqdm的介绍及常用方法一、介绍Tqdm 是一个快速,可扩展的 Python 进度条,可以在 Python 长循环中添加一个进度提示信息,用户只需要封装任意的迭代器 tqdm(iterator)。总之,它是用来显示进度条的,很漂亮,使用很直观(在循环体里边加个tqdm),而且基本不影响原程序效率。名副其实的“太强太美”了!这样在写运行时间很长的程序时,是该多么舒服啊!...

2019-05-14 09:56:32 1157

转载 Python 连接 Oracle 数据库时遇到的坑及解决办法

本文不再维护,原文:https://error.work/content/14/问题一:Python 连接 Oracle 数据库时报错 64-bit Oracle Client library cannot be loaded: "F:\app\Administrator\product\11.1.0\db_1\BIN\oci.dll原因:Python3.5 版本 64 位 oracle1...

2019-04-26 14:01:58 1809 2

原创 有关 mysql 的 innodb_flush_log_at_trx_commit 和 sync_binlog 参数

本文不再维护,原文:https://error.work/content/11/一、innodb_flush_log_at_trx_commit参数解释0:log buffer 将每秒一次地写入 log file 中,并且 log file 的 flush (刷到磁盘)操作同时进行。该模式下在事务提交的时候,不会主动触发写入磁盘的操作。1:每次事务提交时 MySQL 都会把 log b...

2019-04-25 14:36:56 831

转载 python 多进程以及进程池使用简单示例

在利用 Python 进行系统管理的时候,特别是同时操作多个文件目录,或者远程控制多台主机,并行操作可以节约大量的时间。当被操作对象数目不大时,可以直接利用 multiprocessing 中的 Process 动态成生多个进程,10 几个还好,但如果是上百个,上千个目标,手动的去限制进程数量却又太过繁琐,这时候进程池 Pool 发挥作用的时候就到了。Pool 可以提供指定数量的进程,供用户调用...

2019-04-23 13:43:58 773

转载 Pyinstaller 打包 python变为exe 在 windows下免 python 环境运行 python

python 程序编写完之后需要进行打包发布在 windows 下没有 python 环境运行 python 程序怎么办呢?可以打包成 exe,直接在 windows 下运行目前打包工具主要有三种cx_FreezePyInstallerpy2exe它们之间的比较http://www.py2exe.org/index.cgi/FAQhttp://www.pyinstaller....

2019-04-18 11:13:10 1044

windows快速删除大文件

快速删除大文件,教程及原理文章:https://blog.csdn.net/weixin_41287692/article/details/87882210

2020-04-14

批量修改文件名.exe

批量修改文件名小工具功能:批量添加文件前缀、尾缀、修改文件类型。使用教程:https://blog.csdn.net/weixin_41287692/article/details/105512091

2020-04-14

CSV 快速拆分工具

CSV 拆分工具使用方法及介绍:https://blog.csdn.net/weixin_41287692/article/details/86489723

2019-01-15

DataX_Python3版

由于我本地 python 为 3.7.0 ,所以把 [datax_hoem]/bin 目录下的三个py文件修改成了符合 python3 语法要求的文件,执行也没报错 如需要,下载这三个文件替换即可。

2018-11-20

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除