- 博客(48)
- 收藏
- 关注
RSS订阅原创 redis实用功能
分布式锁#不存在时候创建，过期时间20秒set lock true ex 20 nx阻塞读#没有数据会休眠，有数据就唤醒blpop / brpop
2020-07-25 22:42:20
152
原创 gradle
gradle build -x check clean --parallel -qallprojects { apply plugin: 'java' group 'org.example' version '1.0-SNAPSHOT' jar.doLast{ sleep(2000) println "-- $project.name" def command = "echo hello world" e
2020-05-18 02:57:54
218
原创 centos_init
安装常用的组件yum groupinstall "Development Tools" -yyum install dnf libffi-devel zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make vim wget -y编译安装pythonm...
2020-03-08 13:37:07
364
原创 sqlalchemy基本使用
使用python向数据库插入数据时候，写原生sql是很痛苦的。。。使用sqlalchemy， 一能兼容多种数据库，二来insert很简单。create_table.pyfrom sqlalchemy import create_enginefrom sqlalchemy import Table, Column, Integer, String, MetaData, ForeignKey...
2020-03-06 23:50:02
301
原创 优秀的github项目 （python）
优秀的github项目 （python）文章目录优秀的github项目 （python）黑板报实用的nlp搜集HelloGitHub 月报实用项目fastapiglances 系统监控cheat.sh 备忘清单python-firePySnooper 调试代码requests-html进阶之路你以为你会python50个数据结构和算法数据结构和算法-教育数据和AIhanlp面试题目各个公...
2020-03-01 23:20:07
1214
原创 postgresql基本使用
posgresql 使用说明文章目录posgresql 使用说明数据库操作表格操作创建表删除表插入数据查询更新删除python驱动 psycopg2基本any 优于 in踩坑指南serial类型自增数据库操作su - postgrespsql\l 列出数据库\c 连接到数据库\d 列出表信息CREATE DATABASE "testdb" WITH ENCODING = '...
2020-03-01 14:35:27
422
原创 下载jenkins插件，从华为云，很快
1import fireimport requestsfrom crawl import exe_sqlclass Jk: def search(self, name): res = exe_sql(f'select * from jenkins_plugins where name like "{name}%"') print(res) ...
2020-01-09 01:35:04
612
原创 MySQL 字符集问题
在配置文件中修改字符集修改数据库字符集alter database 数据库名称 character set utf8mb4 collate utf8mb4_unicode_ci;
2019-10-08 17:25:33
141
原创 celery编程--supervisor监控
celery基础文章目录celery基础组件安装架构图：如下所示使用步骤1 配置broker 和 backend2 编写worker代码3 启动worker4 编写应用代码组件安装主角 ： celery配角 ： redis 或者 rabbitmqlinux:pip install reids celerywindowspip install redis eventlet架构图...
2019-09-30 01:51:13
438
原创 concurrent.futures
concurrent.futuresconcurrent.futures 模块提供异步执行回调高层接口。注意 ： 适合直接运行大量任务，不适合细节控制的任务。基础的执行器下面的多进程 和 多线程 接口 都是 基于 执行器对象的。（可继承，不能直接用）class concurrent.futures.Executor submit(fn,*args,**kwargs)...
2019-09-29 17:38:36
224
原创 多线程
多线程参考 ：https://docs.python.org/zh-cn/3.7/library/threading.html文章目录多线程明确一下先来个简单的多线程Lock -- 遇到临界资源，上锁！condition -- 执行结束后唤醒其他线程semaphore -- 同时只能有2个人吃饭！Event -- 天亮了，都起床！明确一下当没有存活的非守护线程时，整个Python程...
2019-09-29 17:37:32
159
原创 多进程
多进程文章目录多进程先来个辅助函数系统级别的进程这样写Lock -- 同时只能有一个访问我！Pool -- 进程很多的话，应该用进程池subprocess -- 但很多时候，调用的是外部进程Queue -- 进程通信，用队列来搞一搞死循环 子进程 永生？最后再明确下先来个辅助函数from multiprocessing import Poolimport time, os, random...
2019-09-29 17:34:38
127
原创 mongodb 数据库备份恢复或迁移
mongodb备份恢复迁移导出mongodump -d dbname -o dirname压缩tar -zcvf xx.tar.gz ./xx传输-r递归复制目录scp /root/xx.tar.gz [email protected]:/home导入mongorestore -d dbname --dir dirname...
2019-08-28 14:34:23
305
原创 python-cookbook
PYTHON-COOKBOOK文章目录PYTHON-COOKBOOK一：数据结构和算法1、Heapq取出最大或最小的几个元素优先级队列2、字典多值字典字典排序字典列表排序字典共同点和不同点3、collections保留最后几个元素频率统计命名元组字典(映射)联合查找4、其他解压赋值去重且保持顺序切片分组一：数据结构和算法三个基本的写法：列表生成式字典生成式迭代器生成式1、H...
2019-08-27 18:10:42
522
原创 nginx的配置
自己一般用来配置代理server { listen 3006; server_name localhost; location / { proxy_pass http://localhost:1234/ } location /users { proxy_pass http://localhost:3000/users; }...
2019-08-19 15:37:07
126
原创 matplotlib 常见用法
简单的用法，常用于数据分析。如果你想要炫酷，请移步隔壁 javascriptmatplotlib先绘制一个底板一次性绘制多个图方法一方法二四种常见的图形三维图先绘制一个底板# 绘制一个底板import matplotlib.pyplot as pltplt.figure(figsize=(5,3),dpi=144)plt.title('hello world')plt.show...
2019-08-05 20:54:32
265
原创 python 元类编程
元类编程装饰器任何时候你定义装饰器的时候，都应该使用 functools 库中的 @wraps 装饰器来注解底层包装函数.因为一个装饰器作用在某个函数上，这个函数的重要的元信息比如名字、文档字符串、注解和参数签名都会丢失。import timefrom functools import wrapsdef timethis(func): ''' Decorator ...
2019-08-05 16:32:45
150
原创 python多线程
python多线程深入理解基本使用EventSemaphore基本使用join()方法用来阻塞主线程。可以注释掉、看看打印顺序。import threadingimport timedef test(n): time.sleep(1) print(n)t = threading.Thread(target=test, args=(7,))t.start()t.j...
2019-06-29 00:25:53
182
转载 python正则表达式
python 正则表达式转发自“Echo_fy 发表于 https://cloud.tencent.com/developer/article/1149679”文章目录python 正则表达式1、正则解说2、中文字符集3、re模块常用方法1、正则解说数量词的贪婪模式与非贪婪模式 正则表达式通常用于在文本中查找匹配的字符串。Python里数量词默认是贪婪的（在少数语言里也可能是默认非...
2019-05-21 10:54:38
575
原创 004 redis高级功能
文章目录慢查询pipeline发布订阅bigmaphyperloglogGEO慢查询对于较慢的操作（超过1ms的任务），维护一个先进先出队列进行保存修改配置文件slowlog-max-len 慢查询有个队列，这个队列的长度，默认是128，建议设置1000slowlog-log-slower-than 超过多长时间（微秒），进入慢查询？默认是10000微秒，建议1000微秒co...
2019-05-18 19:13:04
168
原创 python 数据存储
文章目录python常用数据存储方法txtjsoncsvmsyql安装pymysql连接建库建表插入删除修改查询mongodb安装连接建库建文档增删改查redis安装连接操作公用方法字符串列表集合有序集合散列python常用数据存储方法txtwith open('test.txt','w',encoding='utf8') as f: f.write('sdfasdf'+'\n')...
2019-05-17 09:19:45
346
原创 scrapy常用settings.py
settings.pyscrapy的配置有点多，这里列出常用的选项# 控制日志级别 (ERROR WARNING INFO DEBUG)LOG_LEVEL = 'DEBUG'# LOG_FILE = 'scrapy.log'# 自定义 超时 时间DOWNLOAD_TIMEOUT = 15# 不遵守 robots 协议ROBOTSTXT_OBEY = False# 不...
2019-05-09 19:07:54
267
原创 python3.7 协程实战
文章目录协程实战cpu密集io密集python3.7 协程代码官网两个例子常用的用法单核上的协程多核上的协程协程实战只介绍常见用法，底层用法请回顾 yield from，原理请参考论文cpu密集对于cpu密集操作，当然只能靠多进程方式io密集对于io密集型操作，传统上用多线程方式。现在，更加高效的的方式来了，协程 ！协程的本质是函数回调，不需要os调度，效率极高，且不需要锁...
2019-05-08 11:27:30
3993
原创 linux 编译安装 redis6
文章目录linux 编译安装 redis5下载-编译-安装配置建立必备的文件夹redis.conf里面这样写运行性能测试下载加速linux 编译安装 redis5centos : yum groupinstall “Development Tools” -yubuntu : apt install build-essential wget -y下载-编译-安装wget http://...
2019-05-07 17:24:27
670
原创 selenium爬取 阿里巴巴 商品目录页面
仅仅是获取商品目录，不需要登陆逻辑很简单，打开首页，点击更多，逐层把目录的内容爬下来，同时编好关联的ID注意：使用mongodb存储（因为不需要先建库，省事儿）tqdm添加进度条，好看点不加载图片无头浏览器忽略一些警告模拟手机from selenium import webdriverfrom scrapy import Selectorimport timeimpor...
2019-04-17 09:15:25
1025
原创 selenium爬取新浪微博
逻辑很简单，先登录之后，搜索一个关键字，爬取内容注意使用mongodb数据库，注意update_one自带去重。tqdm添加进度条无头浏览器不加载图片使用scrapy的selector解析页面from selenium import webdriverfrom scrapy import Selectorimport timeimport pymongofrom tqd...
2019-04-17 09:08:12
1550
1
原创 003 pandas 数据清洗常用
操作数据库实例import pandas as pdfrom sqlalchemy import create_engineconn = create_engine( 'mysql+pymysql://root:xxxxxx@localhost:3306/testdb?charset=utf8')# 从数据库读取# data = pd.read_sql('select * f...
2019-04-01 18:18:03
164
原创 吴恩达机器学习笔记 001
吴恩达机器学习笔记文章目录吴恩达机器学习笔记基础概览当前分类基本模型确定参数方法1 梯度下降法确定参数方法2 正规方程法多元线性回归先看我 ： 一些技巧feature scaling 特征放缩mean normalization 均值归一确保学习率alphaoctave操作系统命令运算符矩阵函数绘图函数基础概览当前分类监督学习 supervised回归 regression分类...
2019-03-21 21:48:38
180
原创 003 redis字符串
文章目录字符串场景API字符串操作最常见整型操作的特例（计数器）总结字符串场景缓存计数器分布式锁等等API字符串操作最常见getmget (最大的优势是 能省去大量网络传输时间)getrange key start endsetset key value ：无论存不存在，都设置setnx key value ：key不存在，才设置set key...
2019-03-13 10:44:03
175
原创 002 redis通用命令
文章目录通用命令数据结构和内部编码单线程架构通用命令keyskeys *keys "h*"dbsizedbsizeexists keydel keyexpire key seconds：过期时间expire key 3ttl：查看剩余过期时间ttl keypersist ：永不过期type key ：数据类型数据结构和内部编.
2019-03-13 10:38:50
163
原创 001 redis概述和安装
redis主要功能概览缓存计数器消息队列排行榜社交网络实时系统可执行文件说明redis-server ：服务器redis-cli ：客户端redis-benchmark ：性能测试redis-check-aof ： aof文件修复工具redis-check-dump：rdb文件检查工具redis-sentinel ： sentinel高可用服务器安装和启动...
2019-03-13 10:33:10
186
原创 sqlite3
文章目录sqlite3连接建表增删改查范例sqlite3连接import sqlite3# sql语句中无论 大小写conn = sqlite3.connect('test.db')c = conn.cursor()c.execute(…………)……conn.commit()conn.close()建表c.execute('''drop table company''...
2019-03-08 20:46:17
208
原创 001 sql基础
常用的数据类型数据类型描述integer(size)int(size)smallint(size)tinyint(size)仅容纳整数。在括号内规定数字的最大位数。decimal(size,d)numeric(size,d)容纳带有小数的数字。“size” 规定数字的最大位数。“d” 规定小数点右侧的最大位数。char(size)容纳固定长度的字符串（可容纳...
2019-03-08 20:42:19
206
转载 sql建表 范例
sql语句范例sql语句，下面是比较好的 范例。CREATE TABLE `user` ( `uid` int(11) NOT NULL AUTO_INCREMENT COMMENT '用户编号', `avartar` varchar(200) NOT NULL COMMENT '头像', `uname` varchar(50) NOT NULL COMMENT '用户名', ...
2019-03-08 20:41:05
3105
原创 Python3.5升级3.6
Python3.5升级3.6apt-get remove --purge python3.5* -yapt install python3.6 -y确认一下软连接cd /usr/binrm python3ln -s python3.6 python3然后执行以下wget https://bootstrap.pypa.io/get-pip.pysudo python3.6 ge...
2019-03-08 18:46:08
5534
原创 Linux美化 : conky
conky 是Linux桌面美化小工具conky 也是轻量级的系统监视器自定义性极强，请发挥想象！从github上下载了配置，发现不能用经检测 发现curl访问网站超时，因此对其进行简单修改配置如下.conkyrc-- vim: ts=4 sw=4 noet ai cindent syntax=luaconky.config = { alignment = 'top_...
2019-03-08 14:34:30
2106
原创 002 pandas初步数据清洗
文章目录删除 dropna()填充 fillna()Python字符串处理pandas字符串处理删除 dropna()填充 fillna()Python字符串处理pandas字符串处理
2019-03-06 19:40:41
735
1
原创 001 pandas 输入输出文件
文章目录pandas 读写文件pandas读取文件read_csv/read_table参数pandas 读写文件pandas读取文件read_csv/read_table参数
2019-03-05 16:04:28
4883
原创 同时操作多个表
某次数据处理时候，需要把一张大表切分到 多个小表中。import pymysqldb = pymysql.connect("xx.xx.xx.xx", "root", "root", "backup3")cursor = db.cursor()# 对原来存在的很多小表批量操作db_name = 'backup3'sql_get_all_tables = f"select tabl...
2019-03-05 11:38:52
504
原创 切割地址，手机号归属地，IP归属地
手机号码 获取 归属地pip install phonefrom phone import PhoneP = Phone()def get_pc(ss): # s : '13565656565' # get provice and city try: res = P.find(ss) if res: pr...
2019-03-05 11:29:44
365
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人