- 博客(50)
- 收藏
- 关注
RSS订阅原创 PostgreSQL 和Mysql 排序，对null的不同处理
select * from table order by col desc ;mysql：null在最后面，默认null是最小的postgresql：null在最前面，默认是最大的postgrelsql对null可以灵活处理，设置null在前还是在后--null值在前select * from tablename order by id nulls first;--null值在后select * from tablename order by id nulls last;
2021-10-20 11:25:31
1335
原创 postgrel 通过命令执行文件里的sql命令
psql -U username -d myDataBase -a -f init.sql多个sql以 分号 分隔update pt_order set stockin_qty = 1000 where id = 2131891;update pt_order set stockin_qty = 300 where id = 2236567;update pt_order set stockin_qty = 450 where id = 2238290;update pt_order s.
2021-08-12 18:04:20
244
原创 mongo 批量修改自增id，并保存数据到新表
db.getCollection('202105_order').find().forEach(function(x){x['_id']=hex_md5(String(x._id)); db.getCollection('202105_orders').insert(x)})
2021-08-09 13:28:31
399
原创 mongo 跨库跨表写数据（类似mysql的 insert into ... select）
db.getSiblingDB('source_db_name').getCollection('source_table_name').find().forEach(function(x){db.getSiblingDB('dest_db_name').getCollection('dest_table_name').insert(x);})
2021-08-09 13:27:18
533
原创 mongo复制数据库
4mongodump -u rw -p vfArIi}]6LuM --authenticationDatabase=admin --archive --db=amazon_origin_check | mongorestore -u rw -p vfArIi}]6LuM --authenticationDatabase=admin --archive --nsFrom='amazon_origin_check.*' --nsTo='amazon_origin_check_bak.*'...
2021-06-25 10:07:55
338
1
原创 查看数据库表容量、索引容量
selecttable_schema as '数据库',table_name as '表名',table_rows as '记录数',truncate(data_length/1024/1024, 2) as '数据容量(MB)',truncate(index_length/1024/1024, 2) as '索引容量(MB)'from information_schema.tableswhere table_schema='stardata' and table_name in ('rec.
2021-06-25 10:06:22
215
原创 pandas使用笔记----读取数据库、写入数据库
import pandas as pddef pandas_read_sql(sql): """ :return:dataframe """ import pymysql conn = pymysql.connect(host='192.168.1.152', user='stardata', password='Tianhu2016', .
2021-06-24 10:19:08
291
原创 pandas使用笔记----基本用法
1、dataframe转字典all_orders = pd.read_sql(all_orders_sql,conn).to_dict(orient='records')
2021-06-15 19:54:19
110
原创 git删除commit的历史大文件记录
git上有人提交了垃圾大文件，导致git拉取非常慢单纯的删除文件并提交git是没用的，因为提交记录会一直存在（也是git强大的一个地方，随时可以回滚代码）1、查一下当前git checkout出来的代码，有没有大文件，有的话通过git rm删除再提交，不再多说2、主要是删除commit记录里的大文件 0>确保本地仓库是最新版本。 2>在项目根目录下运行 git rev-list --all | xargs -rL1 git ls-tree -r --long ...
2021-06-02 19:23:50
1911
2
原创 linux shell脚步异常引发的shell学习
写了一个shell脚步，在本地测试环境执行完全没有问题，一到正式环境就报错问题找了很久发现shell脚步执行的解释执行器是 /bin/sh/bin/sh是一个软链接，在本地测试环境是/bin 是在正式docker容器（alpine基础镜像）环境里是busybox shell 是精简版的shell，不支持while语法由此引发shell的知识延伸【一】 shell的含义：首先shell的英文含义是“壳”；它是相对于内核来说的，因为它是建立在内核的基础上，面向于用户的一种表现形式，比如
2020-09-23 15:50:27
264
原创 pandas使用笔记----DataFrame基本属性详解
一、About DataFrame DataFrame 是 Python 中 Pandas 库中的一种数据结构，是一种二维表。它类似 excel，或许说它可能有点像 matlab 的矩阵，但是 matlab 的矩阵只能放数值型值（当然 matlab 也可以用 cell 存放多类型数据），DataFrame 的单元格可以存放数值、字符串等，这就和 excel 表很像。  
2020-07-18 16:06:42
998
原创 pandas使用笔记-----引入pandas包
最近工作一直围绕着核对数据，数据来源可能是mysql mongo es excel，不管在哪儿，都读到内存中用pandas来处理，非常方便，特在这里记录一下pandas的用法，以后查找使用。 下面所有的例子都是基于python2.7的，跟python3差别不是很大，如果是python3，跳到源码一看也就差不多都明白了。1、引入 pandas的python包#python 2.7 import pandas as pd...
2020-07-17 18:58:35
1290
原创 Ubuntu 16.04.3 LTS ，pycharm-2019 Ctr+Alt+左键 无法回退当之前所在的代码位置
**Ubuntu 16.04.3 LTS ，pycharm-2019 Ctr+Alt+左键 无法回退当之前所在的代码位置**原因 Ctr + Alt + 左键被系统占用了，可以手动释放gsettings set org.gnome.desktop.wm.keybindings switch-to-workspace-left “[]”gsettings set org.gnome.des...
2019-12-18 14:31:44
368
原创 mysql查看数据库容量大小
1、查看所有数据库的容量selecttable_schema as '数据库',sum(table_rows) as '记录数',sum(truncate(data_length/1024/1024, 2)) as '数据容量(MB)',sum(truncate(index_length/1024/1024, 2)) as '索引容量(MB)'from information_sche...
2019-09-20 13:50:44
1110
原创 Linux内核优化
基本命令1、查看所有内核参数以及相应的值sysctl -a 2、临时修改命令sysctl -w net.core.somaxconn=32768 3、永久修改修改/etc/sysctl.conf配置文件echo "net.core.somaxconn= 4000 " >> /etc/sysctl.conf #必须以root身份执行，sudo无效然后执行命令sy...
2019-09-18 09:54:59
417
原创 数据库优化个人心得
随着公司业务越来越大，暴露的问题越来越多，主要是数据库压力太大前期追求快速实现业务，忽略了性能的考虑特写一些历史教训系统设计之初，从三个角度出发：产品、架构、数据库设计产品角度直接pass掉不合理的需求，挖掘真正的需求，优化需求架构设计走缓存，读写分离，异步，服务拆分数据库角度建索引，分库、分表建表意见：1一定要有自增id，而且必须是primary key2...
2019-08-22 16:17:26
390
原创 记录pip源
清华pip源pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package
2019-08-14 16:39:27
115
原创 数据库数据量统计
1、查询数据量最大的N张表 并排序use information_schema;select table_name,table_rows from tables order by table_rows desc limit 30;
2019-08-09 09:29:55
1352
原创 AWS S3工具使用
AWS官方文档：http://docs.amazonaws.cn/cli/latest/userguide/using-s3-commands.html管理存储桶创建桶;$ aws s3 mb s3://bucket-name删除桶：$ aws s3 rb s3://bucket-name删除非空桶：$ aws s3 rb s3://bucket-name --force列...
2019-07-24 09:59:49
3081
原创 mysql processlist监控数据库正在执行的sql
1、通用查询show processlist;2、查询完整sqlshow full processlist;3、查询特殊sqluse information_schema;select * from PROCESSLIST where INFO like "%statistic%";
2019-07-23 17:55:19
568
原创 上传到amazon s3的图片在浏览器不显示，而是下载
# -*- coding:utf-8 -*-import boto3AWS_ACCESS_KEY_ID = 'XXXXXXXXXX'AWS_SECRET_ACCESS_KEY = 'XXXXXXXXXXXXXXX'AWS_REGION_NAME ='xxxxxx'AWS_S3_BUCKET_NAME = 'xxxxxx' from botocore.exceptions im...
2019-07-20 09:33:28
7745
原创 mysql修改datetime时间（加减法）
Mysql时间加减函数为date_add（）、date_sub（）定义和用法DATE_ADD() 函数向日期添加指定的时间间隔。DATE_SUB() 函数向日期减少指定的时间间隔。语法DATE_ADD(date,INTERVAL expr type)DATE_SUB(date,INTERVAL expr type)date 参数是合法的日期表达式。expr参数是您希望添加的时间间隔...
2019-07-17 14:46:53
8075
原创 记录刷题网站
1、LintcodeLintcode.com——LintCode网站是国内较大的在线编程&测评网站。此网站提供各大IT公司的算法面试题类型，行分门别类，由简单到中等，再到难，便于不同水平的程序员进行刷题练习。同时网站支持多种语言（Java, Python, C++），方便不同语言特长的程序员利用擅长语言进行刷题练习。因此对于不同编程能力水平、不同职位需求的人来说都是非常有用的刷题网站。[...
2019-07-16 19:34:07
227
原创 python requests retry
利用python包处理requests异常，实现retryimport retrying #pip install retryingfrom requests.exceptions import RequestExceptiondef is_request_exception(e): return issubclass(type(e),RequestException)@retr...
2019-07-16 19:26:40
2093
原创 Linux积累命令
1、按时间删除文件删除文件类型是file 60天以前的数据find ./ -type f -mtime +60 -exec rm -rf {} \;2、按时间统计文件find ./ -type f -name "*" -newermt '2019-04-09 00:00:00' ! -newermt '2019-04-18 23:59:59' |wc -l3、...
2019-07-10 10:54:58
276
原创 nginx：get post数据超长引发的异常
1、post用curl发送post请求，data超长（1026，也就是大于1k）时，可以发现数据是分步骤发送出去的遇到的问题是：send for continue 一直发不出去 网络运营商mtu设置网络异常2、get前提是：用nginx做proxy,后端是python manage.py runserver遇到的问题是：后端返回302重定向原因是nginx做proxy代理有很多坑...
2019-05-27 16:23:36
3764
原创 nginx try_files，对于nginx+uwsgi+django+前后端分离的配置
server { listen 8993; server_name erp.starmerx.com; ...
2019-05-14 16:34:53
309
转载 centos死进程占用磁盘检查和释放
centos死进程占用磁盘检查和释放1、root账户登录2、yum search lsof 确认是否安装 未安装则安装 yum install lsof3、确认是否有僵死进程占用磁盘lsof -n | grep deleted4、批量杀进程，释放空间kill -9 `lsof -n | grep deleted| awk '{print $2}' `原文：https://blo...
2019-04-04 15:58:11
383
原创 nginx+uwsgi+django 用django的自带登录，一直反复跳登录页，不断在url后面加登录地址
场景：用nginx uwsgi django部署服务以后，打开登录页面，输入一直调不出登录页，地址栏看到地址一直在冗余登录地址问题原因：之前登录过，本地有cookie信息，登录的时候带着cookie去登录，后端判断是否登录的时候连接不到redis所以会认为没有登录，所以会跳登录页，每次跳登录页都带着cookie，一直验证不成功，所以死循环跳登录页解决办法：启动redis遇到问题要想、想、...
2019-04-04 15:56:22
627
转载 uwsgi 长时间处理一个请求，导致网站不可用？
https://www.v2ex.com/amp/t/396206场景：nginx + uwsgi + djangouwsgi 配置了 4 个 worker，偶尔网站会打不开，装了一些 trace 工具分析后，发现不可用的时候，uwsgi 中的 1 个或者 2 个 worker，都是在处理一些耗时的任务，比如 requests 请求第三方 api。所以表面上看好像是因为：某个 uwsgi ...
2019-04-03 18:07:33
1758
原创 mysql单库主从复制引发的异常
mysql主从复制：单库做主从，造成的异常后果前提：在一个数据库实例上，有三个数据库 DB_A,DB_B,DB_C,只做了DB_A的从库问题场景：use DB_A;update DB_B.table set a=1 where id=9;从库从use DB_A开始写binlog，遇到sql “update DB_B.table set a=1 where id=9;” 会报...
2019-04-02 09:35:25
152
转载 git修改本地分支名和远程分支名
git branch -m old_branch new_branch # Rename branch locally git push origin :old_branch # Delete the old branch git push --set-upstream origin new_branch # Push the new branch, set local branch to t...
2019-03-20 11:42:22
178
原创 mysql事务嵌套
mysql数据库不支持事务嵌套1、start transaction…sql1start transaction---------------此时，会commit上次的事务…sql2rollback--------------已经不管用了，只会回滚sql2，因为sql1在开启第二个事务的时候已经提交了...
2019-03-15 16:31:49
728
转载 mysql数据库事务
两个人同时操作一个产的库存1、先要启用事务2、查询要用select for update为什么要这样做？启用事务并select for update 可以保证一个并发过来的事务没有办法通过select for update查询数据，这样可以保证并发行事务产生的错误数据。源链接–很详细，尤其是针对django事务的实现...
2019-03-14 18:26:42
127
转载 drf-jwt登录之后返回用户对象
前言在登录验证之后,本想返回一个user对象到前端,可是在drf发送response的时候user对象就消失了,查看源码和文档之后才了解,drf默认只会返回token验证对象返回Userclass CustomBackend(ModelBackend): """ 自定义用户验证 """ def authenticate(self, username=None,...
2019-02-26 17:50:08
1054
转载 docker从容器提交镜像
1 首先你得准备一个hub 的帐号, 去 https://hub.docker.com 注册吧!2 在hub那里新建一个仓库, 这个就类似于github那边的…create —> create repository(创建知识库) 然后随便搞个名字, 我这里就叫ubuntu吧 所以路径就是wherein/ubuntu了3 运行 docker ps 查看容器, 这里就是要获取到CONTAIN...
2019-02-21 10:53:41
679
原创 docker 删除none的images镜像
删除none的images写脚本 vim none_images_rm.sh #!/bin/bash docker ps -a | grep "Exited" | awk '{print $1 }'|xargs docker stop docker ps -a | grep "Exited" | awk '{print $1 }'|xargs docker rm docker ...
2019-02-16 17:06:55
862
1
原创 ubuntu系统：模拟http请求工具（命令行模式），好用
https://github.com/jakubroztocil/httpie#url-shortcuts-for-localhost1、安装apt-get install httpie2、方式get请求http 127.0.0.1:8000/xxxxxxx/17339813、发送post请求http -f POST 127.0.0.1:8000/xxxxxxxx/1741535 ac...
2019-01-31 15:00:07
4081
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人