PHP+MYSQL
何忧非喜{傲娇的程序媛}
源于生活,更源于兴趣!
***开源的忠实码粉***
展开
-
分表实战二
关于如何生成表?查询如何确定表?考虑后期容错,先用hook来实现自动创建表和自动获取查询表原创 2020-03-18 17:19:27 · 120 阅读 · 1 评论 -
分表实战一
现在单表超过一千万记录,虽然索引完全使用,依旧会出现慢查询。日增平均40万。数据库要重新设计,目的提高查询速度,只查询热数据。原创 2020-03-13 16:31:07 · 197 阅读 · 0 评论 -
根据csv制作多列数据柱形图表并生成html
数据表收录已经过千万了,为了分表,先用sql调出数据然后渲染csv如下:代码如下:# -*- coding: utf-8 -*-# pip install pyechartsimport pandas as pdimport numpy as npfrom pyecharts import Bardf = pd.read_csv("monthbybdtype.csv")...原创 2020-03-11 11:25:15 · 1585 阅读 · 0 评论 -
根据excel制作柱形图表并生成html
复工第一天,统计数据增长趋势,mysql导出csv,然后生成HTML页面图表csv格式python代码# -*- coding: utf-8 -*-# pip install pyecharts"""按月展示房源每日新增统计图"""import pandas as pdimport numpy as npfrom pyecharts.charts import Bardf...原创 2020-03-09 16:55:03 · 591 阅读 · 0 评论 -
redis数据处理完成类似分页
销售突然反映:用户导出企业客户数据,最多400条,并且都还一样??APP里面用户可以选择的是100、200、300、500,结果选500的都是400条记录,且重复导出的数据竟然还一样!!经查看分析:企业客户导出问题归纳:最多导出400条,是因为前端选择500,但实际请求是400,所以最大是400条数据更新周期短,因此每天导出都是最新的400条,基本一样解决方案:由于前端APP目前...原创 2019-12-12 14:24:06 · 152 阅读 · 0 评论 -
日常
需求:每五分钟推送一次背景:这个软件主要是关于房客源信息的实时采集的一个APP,利用爬虫由用户触发或者爬虫定时任务录取数据,通过用户查看房源详情首次爬取详细信息入库保存。软件有300多个市,3600个区域,每日日活1000多,房客源每日新增数据20-30万。目前,房源数据量约1000万,用户可订阅关注区域,由个推即时推送新房客源信息。场景:现推送机制“有新数据入库,然后调用个推接口进行对应...原创 2019-10-23 13:21:07 · 152 阅读 · 0 评论 -
mysql数据过滤,导入数据
今天收到一个3.17M的sql文件,是关于街道的统计。首先导入数据库,查看数据约15w条记录,用sql分组统计了一下,超慢,利用代码读取,也是超慢。突然想到,索引,这个表估计没有对必要字段建立索引,果不其然,新增索引,速度超快。其中 insert的时候,期初是在foreach里面,跑接口的时候还是会崩,最终,一对多的数据,用新增数组的形式就搞定了。public function addStr...原创 2019-09-11 14:38:18 · 510 阅读 · 0 评论 -
记一次人工客服开发记录
环信云客服开发APP客服和VIP会员关系绑定表fcxlt_kf_member:解决客服同时在线,会员咨询按照之前分配关系进行咨询字段名字段类型字段备注idint(11)kf_idint(11)客服IDmember_idint(11)用户IDcreate_timetimestamp日期create table `fcxlt_kf_m...原创 2019-09-20 13:09:29 · 276 阅读 · 0 评论 -
dataframe处理excel基础内容
读取excel表格数据内容方法一:import pandas as pddf = pd.read_excel('test.xlsx')# 指定sheetdf = pd.read_excel('test.xlsx', sheet_name='one')方法二:import pandans as pddf = pd.ExcelFile('test.xlsx')# 获取所...原创 2019-09-24 13:06:50 · 2203 阅读 · 0 评论 -
python实现环信注册用户
环信注册用户,用PHP一直报错,最后用python实现了import pandas as pdimport requestsimport jsonimport numpy as npdf = pd.read_excel('phone.xlsx')class NpEncoder(json.JSONEncoder): def default(self, obj): ...原创 2019-09-25 17:05:38 · 208 阅读 · 1 评论 -
字典转dataframe写入excel且创建多个sheet
从环信请求的批量用户信息,分页在返回结果cursor里面,且不固定。返回结果集是json字符串,利用列表追加或者扩展的属性进行全局变量赋值,然后写入excel统计查看。代码如下:# -*- coding: utf-8 -*-import requestsimport jsonimport pandas as pd"""查看环信注册用户数据"""headers = { ...原创 2019-09-26 13:08:37 · 1579 阅读 · 0 评论 -
pandas统计数据-json转list,拼接列表实现dataframe
调查问卷,根据答案统计,数据库保存方式为json的字符串需求:APP里面的调查问卷,已经正式运营一周,老板要一份调查问卷的统计,依据题目,答案统计数目和所占百分比分析:数据保存方式,所有用户提交内容保存一个json的字符串,现在要对里面每个字段进行统计数据如下:方案一:利用PHP,获取jstext的结果集,根据题目,循环拼接,对应字段字符串,该字符串包含用户答案,根据答案查找出现次数...原创 2019-09-10 14:51:49 · 2137 阅读 · 1 评论 -
php递归获取无限上级ID
数据库结构CREATE TABLE `fcxlt_authuser` ( `id` int(11) NOT NULL AUTO_INCREMENT, `username` varchar(50) NOT NULL COMMENT '用户名', `password` varchar(64) NOT NULL COMMENT '密码', `nickname` varchar(50) ...原创 2019-08-19 16:26:27 · 2378 阅读 · 0 评论 -
秒杀mysql和redis
秒杀系统的架构设计秒杀系统,是典型的短时大量突然访问类问题。优化思路:写入内存而不是写入硬盘(SSD硬盘比传统硬盘的读写性能快100倍,内存比ssd快10倍)异步处理而不是同步处理(用户请求写入内存立刻返回。后台启动多个线程从内存池中异步读取数据,进行处理)后台启动多个线程项目中经常会有后台运行任务的需求,比如发送邮件时,因为要链接邮件服务器,往往需要5-10秒甚至更长时间,...原创 2019-08-08 17:28:58 · 854 阅读 · 0 评论 -
w系统php7.1安装redis扩展以及单独安装redis
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...原创 2019-06-10 11:51:09 · 645 阅读 · 1 评论 -
source本地导入大文件sql
根据以往经验,用source是比较快的。今天一开始就用source操作,但是三个小时过去了,还在导入,特别慢特别卡。。。猛然想起,PHP7的max_allowed_packet么有设置,设置后,速度飞快,...原创 2019-06-10 15:20:52 · 607 阅读 · 4 评论 -
mysql多表操作随手记
UPDATE bd a LEFT JOIN(SELECT bd.id,img.img_url from bd bd inner join bd_imgs img on bd.id%10 = img.sign where bd.bd_type=1 and (bd.img_url='' or bd.img_url is NULL) and img.bd_type=1order by bd.i...原创 2019-07-19 14:08:00 · 99 阅读 · 0 评论 -
mysql备份
阿里与rds自动备份shmysqldump -uroot -proot --host=rm-1111111111111.mysql.rds.aliyuncs.com mydata | gzip > /backup/DatabaseName_$(date +%Y%m%d_%H%M%S).sql.gz普通数据库备份 mysqldump -uroot -proot --host=l...原创 2019-07-19 14:45:22 · 86 阅读 · 1 评论 -
淘宝客接入PHP(一)
1、文件位置 extend/tbk文件里面2、引入tbk的sdkLoader::import('TopSdk', EXTEND_PATH."/tbk/taobaoke");3、修改autoload文件直接运行报一下错误,是因为这个类给了namespace的原因。两种解决方案,1、删除namespace 2、修改为spl_autoload_register('\tbk\taobaoke...原创 2019-07-29 15:31:39 · 1976 阅读 · 0 评论 -
mysql随笔录
今天要做一个会员操作记录统计表,存在1:n的关系。但是只需要显示最新的一条记录。期初打算max解决,结果不理想,最后: order by id desc limit 1这样效率更高因为往往min()或者max()函数往往会造成全表扫描...原创 2019-07-25 17:09:45 · 129 阅读 · 0 评论 -
淘宝客接入PHP(二)
淘宝客功能开发APP嵌入淘宝客,实现APP购物券领取,跳转淘宝优惠券领取url,客户进行购买。APP购物券,用户可通过支付宝或微信,进行券的购买,以便购买商品时兑换。APP购物券后台模块包含券的分类、券的生成、用户所属券、券的销售情况等。购物券功能开发:1. 购物券充值-在线充值、卡券充值2. 购物券兑换,购买商品3. 购物券明细4. 卡券生成购物券分类表CREATE TA...原创 2019-07-30 18:35:24 · 1398 阅读 · 0 评论 -
记一次-生成卡券-开发过程
卡券的生成需求:账号数字12位,密码数字8位利用Unix时间戳的微妙数作为前8位,后四位随机生成public function createCard() { $s = microtime(); $number = substr($s,2,8); $amount=100; for ($i=1;$i<=500;$...原创 2019-07-31 16:58:57 · 648 阅读 · 0 评论 -
数据库整张表替换指定字符串
PHP接口方法 $s = Db::name('jvideo')->order('id desc')->select(); foreach ($s as $k=>$v){ $url = $v['v_url']; $newurl = str_replace("video.test.com","video.test.n...原创 2019-07-23 10:15:02 · 120 阅读 · 0 评论 -
mysql的mvcc学习
标题MVCC(multi-version concurrency control):多版本并发控制优点:MVCC在大多数情况下代替了行锁,实现了对读的非阻塞,读不加锁,读写不冲突。缺点:每行记录都需要额外的存储空间,需要做更多的行维护和检查工作实现原理:在不考虑redo log的情况下利用undo log工作的简化过程:序号动作1开启事务2记录数据行数据...原创 2019-08-08 14:34:21 · 145 阅读 · 0 评论 -
代理分账,三级分销,PHP数据库设计和接口开发
场景:在会员基础,后台升级会员为省代、市代、区代。A->B->C省代A:直属下属B提成x1,直属下属C提成x2,直属下线普通会员D提成x3,本身消费提成x4以此类推,每个代理自身消费和下线普通会员消费,都可以拿到相同的提成。下级代理消费,根据是否是直属下级,可以拿到不同的提成。目标:统计代理收入情况,以及收入来源统计经分析,设计MYSQL数据表:会员...原创 2019-05-30 15:27:16 · 3890 阅读 · 0 评论