- 博客(78)
- 收藏
- 关注
RSS订阅原创 mysql 15 union合并sql语句 和order by（排序）冲突问题
mysql真是太有意思拉，每当解决问题的时候都会有愉悦感！这种离成功又进一步的感觉欲罢不能！我整个人简直hight到爆炸！！！
2022-06-30 18:15:14
448
原创 mysql 14 关闭休眠链接
mysql link处理在生产过程中，我们可能会遇到因为无效的休眠链接导致某张表无法操作程序一直阻塞的问题这种没有关闭的休眠link可能有各种各样的愿意产生1.1 代码报错，导致没有自动关闭连接1.2 人员使用完后没有关闭连接import pymysqldef Close_Link(ip,user,password,dbname): """ ip 是服务器的ip user 是用来关闭连接的用户，如果是root 会关闭所有用户的休眠连接，否则只会关闭自己的休眠 通过执行show fu
2022-05-10 11:12:37
926
原创 1 ——kettle简介
Kettle· transformation完成针对数据的基础转换会一次性启动所有控件（一个控件对应一个线程，数据流会从第一个控件一条条流向最后的控件） E T L 数据输入——————》处理逻辑——————》输出数据· job前一个步骤跑完才会进到下一个步骤 1核心组件1. spoon.bat/.sh 图形化界面2. pan.bat/.sh 利用命令行的形式执行转换作业4. kitchen.bat/.sh 可以使用命令行调用spoon写的作业5.
2022-04-05 19:22:55
214
原创 Bagging随机森林
Bagging（袋装法）又称自主聚集（bootstrap aggregating）是一种根据均匀概率分布从数据集中重复抽样（有放回）的技术。新数据可能有重复的值，而原始数据集中的某些样本可能根本没有出现在新数据集中降低方差，提高模型整体的稳定性...
2021-03-25 17:19:32
472
1
原创 贝叶斯推断
贝叶斯推断后叶是问题先页是历史数据P(B|A)把A叫做现象把B叫做需要推到的原因P(A|B) 似然函数P(B|A) = P(A|B)条件概率公式后叶概率 (一般无法直接计算) 通过先叶概率进行推断(你见过的进行推断) 似然函数P = (性别=?|学计算机) = (学计算机|性别=男)*p(性别=男)贝叶斯公式我们要计算P(A|B)# 联合概率P(AB) = P(A|B)P(B) = P(B|A)P(A)没办法直接算P(A|B) ！！可
2021-03-24 16:07:13
198
原创 f1_score
f1_score 默认是对二分类问题如果是多分类你需要告诉系统f1_score 得值越接近1越好f1_score 是精确率和召回率得调和平均调和平均假设小明上学 5km没小时， 返学3km每小时平均速度 = 总里程/总时间路程=s 2s 2—————— ————————————————s s 1 1—— + —— —— + ——5 3 5 3调和平均速率为3.75f1_score值越接近1 分类.
2021-03-22 08:52:31
627
原创 逻辑斯蒂回归
knn 是一个非解析得方法（地推）我们期望找到一个回归问题得解析解假如我们有两坨可分得数据我们可以在他们之间画一条直线y=x,如果x>y 就是1类，x<y 就是2类这根线叫向量超平面离这个线多远算好，多近算好于是把他映射到0-1区间，如果1就认为你特别好，0也特别好，中间就不是很好逻辑斯蒂函数把我们没有标准的一个距离分界面映射到0-1的概率区间可以判断0，和1都是百分百解析方法模型最大自然估计损失函数用样本值 估计参数#条件概率公式后叶概.
2021-03-20 16:01:27
108
原创 决策树
决策树的优缺点优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。既能用于分类，也能用于回归缺点 可能产生过度匹配问题决策树可以是二叉树或非二叉树使用决策树进行决策的过程就是从根节点开始，测试待分类项目的特征属性，并按照其值选择输出分支决策树构造分类解决离散问题, 回归解决连续问题决策树：信息论逻辑斯蒂回归，贝叶斯：概率论 构建决策树的关键步骤是分裂属性，所谓分裂属性就是再某个节点处按照某一特征属性的不同划分构造不同的分支，其目标是让各个分裂
2021-03-17 19:17:25
650
原创 分类knn
k近邻算法，是一个分类算法，监督学习1计算样本点到所有样本点的距离对到现在已知样本的距离进行排序找出距离最近的前k个统计前k中每种类别的个数前k个样本中类别最多的，便是当前样本的分类import pandas as pdimport numpy as np排序好的数据df = pd.DataFrame({"序号":["A","B","C","D","E","F"],"接吻镜头":[10,50,16,19,67,66],"打斗镜头":[80,6,72,68,11,16],"类别".
2021-03-16 15:36:41
71
原创 岭回归，套索回归
在回归问题中我们通过r2_score查看模型得分岭回归 用L2 范数套索回归用L1 范数岭回归from sklearn.datasets import load_bostonfrom sklearn.linear_model import Ridgefrom sklearn.metrics import r2_score#切分数据集 随机划分测试数据和训练数据from sklearn.model_selection import train_test_split#加载数据.
2021-03-15 20:03:13
194
原创 正则化问题——线性回归
正则化 我们期望找到一种 方法在线性回归中找到最合适的a，b的值 如果λ值大则认为正则化强度高 如果你认为模型太复杂就把λ设置大一点 如果λ值小则认为正则化强度较弱嵌拟合模型过于简单，无法反应数据的趋势。过拟合模型过于复杂，为了表明当前数据规律把噪音考虑进去，把噪声当成一种规律。机器学习期望找到一种平滑的规律...
2021-03-15 13:24:47
304
原创 线性回归
梯度下降大部分时候我们无法通过求逆得到解,因此需要求近似值来得到解通过微小的试探 一直移动需要用到的数据损失函数 （用于求最优值梯度 导数如何算步长中止条件例刀具磨损如何用向量表示损失函数公式1将公式1 变成矩阵点成前面的 【 t 1】 就是我们的样本 组成一个样本集X = np.array([[0,1],[1,1],[2,1],[3,1],[4,1],[5,1],[6,1],[7,1]])XOut[6]: array([[0, 1],
2021-03-10 11:00:23
75
原创 最小二乘法
回归用于预测我们没有记录的新数据构建函数模型将数据画出来后发现呈 正比关系的线性模型f(t) = at + ba,b为未知数，目标求a，bt 和f（t） 为已知数当t=0 , f(t)=27根据评估公式(损失函数)求最优解f(t) 为预测的结果y 是真实的结果相间为误差再所有样本点上，误差最小展开损失函数(f(t0)-y0)**2 + (f(t1)-y1)**2 +.....f(t) = at + b带入公式((at0+b)-y0)**2 + ....
2021-03-09 15:50:32
170
原创 sklearn科学库
pip install sklearn#生成随机数据from sklearn.datasets import make_blobs"""centers : int 用于生成随机数据得中心点个速random_state=int 设置随机数据起始值 （这里可以达到生成固定数据得功效）c=y y是标签 这样会上色"""x,y=make_blobs(centers=2,random_state=int)x 是点 y是属于那个组得标签import matplotlib.py
2021-03-02 20:44:31
72
原创 机器学习聚类
人类作为三位生物可以很直观的一眼分类 高纬度生物对低纬度生物得精神攻击）但是计算机不行1 (图A)计算机会先随机数据点 为中心点2 (图C)把离中心点相对近的先分文一组3 (图d) 把已经分组的点 再计算一次中心点4 (图e)用新得到得中心点 再对数据点重新分组5(图f）再将重新分组得数据点重新计算中心点 得到真正得中心点...
2021-03-02 17:33:13
75
原创 pandas 常用操作
读取数据后先df.info()df.describe()#只计算整形和浮点型数据df.columns() 查看所有字段 但是不会显示索引字段
2021-02-27 15:21:25
162
原创 pandas基础
1什么是pandaspandas是一个可编程的ETL框架（支持多种数据源的导入）2pandas基本操作增删改查2.1 增2.2 删2.3 改2.4 查pandas基础数据类型numpy 存在信息损失 但是pandas 可以弥补这一缺陷import pandas as pddf = pd.read_csv...
2021-02-27 15:21:06
125
原创 异常值定义处理
通过 3sigma原则定义异常值3sigma原则找到平均值sigma 标准差3.1 例子假设：男生的平均身高是为170标准差： 5cm按照大数定律我们所有可统计的自然现象 都符合正态分布65.26%的人 一个标准差之间 165-17595.44%的人 两个标准差之内 160-18099.74%的人 三个标准差之内 165-195当你超过了这三个标准差 那就是小概率事件发生 即异常值分位点删除把数据分为任意分 删除.
2021-02-27 11:40:31
493
原创 numpy的基本使用
numpy基础numpy中最大的整形为2**64-1最大科学技术发为2e-10(2*10^(-10))在numpy中可以把一整个数组看做 一个对象进行操作
2021-02-23 01:01:55
314
原创 jupyter 基本使用
常用快捷键在terminal中 jupyter notebook打开 1基本快捷键1. esc进入命令行模式1.1 B 在当前行下添加一行1.2 A在当前行上放添加一行1.3 DD删除当前行1.4 m进入markdown模式1.4.1 shift +Enter 渲染markdown文档1.5 y进入python模式1.5.1 shift +Enter 执行命令行1.5.2 in[*]标明当前行正在执行需要等待选中一行进入编辑模式...
2021-02-22 11:15:05
176
原创 目录 更新中
数据分析目标数据清洗数据转换数据可视化数据可视化报告最终要实现[生成数据可视化报告]该难度为e任务量为c机器学习回归分类聚类深度学习深度学习需要了解（难度较高需要有较好的数学思维）难度为b任务量为c...
2021-02-22 09:31:54
58
原创 pyecharts重整理未完待续
柱状图 究极无敌 原始的柱状图 from pyecharts.charts import Bar 导入柱状图 #要处理的数据province = ["周一","周二","周三","周四","周五"]data1 = [30,45,27,33,27,33,33,27]创建柱状图图像bar = Bar()创建x轴内容bar.add_xaxis(province)创建y轴内容 填充数据bar.add_ya
2021-01-30 11:18:32
542
原创 vim超级编辑器
vim编辑器vim 有三种模式：命令模式，插入模式，底部命令模式刚进去的时候是命令模式 插入模式退回到命令模式按esc1插入模式l 首航插入i 在光标位置前插入a 光标后位置插入A 当行的行位插入文本S 删除当行内容重新输入s 删除当前光标位置字符开始o 在当前的下一行开始一个新行输入2命令模式h 光标左移一个字符j 下移一行k 上移一行（文章 首）文章尾H 回到文章首部J 下一行合并到当前行尾K 跳出vim 编辑器10dd 删除10行10pp 复制.
2021-01-22 20:43:19
124
原创 Linux用户管理——个人笔记
所有的用户都在/etc/passwd 文件中删除用户userdel -r 用户名 删除 如果用户名=家目录则一并删除 如果用户名登录就无法删除 应该切换用户 kill -9 用户进程号 然后删除修改 用户信息usermod 指令 用户名-u 用户 id-g 组 id-G 附属组织-a 将用户添加到附属组必须和-G一起用-d 用户的家目录-l 用户名 新用户忙 旧用户名使用小命令sudo 零时提升权限到root 需要用户属于root组id 查看.
2021-01-21 21:14:43
250
1
原创 Linux基础命令——个人笔记
Linux开始啦1，debian系主要有Debian，Ubuntu，Mint等及其衍生版本；2，redhat系主要有RedHat，Fedora，CentOs等3，今天要学的是CentOs常用命令1 sudo提权 临时提升用户全校为root并运行命令sudo + 命令----------------------------------------------------------------------------------------------------------------
2021-01-21 20:35:49
124
原创 git快速搭建HTTp ，ssh链接远程仓库
linux下git的使用https://github.com/首先你得有github的帐号或者码云远程仓库地址yun install git 安装git 1 新建一个文件夹 mkdir test_http_git2进入文件夹初始化cd test_http_gitgit init3 配置你的用户信息git config user.name “配置用户名”（区分责任人）git config user.email “配置邮箱”（翻遍联系作者）4绑定远程仓库git r
2021-01-20 00:14:04
1078
原创 centos上搭建分布式数据库
分布式数据库搭建分布式是为了数据安全以及减小服务器压力而想到的办法通过读写分降低服务器的压力同时增加数据的安全性mysql 数据库通过主从复制实现读写分离基本要求首先在一个网段（需要交换机）关闭防火墙（或者防火墙允许通过）实现读写分离写的服务器为主读的服务器为辅实验原料：两台服务器mastersystemctl stop firewalld.service...
2021-01-19 23:35:06
167
原创 安装mysql
0检测是否安装mysqlrpm -qa | grep mysql1安装mysqlyum install mysql2下载mysql的repo源wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm3安装解rpm文件sudo rpm -ivh mysql57-community-release-el7-10.noarch.rpm --nodeps --force4安装mysql服务器
2021-01-18 17:40:26
279
原创 安装apache静态网页最强服务器
1apache安装需要安装压缩包和环境mkdir cd ~ /yoyocd ~/yoyo0yum -y install wget1wget -c https://mirrors.bfsu.edu.cn/apache//apr/apr-1.7.0.tar.gz2wget -c https://mirrors.tuna.tsinghua.edu.cn/apache//apr/apr-util-1.6.1.tar.gz3wget -c https://ftp.pcre.org/p
2021-01-18 16:14:19
112
7
原创 linux 虚拟机centos——个人笔记
1创建虚拟机然后一直下一步到这里决定你的虚拟机名称和虚拟机文件保存的位置有钱你就随便给，一半2G就很流畅了毕竟我们不装（gui图形化界面）桥接方便一直下一步到这里开机到这里按一下上如果你能看到光标说明你没有进入虚拟机状态会无法操作 点一下就行了按 ctrl +Alt 释放你的光标语言自己选，时间选上课，然后根据你自己要不要自动分盘我是手动点击完成开始安装期间可以配置用户密码只用配置root（究极无敌大哥大）就行了右边看你自己需求配置虚拟机网络cd
2021-01-17 18:14:50
139
原创 查询和“01“号的同学学习的课程完全相同的其他同学的信息
感谢大佬提供的源码当选课不可重复情况下-- 1列出所有的学生信息 SELECT s.* from student s -- 2将学生表和成绩表关联起来left JOIN stu_sco stu on -- 3以学生的学号进行关联 s.S_id=stu.s_id and stu.c_id -- 4判断(学生的课程id在学号为01的学生的选课id中）这是一个子列表 in (select c_id from stu_sco
2021-01-16 15:29:14
1317
原创 mysql 12py操作mysql——个人笔记
pymysql模块这是一个python操作mysql的一个模块链接数据库创建游标 (用于执行sql语句）执行sql语句获取结果集关闭链接import pymysql1连接数据库db = pymysql.connect(host="127.0.0.1",user="root",passwd="你指望我把密码打出来吗",port=3306,db='test_sql',charset="utf8")2创建游标对象 (负责执行sql的工具man）cursor = db.cur
2021-01-14 14:52:00
125
原创 mysql 11导入和导出——个人笔记
数据文件的备份因为表的结构站很大空间 原则备份一次表结构就好数据的导入和到处infile 导入outfile 导出1 查看允许导出文件的位置 位置不能用空格 show variables like '%secure_file_priv%';2查看允许导出文件的位置 位置不能有空格 中文等特殊字符 修改配置文件 C:\ProgramData\MySQL\MySQL Server 5.7 下面的my.ini [mysqld]secure-file-
2021-01-14 10:56:15
102
原创 mysql 10封装 函数——个人笔记
函数因为函数的结束语和mysql 共用；所以我们需要修改 mysql的结束语\d 后面接你要改的结束符 create procedure p2() -> begin -> show tables; -> end //
2021-01-14 09:57:32
119
原创 mysql 09视图——个人笔记
视图是一个临时表原表删除，视图失效原表恢复，视图恢复一般我们把经常操作的sql语句的结果放到临时表中语法 create view 视图名称 as sql语句 mysql> select * from tb_teacher;+-------+---------+----------+--------+| teaid | teaname | teatitle | collid |+-------+---------+----------+--------+| 1122 | 张三丰 .
2021-01-14 09:38:10
131
原创 mysql 08事务——个人笔记
mysql 数据库的事务我们把一组操作 看做一件事，要么全成功要么全失败。mysql事务是在引擎层实现的innodb引擎支持事务a atomicity 原子性c consistency 一致性i isolation 隔离性d durability 持久性隔离性##### 隔离级别 从低到高 1 读未提交 read uncommitted 一个事务 还没有提交 这时候所做的变更被其它事务看到了 脏读 如何解决脏
2021-01-13 16:46:36
61
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人