- 博客(114)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 11 机器学习 集成学习 随机森林
机器学习1 集成学习1.1 介绍集成学习，Ensemble Learning，可以理解为由许多算法按照某种策略集成在一起的算法框架。集成学习的作用单一的模型很可能不够强大集成学习会考虑多个评估器的建模结果，汇总后得到一个综合结果，以此来获取比单个模型更好的回归或分类表现。模型选择问题构建模型的目标是训练出一个稳定的且在各个方面表现都很好的模型，但实际情况往往不这么理想。有时只能获得许多个有偏好的模型(弱监督模型)，这些模型仅仅在某些方面的表现比较好。集成学习就是通过将多个弱监督模型组合在一
2020-08-25 21:07:39
1032
原创 2 MySQL DML数据操纵语言 索引及执行计划
MySQL1 SQL应用1.1 DCL数据控制语言DCL主要负责授权与撤权grant revoke1.2 DML数据操纵语言1.2.1 insert尽量批量插入，减少发起的事务。1.2.2 update建议：将需要更新的数据的主键先查出来，然后按主键更新，这样做可以减少锁的征用，更加高效如果无法达到以上需求，对于where条件后的列，需要设置合理索引减少更新范围尽量不要跨多表更新1.2.3 delete建议：可以使用"伪删除"，即增加一列表示是否删除，然后定期归档
2020-08-19 22:56:42
389
原创 1 MySQL数据库 介绍 安装(CentOS 8) 体系结构和基础管理 DDL应用
MySQL数据库1 数据库的介绍分类：RDBMS关系数据库管理系统，Relational Database Management System代表：MySQL(核心数据)NoSQLNoSQL，(Not Only SQL、Non-relational SQL)，泛指非关系型的数据库。代表：Redis(缓存)、MongoDB(索引数据)、ES(搜索框全文检索)NewSQLNewSQL是对各种新的可扩展/高性能数据库的简称，这类数据库不仅具有NoSQL对海量数据的存储管理能力，还保持了传统数
2020-08-18 23:03:39
482
原创 5 Linux 脚本文件shell
Linux1 基础知识1.1 shell介绍1.1.1 学习shell的目的提升工作效率减少重复工作完成批量操作节省人力成本1.1.2 学习shell的方法掌握系统基础命令掌握系统正则符号掌握脚本语句用法1.2 变量1.2.1 常规变量临时定义方式在脚本中或命令行中设置变量定义是临时的，重新连接主机后临时变量会失效。num=123echo $num永久定义方式在特殊系统变量文件中设置/etc/profile /etc/bashrc ~/.bashrc1.2
2020-08-16 11:37:51
347
原创 4 Linux 网站架构服务介绍
Linux1 综合架构组成部分和服务规划网站架构一般从两方面考虑问题：用户访问网站网站管理者访问网站1.1 用户访问网站1.1.1 静态集群架构当用户访问网站时，先通过DNS服务器对网址进行解析处理，再向解析得到的地址发送请求；请求发送到网站设备上，一般需要经过防火墙设备。防火墙设备会对所有的请求进行过滤，阻止非法请求，并对合法请求进行映射，将其发送到架构内部的服务器上；首先到达负载均衡服务器，负载均衡服务器主要用于解决高并发问题，将所有请求按照一定的策略分发给不同的web服务器。
2020-08-15 12:12:49
452
原创 3 Linux 用户管理与权限设置
Linux1 用户管理Linux系统是一个支持多用户管理的操作系统，多个用户可以同时管理操作系统。1.1 用户分类超级管理员用户 root uid=0 属于最高级的存在，几乎不受任何限制普通用户 uid=1000+ 只在家目录中不受限制，其它目录中默认只能查看虚拟用户 nobody uid=1~999 没有家目录，不能登录系统，用于管理系统服务进程1.2 用户相关的文件目录1.3 用户管理相关命令2 操作系统数据权限2.1 权限作用功能介绍2.2 权限设置命
2020-08-14 21:12:43
188
原创 2 Linux 常见操作命令 系统目录结构 系统重要目录文件 系统文件属性
Linux1 Linux常见操作命令查询帮助命令：man helpman 命令名称 --- 获取详细帮助信息help 命令名称 --- 获取详细帮助信息文件和目录相关命令ls --- 列表查看目录或文件是否存在 -l --- 表示查看数据详细信息 -d --- 表示查看目录详细信息 -a --- 表示查看隐藏文件信息（linux系统中文件名称有点的文件属于隐藏数据） cd --- 切换目录结构命令 cd ../ --- 切换到上一级目录 cd - -
2020-08-12 22:34:50
317
原创 1 Linux CentOS8.2虚拟机安装与配置 系统基础优化
Linux1 CentOS8.2虚拟机安装1.1 配置虚拟网络环境打开VMware Workstation(ver 15.5.2)编辑 - 虚拟网络编辑器 - 更改设置这里使用VMnet8网卡进行网络通讯，使用NAT模式。模式介绍桥接模式可以让虚拟主机访问外网；可以与局域网内其它物理主机进行通讯，因为虚拟主机地址与物理地址的网段信息一致；可能产生IP地址冲突。NAT模式可以让虚拟主机访问外网，通过网络地址映射将私网地址转化为公网地址；无法直接与局域网内其它物理主机进行通讯，因为
2020-08-12 20:19:46
1683
原创 9 机器学习 支持向量机
机器学习1 支持向量机1.1 介绍支持向量机，Support Vector Machines(SVM)。核心思想是从输入空间(Input Space)向特征空间(Feature Space)的映射，在映射后的空间(即特征空间)进行分类操作，在特征空间中，问题能够简化成线性可分的问题。...
2020-08-09 15:56:39
374
原创 8 机器学习 逻辑回归案例 制作评分卡 聚类算法 KMeans算法
机器学习1 逻辑回归案例 制作评分卡1.1 项目介绍目标：制作金融申请评分卡特征介绍特征名称描述SeriousDlqin2yrs好坏客户出现90天及更长时间的逾期行为，用于定义好坏客户。RevolvingUtilizationOfUnsecuredLines可用额度比值贷款或信用卡可用额度与总额度的比例。age年龄借款人借款时年龄。NumberOfTime30-59DaysPastDueNotWorse逾期30-59天笔数过去两年内出现30-
2020-08-09 09:43:32
1574
原创 7 机器学习 逻辑回归 分类模型的评价指标 混淆矩阵
机器学习1 逻辑回归1.1 介绍回归模型是用来处理连续型标签样本的算法模型。逻辑回归模型是一种广泛应用于分类问题中的回归模型。1.1.1 线性回归z=θ0+θ1x1+θ2x2+...+θnxnz=[θ0,θ1,θ2...θn]\begin{aligned}z =& \theta_0 + \theta_1x_1 + \theta_2x_2 + ... + \theta_nx_n \\[5ex]z =& [\theta_0, \theta_1, \theta_2 ...
2020-08-09 09:41:19
2163
1
原创 12 机器学习 数据探索性分析 机器学习项目实战
机器学习1 数据探索性分析1.1 介绍数据探索性分析，Exploratory Data Analysis(EDA)，是指对已有数据在尽量少的先验假设下，通过作图、制表、方程拟合、计算特征量等手段探索数据的结构和规律的一种数据分析方法。获得数据后，首先需要进行数据探索性分析。作用：获得对数据集的感性认识。对特征间的关系以及特征与标签间的关系进行初步分析有助于熟悉数据集；为数据预处理过程提供灵感与思路。例如数据的异常值和缺失值处理等，这样做可以确保数据集的结构和特征在接下来的问题分析过程中更
2020-08-08 22:02:17
2349
原创 3 数据结构与算法初步 查找与排序算法 顺序查找 二分查找 冒泡排序 选择排序 插入排序 希尔排序 快速排序
数据结构与算法初步1 查找算法目标：在指定列表中判断目标元素是否存在。1.1 顺序查找列表等容器中每个数据元素都有属于自己的索引，索引值是有序的，因此可以利用索引按顺序访问每个数据，通过使用索引遍历数据来查找目标元素称为顺序查找。顺序查找原理目标是判断待查找的目标元素在列表中是否存在。从列表中的第一个元素开始，通过索引依次检查每个元素，直到找到目标元素，或者遍历完整个列表。如果遍历完整个列表，则说明待查找的目标元素在列表中不存在。def order_search(alist, item):
2020-08-08 11:50:44
294
原创 2 数据结构与算法初步 二叉树与排序二叉树
数据结构与算法初步1 二叉树与排序二叉树1.1 二叉树1.1.1 二叉树介绍二叉树，Binary tree，是指树中节点的度不大于2的有序树结构。节点：包含一个数据元素及若干指向子树分支的信息；节点的度：一个节点拥有子树的数目称为节点的度；根节点：树状结构最上层的一个节点；叶子节点：包括左叶子节点和右叶子节点；完整的子树：由根节点，左叶子节点和右叶子节点组成的子树；非完整的子树：根节点 或者 根节点+左叶子节点 或者 根节点+右叶子节点。二叉树中的任意一个节点都可以被视为另一颗子树的根
2020-08-06 22:30:04
232
原创 1 数据结构与算法初步 栈 队列 顺序表 链表
数据结构与算法初步1 数据结构与算法1.1 介绍数据结构是以某种形式将数据组织在一起的集合，它不仅存储数据，而且支持访问和处理数据的操作。算法是求解问题时所需要遵循的、被清楚指定的简单指令的集合，表示的是求解问题的一种实现思路或思想。优秀的算法可以让程序在短时间，消耗资源较少的条件下获得执行结果。数据结构与算法思想具有广泛的通用性，在任何语言中都可以使用，仅仅是语法存在差异。1.2 算法与时间复杂度1.2.1 例子计算 aaa、bbb、ccc。a+b+c=1000a2+b2=c2a +
2020-08-06 18:21:13
221
原创 10 机器学习 决策树
决策树1 决策树1.1 决策树简介决策树(Decision Tree)属于有监督学习算法，决策树算法能够从一系列带有特征和标签的数据中总结出决策规则，通过树状图结构来呈现出这些规则，以解决分类和回归问题。1.2 节点根节点：没有进边，有出边。包含最初的，针对特征的提问。中间节点：既有进边也有出边，进边只有一条，出边可以有很多条。都是针对特征的提问。叶子节点：有进边，没有出边，每个叶子节点都是一个类别标签。子节点和父节点：在两个相连的节点中，更接近根节点的是父节点，另一个是子节点。1.3 节
2020-08-04 20:58:53
467
原创 4 机器学习 欠拟合和过拟合 多项式回归 正则化 岭回归 模型的保存与加载
机器学习1 案例 预测房屋价格1.1 数据介绍台湾新北市新店区的房地产估值的市场历史数据集。字段介绍X1 - 交易日期，例如2013.250表示2013年3月，2013.500表示2013年6月X2 - 房屋年龄 (单位：年)X3 - 到最近的捷运站的距离 (单位：米)X4 - 步行生活圈中便利店的数量 (整数)X5 - 地理坐标纬度 (单位：度)X6 - 地理坐标经度 (单位：度)标签Y表示单位面积房价 (10000新台币/ Ping，其中Ping是本地单位，1 Ping = 3.
2020-08-02 17:03:54
888
2
原创 3 机器学习 线性回归问题 损失函数 评价指标
机器学习1 线性回归问题1.1 回归问题回归问题，用于研究一组随机变量(自变量)与另一组变量(因变量)之间的定量关系。回归问题的目标是找到一个拟合函数，能够将一组随机变量映射到另一组变量上。与分类问题相比，回归问题的目标值是连续的。1.2 线性回归问题回归问题中，如果因变量和自变量呈线性关系，则这个回归问题称为线性回归(Linear Regression)问题。线性回归模型中数据的每个特征都有各自的权重，若所有特征的权重都能确定，线性回归模型就构建完成了。线性回归，就是寻找数据中特征与目标之
2020-08-02 12:27:33
797
原创 6 机器学习 IV与WOE 分箱 过抽样与欠抽样
机器学习1 IV编码与WOE编码1.1 IV编码1.1.1 介绍IV编码，Information Value，指的是信息价值或者信息量。IV编码可以理解为特征筛选的量化指标， 用于衡量数据特征的预测能力或者在模型预测过程中对预测结果的影响程度。关于衡量特征预测能力的理解假设在一个分类问题中，数据集分为两种标签类别：Y1和Y2。对于一个待预测的样本A，要判断其属于类别Y1还是类别Y2，我们需要一定的信息，假设这个信息总量是I，而这些信息蕴含在待预测样本的所有特征C1，C2，…，Cn中。对于某个特
2020-07-27 22:45:13
1005
1
原创 5 机器学习 朴素贝叶斯算法 高斯模型 多项式模型 伯努利模型 拉普拉普平滑系数 TfidfVectorizer
机器学习1 朴素贝叶斯算法1.1 介绍朴素贝叶斯法是一种直接衡量标签和特征之间的概率关系的监督学习算法，是一种专注于分类的算法。“朴素”二字表示这个算法基于一个朴素的假设，即所有的变量都相互独立。朴素贝叶斯法（Naive Bayes）是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设建立输入/输出的联合概率分布模型，然后基于此模型，对于给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。1.1.1 贝叶斯定理贝叶斯定理是关于随机事件A和B的条件概率
2020-07-26 21:47:02
675
原创 2 机器学习 K近邻算法(KNN) 学习曲线 交叉验证 手写数字识别
机器学习1 K-近邻算法介绍1.1 分类问题分类问题是根据已知样本的某些特征，判断一个未知样本属于哪种已知的样本类别。与回归问题相比，分类问题的输出结果是离散值，用于指定输入的样本数据属于哪个类别。1.2 K近邻算法1.2.1 简介K近邻(k-Nearest Neighbor，KNN)算法，是处理分类问题的基本算法之一。KNN算法可以理解为：如果在未知类别样本附近的k个最近的样本中大多数都属于某个类别，则这个未知样本也可以视为属于这个类别，即物以类聚，人以群分。1.2.2 工作原理给定一个
2020-07-22 00:02:57
2651
原创 1 机器学习 基础知识 特征工程 数据集
机器学习1 机器学习概述1.1 介绍1.1.1 什么是机器学习机器学习是从数据中自动分析获得规律(模型)，并利用规律对未知数据进行预测。1.1.2 人工智能和机器学习的关系机器学习是实现人工智能的一种技术手段。1.1.3 重点介绍1.1.3.1 模型模型可以理解为特殊的对象，在对象内部集成或封装了某种形式的方程，不过这些方程还没有求出解。模型的作用是实现对位置数据的预测和分类。1.1.3.2 样本数据样本数据是整体数据的一部分，在一定程度上可以反映出整体数据的特征。样本数据包括特征
2020-07-20 23:59:03
2347
原创 6 Python数据分析 CDnow网站的用户购买行为分析案例(RFM分析模型)
Python数据分析1 案例 CDnow网站的用户购买行为分析1.1 数据介绍数据来源于CDnow网站的用户购买记录，字段包括用户ID，订单日期，订单数量和订单金额。字段名说明user_id用户IDorder_dt订单日期order_product订单数量order_amount订单金额1.2 数据导入import numpy as npimport pandas as pdfrom pandas import DataFrame, Seri
2020-07-18 23:30:09
1043
14
原创 5 Python数据分析 淘宝用户行为分析案例(One-Hot编码) pandas.Timestamp apply，applymap和map
Python数据分析1 Pandas时间处理1.1 to_datetimeto_datetime用于将指定时间格式的数据转换成时间序列。字符串 => 时间序列，使用参数format指定字符串的时间格式。# 2013-12-11的时间格式为%Y-%m-%dpd.to_datetime('2013-12-11', format="%Y-%m-%d") # Timestamp('2013-12-11 00:00:00')# 11/12/2013的时间格式为%d/%m/%Ypd.to_
2020-07-18 21:44:45
978
原创 4 Python数据分析 淘宝母婴用品数据分析案例
python数据分析1 淘宝母婴用品数据分析案例1.1 数据介绍数据来源：https://tianchi.aliyun.com/dataset/dataDetail?dataId=451.2 字段介绍婴儿信息数据 Tianchi_mum_baby.csv字段描述补充user_id用户idbirthday出生日期格式yyymmdd，例如2011.11.11gender性别0：女性，1：男性，2：未知购买历史数据 Tianchi_mum_baby_
2020-07-16 18:08:46
4082
2
原创 3 Python数据分析 美国各州人口分析案例 Pandas高级操作 美国大选献金案例 matplotlib
Python数据分析1 案例 人口分析1.1 数据介绍数据来源：https://github.com/jakevdp/data-USstates/1.1.1 州人口数量表 state-population.csv字段字段名备注state/region州/区域州简称，与state-abbrevs.csv文件中的abbreviation字段对应ages人口年龄选项包括18岁以下under18和全部年龄段totalyear年份population人口
2020-07-15 22:24:07
4328
原创 2 Python数据分析 Tushare双均线与金叉死叉日期 Pandas数据清洗 级联操作 合并操作
Python数据分析1 Tushare股票分析1.1 双均线策略制定1.2 金叉日期与死叉日期2 Pandas数据清洗2.1 介绍数据清洗(Data cleaning)对数据进行重新审查和校验的过程，目的在于删除重复信息、处理无效值和缺失值等。2.2 处理缺失数据2.2.1 缺失数据类型导入包import numpy as npimport pandas as pdfrom pandas import DataFramePandas中存在两种缺失数据类型：None 和 np.na
2020-07-15 00:35:29
2892
1
原创 1 Python数据分析 NumPy Pandas Tushare财经数据接口包
Python数据分析1 NumPy模块1.1 介绍NumPy(Numerical Python) 是Python语言中进行科学计算工作的基础库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。1.2 ndarray对象1.2.1 介绍ndarray对象是用于存放同类型元素的多维数组对象，是一系列同类型数据的集合。ndarray对象中的每个元素在内存中都占据相同大小的存储区域。数组和列表的区别是数组中的所有元素类型必须相同，类型优先级：字符串 > 浮点型 >
2020-07-14 00:44:18
591
原创 7 爬虫 CrawlSpider类 增量式爬虫 分布式爬虫 生产者消费者模式
爬虫1 CrawlSpider类1.1 介绍CrawlSpider类是Spider的子类，主要用于全站数据的爬取。1.2 使用方法1.2.1 创建基于CrawlSpider类的爬虫文件创建工程 scrapy startproject testCrawlSpider进入工程目录 cd testCrawlSpider创建基于CrawlSpider类的爬虫文件 scrapy genspider -t crawl test www.test.com执行工程 scrapy crawl test
2020-07-13 00:37:29
417
原创 6 爬虫 Scrapy 爬取图片 请求传参 核心组件 中间件
爬虫1 爬取图片目标：爬取校花网的图片。1.1 创建工程scrapy startproject xiaohuaProjectcd xiaohuaProjectscrapy genspider xiaohua www.521609.com/修改配置文件settings.pyBOT_NAME = 'xiaohuaProject'SPIDER_MODULES = ['xiaohuaProject.spiders']NEWSPIDER_MODULE = 'xiaohuaProject.spid
2020-07-12 20:46:45
346
原创 5 爬虫 Scrapy框架 Redis数据库 手动请求发送
爬虫1 Scrapy框架1.1 介绍Scrapy框架是基于异步爬虫的应用框架，用于高性能数据解析，高性能持久化存储，全站数据爬取，增量式爬虫和分布式爬虫等。1.2 环境安装Windows1. pip install wheel2. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted3. 进入twisted目录下，执行 pip3 install twisted文件名 例如 pip install Twisted
2020-07-09 19:22:32
207
原创 4 爬虫 selenium模块 图片点击验证 js加密 js混淆
爬虫1 selenium模块1.1 简介selenium模块一般用于基于浏览器的自动化测试工作，也可以用于爬虫。使用selenium模块进行爬虫：可以方便地捕获动态加载的数据，页面可见即可得；容易实现模拟登录。1.2 基本使用1.2.1 安装安装selenium模块pip install selenium下载安装谷歌浏览器驱动http://chromedriver.storage.googleapis.com/index.html1.2.2 基本使用...
2020-07-07 23:51:08
559
原创 3 爬虫 模拟登录 异步爬虫
爬虫1 模拟登录1.1 模拟登录古诗文网古诗文网登陆页面：https://so.gushiwen.org/user/login.aspx?from=http://so.gushiwen.org/user/collect.aspx点击登录按钮的请求参数Request URL: https://so.gushiwen.org/user/login.aspx?from=http://so.gushiwen.org/user/collect.aspxRequest Method: POSTForm
2020-07-06 22:49:43
553
原创 1 爬虫入门 requests模块 UA伪装
爬虫1 爬虫介绍1.1 什么是爬虫爬虫是通过编写程序来模拟浏览器上网，然后从网页中抓取数据的过程。1.2 分类1.2.1 通用爬虫与聚焦爬虫通用爬虫：抓取一张网页的全部源码。聚焦爬虫：抓取一张网页中的局部内容。聚焦爬虫是建立在通用爬虫的基础上的。1.2.2 增量式爬虫与分布式爬虫增量式爬虫是在上一次爬虫的基础上继续爬取数据，适用于继续爬取因故未爬完的数据或网站更新的数据；分布式爬虫是在多个服务器上部署爬虫程序，是一种提高爬取效率的方法。1.3 反爬机制与反反爬策略反爬机制反爬机制
2020-07-03 23:12:06
1041
原创 5 数据分析 统计学-描述统计分析
数据分析1 基本概念1.1 变量1.1.1 分类变量无序分类变量用于说明事物类别，无次序，例如性别、民族等。有序分类变量用于说明事物类别，有次序，例如满意度分为满意、一般、不满意，客户等级等。1.1.2 数值型变量连续型变量取值范围是一个区间，连续型变量可以取到区间中的任意值。离散型变量取值范围是由有限个数值组成的。1.2 随机变量对随机事件进行量化，分为离散型随机变量和连续型随机变量。1.3 概率概率用于描述某个随机事件发生的可能性，介于0到1之间。如果随机事件发生的概率
2020-06-27 21:36:07
759
原创 4 数据分析 统计学-描述统计分析
数据分析1 统计学简介1.1 统计学简介统计学(Statistics): 收集、处理、分析、解释数据并从数据中得出结论的科学。统计学主要分为描述统计(Discriptive Statistics)和推断统计(Inferential Statistics)。描述统计研究的是数据收集、处理、汇总、图表描述、概括与分析等统计方法，本质是对数据进行总体特征的概述。推断统计研究如何利用样本数据来推断总体特征的统计方法。推断统计其实是建立在描述统计基础上，对总体数据有了大致了解后，运用一些分析方法，对
2020-06-27 12:25:50
761
原创 3 数据分析 开窗函数
数据分析 MySQL开窗函数1 开窗函数介绍开窗函数是在满足某种条件的记录集合上执行的特殊函数。MySQL在8.0的版本中增加了对开窗函数的支持。MySQL中使用开窗函数的场景单表中需要在满足某些条件的记录集内部做一些函数操作，而且不是简单的表连接和聚合可以轻松实现的。开窗函数和普通聚合函数的区别：聚合函数是将多条记录聚合为一条；开窗函数不影响原数据及结构，只是新增开窗函数对应的列。2 开窗函数使用方法2.1 开窗函数语法开窗函数语法：函数名(列) over (选项)选项包括 par
2020-06-26 18:16:18
1037
原创 1 数据分析 概述 Excel操作基础
数据分析1 数据分析概述1.1 什么是数据分析数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。...
2020-06-16 21:24:09
441
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人