- 博客(15)
- 收藏
- 关注
RSS订阅原创 Numpy 数值运算
Numpy认识:是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。>>> import numpy as np>>> import random0-19随机生成3行4列的数组>>> np.random.randint(0,20,(3,4))array([[15, 4, 1, 13], [ 4, 9, 9, 16], [13, 18, 8, 3
2021-02-23 19:47:56
322
1
原创 五、相关与回归分析
变量间关系的度量一、变量间的关系二、相关关系的描述与测度一元线性回归一、一元线性回归模型二、参数的最小二乘估计三、回归方程的拟合优度四、显著性检验利用回归方程进行估计和预测一、点估计二、区间估计总结...
2021-02-19 16:00:17
15349
原创 四、假设检验
假设检验的基本原理一、假设的陈述**假设：对总体参数的具体数值所做的陈述。假设检验：先对总体参数提出某种假设，然后利用样本信息判断假设是否成立的过程。零假设：通常将研究者想收集证据予以反对的假设称为原假设（零假设）用h0表示。备择假设：通常将研究者想收集证据予以支持的假设称为备择假设（研究假设）用h1表示。eg: 一种零件的标准是直径10cm,对生产过程进行控制，确定这台机床生产是否的零件是否符合标准要求。进行调整，陈述用检验生产过程是否正常的原假设和备择假设？ h0:μ=10（生产过程
2021-02-10 10:22:19
10905
原创 三、抽样与参数估计
抽样与抽样分布一、简单随机抽样随机抽样：从含有N个元素的总体中，抽取ｎ个元素作为样本，使得每一个客量为ｎ的样本都有相同的机会被抽中。重复抽样：从总体中抽取一个元素后，把这个元素放回到总体中再抽取第二个元素，直至抽取ｎ个元素为止不重复抽样：一个元素被抽中后不再放回总体，然后再从剩下的元素中抽取第二个元素，直到抽取ｎ个元素为止二、分层抽样在抽样之前先将总体的元素划分为若干层，然后从各层取一定数量的元素组成一个样本。分层：使层内各元素的差异尽可能小，层与层之间的差异尽可能大。优点：１、分层抽样除
2021-02-08 15:57:24
4335
1
原创 二、数据分布特征的测度
数据分布的特征1、集中趋势：各数据向中心值靠拢或聚集的程度；【平均数、中位数、四分位数、众数】2、离散程度：各数据远离其中心值的趋势；【极差、四分位差、方差、标准差、离散系数】2、分布形状：数据分布偏斜程度和峰度【偏态系数、峰态系数】集中趋势的度量一、平均数（mean）一组数据相加后除以数据的个数所得到的结果 x̅(x-bar)二、中位数(mediam)和众数()中位数：一组数据排序后处于中间位置上的变量值n个数据，n为奇数-直接选中间值为中位数n为偶数，-（n+1）/2四分位数：一组
2021-01-29 20:52:56
4188
原创 数据挖掘基础
数据挖掘数据挖掘任务包括描述性任务和预测性任务。描述性任务包括聚类、关联分析、序列、异常检测等，预测性任务包括回归和分类。方法：1、分类：先从数据中选好已经分类的训练集，在该训练集上运用数据挖掘分类技术，建立分类模型，对于没有分类的数据进行分类2、估计：与分类类似，但是分类描述的是离散型变量的输出，而估值处理连续值得输出；分类的类别是确定数目的，估值的量不确定3、预测：建立在分类或估值之上，通过分类或估值得出模型，该模型用于对未知变量的预言4、相关性分组或关联规则：决定哪些事情一起发生5、聚类：
2021-01-28 11:25:47
404
原创 一、统计与数据
统计统计学：收集、处理、分析、解释数据并从数据中得到结论的科学统计分析数据分为：描述统计、推断统计 描述统计：研究数据收集、处理和描述的统计学方法描述统计如何获取所需数据，如何用图形展示数据，得出所关心的数据特征 推断统计：研究如何利用样本数据来推断总体特征的统计学方法推断统计内容包括参数估计和假设检验两种。参数估计利用样本信息推断关心的总体特征；假设检验利用样本信息判断对总体的某个假设是否成立统计数据及其类型 按照数据收集方法：观测数据、实验数据 按照被描述的对象和时间关系：截面数据
2021-01-27 17:08:17
1395
原创 URL 格式说明
一、URL结构url:http://www.fishbay.cn:80/mix/76.html?name=kelvin&password=123456#first1.协议部分： http 网页用http协议，//为分隔符2.域名部分： 发送请求时，需要向DNS服务器解析ip ,为了优化请求，可以直接用IP作为域名部分使用3.端口部分： 域名后面的80表示端口，和域名之间用:分隔，端口不是一个URL的必须的部分。如果端口是80，也可以省略不写4.虚拟目录部分： 从域名的第一个
2021-01-19 12:07:20
2225
原创 sql 逻辑习题
sql逻辑练习题：https://mp.weixin.qq.com/s?__biz=MzI1NjM1ODEyMg==&mid=2247483959&idx=1&sn=23f9ee016dca61c2e78a5b6e8f8b1eae&chksm=ea26a1b2dd5128a4bcd8a3d425876e8ec8ed2698899fb12c60a128dbad2d5eb7d68ab3998b76&scene=21#wechat_redirectSQL语句如何查询各用
2020-12-22 19:08:32
340
原创 sql基础函数
小点笔记:格式化数据类型：cast(col as int)日期、时间时间戳-时间转化：select FROM_UNIXTIME(1156219870)–> 2006-08-22 12:11:10时间-时间戳转化：select UNIX_TIMESTAMP(‘2006-11-04 12:23:00’);–>1162614180输出当前时间戳：select UNIX_TIMESTAMP(); | select UNIX_TIMESTAMP(now());时间格式化：sel
2020-10-23 17:11:16
168
原创 sql窗口函数
一、SUM,AVG,COUNT函数==关键是理解 ROWS BETWEEN 含义,也叫做window子句：PRECEDING：往前FOLLOWING：往后CURRENT ROW：当前行UNBOUNDED：无边界，UNBOUNDED PRECEDING 表示从最前面的起点开始，UNBOUNDED FOLLOWING：表示到最后面的终点-1、叠加求sum必须加order by不加orde by 结果是整个分区的sum ==SELECT cookieid,createtime,pv,SUM(
2020-10-23 17:03:50
309
原创 matplotlib 可视化
# 折线图import matplotlib.pyplot as pltfrom matplotlib import font_managerimport random# 中文设置，具体的位置从终端-- fc-list :lang=zh 查路径myfont=font_manager.FontProperties(fname=r'/System/Library/Fonts/PingFang.ttc')x=range(0,120)y=[random.randint(20,25) for i .
2020-10-22 15:46:10
182
原创 Python 滚动点击爬虫
# -*-coding:UTF-8 -*-import jsonfrom selenium import webdriverfrom lxml import etreeimport timeimport re# 滚动加载def height_All(): #每隔0.5秒刷新一次 SCROLL_PAUSE_TIME = 0.5 last_height = driver.execute_script("return document.body.scrollHeight")
2020-10-22 15:45:29
260
原创 Python 基础爬虫
# -*-coding:UTF-8 -*-from lxml import etreeimport requestsimport osimport jsonimport timedef getText(url): # 伪装请求头 my_headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3
2020-10-22 15:45:05
102
原创 sql数据处理lateral view
数据处理string-jsonrules字段数据类型：string数据内容：[{“priority”:“200”,“observ”:“false”,“offline_tag”:[],“modifydate”:“2018-04-15 10:27:00”,“os”:“android”,“id”:1,“name”:"\u8d26\u53f7\u5b89\u5168\u9ed8\u8ba4\u89c4\u5219",“level”:4,“tag”:[“null”],“classify”:“0”,“sta
2020-10-22 15:44:20
635
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人