IN_Joseph-CSDN博客

原创 python爬虫之post请求

import requestsimport jsonimport openpyxlurl1 = 'https://a300010770.casmart.com.cn/shop/products'headers = {'content-type': 'application/json;charset=UTF-8', 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like G

2020-09-08 22:32:43 353

原创机器学习【1】决策树中ID3、C4.5、C5.0、CART、CHAID、QUEST算法

C4.5和C5.0的区别：C5.0是C4.5应用于大数据集上的分类算法，主要在执行效率和内存使用方面进行了改进。CHAID算法根节点的选取：每个输入变量和输出变量（标签）做独立性检验，卡方值最大（P值最小）的为父节点，也就是说，跟输出变量相关的显著性最高的变量作为根节点。节点的分裂：一、连续型输入变量：1、先将输入变量进行区间划分，比如输入变量为价格，价格的最小单位是1元，那么，组距为1，划分区间为[1]、[2]、[3]、…，计算每个区间里面的频数，再算出与输出变量的交叉表。.

2020-08-26 14:39:26 1975

原创数据分析项目实战：酒店需求分析（hotel demand booking）

1 项目背景我们可以预测预订的可能性吗？任务详情我们是否可以基于previous_cancellation作为目标来预测预订酒店的可能性？预期提交两列->酒店名称和Booking_Possibility（0或1）数据来源：https://www.kaggle.com/jessemostipak/hotel-booking-demand2 数据初步探索2.1 数据结构梳理拿到数据之后，首先看看里面具体有哪些内容，理解每个字段（变量）的意思，具体的数值代表什么，数据之间有哪些关系。根据二

2020-08-24 21:19:53 8674 1

原创 python制图【3】颜色、线样式等

颜色线样式

2020-08-10 13:58:52 180

原创 python制图【2】图片中无法正常显示中文

想给X轴命名为年份的时候，中文无法正常显示。增加如下代码即可：from pylab import *mpl.rcParams['font.sans-serif'] = ['SimHei'] plt.rcParams['axes.unicode_minus']=False

2020-08-10 13:29:58 149

原创 python数据分析【2】numpy

1 创建数组1.1 np.array () 一维&二维数组基于list或者tupleimport numpy as np# 一维数组arr1 = np.array([1,2,3,4])arr2 = np.array((1,2,3,4))# 二维数组 (2*3)arr3 = np.array([[1,2,4], [3,4,5]])print(arr1)print(arr2)print(arr3)[1 2 3 4][1 2 3 4][[1 2 4] [3 4 5]]

2020-08-10 09:55:33 1172

原创 numpy中数组切片

二维数组import numpy as np a = np.array([[1,2,3],[4,5,6]])print(a.shape)print(a[0,:],a[0,:].shape)print(a[-1,:],a[-1,:].shape)print(a[0:2,:],a[0:2,:].shape)print("------------------")print(a[:,0],a[:,0].shape)print(a[:,1],a[:,1].shape)print(a[:,0:2

2020-08-10 09:25:30 316

转载机器学习【1】决策树Decision Tree

1 决策树分类原理决策树是通过一系列规则对数据进行分类的过程。它提供一种在什么条件下会得到什么值的类似规则的方法。决策树分为分类树和回归树两种，分类树对离散变量做决策树，回归树对连续变量做决策树。近来的调查表明决策树也是最经常使用的数据挖掘算法，它的概念非常简单。决策树算法之所以如此流行，一个很重要的原因就是使用者基本上不用了解机器学习算法，也不用深究它是如何工作的。直观看上去，决策树分类器就像判断模块和终止块组成的流程图，终止块表示分类结果（也就是树的叶子）。判断模块表示对一个特征取值的判断（该特征有

2020-08-08 18:49:20 1102

原创 python制图【1】相关系数热力图

会用到的库和方法：pandas 中 corr()、read_csv()matplotlib中figure()seaborn中heatmap()import pandas as pdimport matplotlib.pyplot as pltimport seaborn as sns#导入文件file_path = r'G:\hotel_bookings.csv'df = pd.read_csv(file_path)#复制副本data_copy=df.copy(deep=Tru

2020-08-08 17:15:37 1477

原创 python爬虫之requests

1 requests的主要方法ps：在get中，添加headers，伪装成浏览器爬取数据2 response对象的属性3 异常r.raise_for_status()，判断返回的response类型的状态是不是200，如果不是，则会产生一个requests.HTTPError异常import requestsurl = "https://www.baidu.com"def getHTMLText(url): try: r = requests.get(url

2020-08-04 20:06:05 244

原创统计学笔记【1】方差分析 ANOVA

1 基本概念1.1 定义及应用从形式上看，方差分析师比较多个总体的均值是否相等，本质上是研究分类型自变量对数值型因变量的影响，与回归分析的方法有许多相同之处，但又有本质区别。在研究一个（或多个）分类型自变量与一个数值型因变量之间的关系时，方差分析就是其中的主要方法之一。1.2 因子、水平在方差分析中，所要检验的对象称为因素或因子（factor）。因素的不同表现称为水平或处理（treatment）。每个因子水平下得到的样本数据称为观察值。下面是一个单因素4水平的试验：1.3 误差分解1.3

2020-08-03 15:59:27 13260

原创 MySQL（2）子查询

含义：出现在其他语句中的select语句，称为子查询或内查询（外部称为主查询）分类：按子查询出现的位置：select后面：##仅仅支持标量子查询from后面：##支持表子查询where或having后面：##标量子查询、列子查询、行子查询（较少）●●exists后面（相关子查询）：##表子查询按功能/结果集的行列数不同：标量子查询（结果集只有一行一列）（单行子查询）列子查询（结果集只有一列多行）（多行子查询）行子查询（结果集有一行多列）表子查询（结果集一般为多行多列）一、w

2020-07-28 19:05:27 352

原创 python数据分析【1】pandas

安装numpy：下载地址：https://pypi.org/project/numpy/#files，下载文件后，把whl文件放到python路径的Scripts文件夹中，cmd中cd转到该文件夹，然后输入pip3.8 install 文件名.whl，如果未安装pip则需要先安装。安装pandas：可以用pycharm中：file-settings-project interpreter中的加号，进行搜索安装1 读取文件1.1 csv文件import numpy as npimport pa

2020-07-27 22:28:50 292

原创 MySQL （1）基础语句 & 基础函数

最基础的常用语句库和表的基础查询show databases;查看有哪些数据库show tables from 库名查看某个库中有哪些表use 库名调用库show tables调用某个库口，查看里面有哪些表desc 表名查看表结构select * from 表名查看表中数据select database()查看现在在调用哪个库创建create database 库名创建数据库create table (

2020-07-13 21:11:21 91

IN_Joseph的博客