- 博客(33)
- 收藏
- 关注
RSS订阅原创 在goland中创建项目要注意的点
1.新建一个项目有项目名下面包括（bin pkg src）src主要用来放代码2.进入终端进入src目录 进行 go mod init src 在 src目录中生成go.mod3.设置 go build configuration ,选择当前src目录，run kind ：DirectoryDirectory：当前项目的src层working directory：也是当前目录的src层4.下载第三方包 go get xxxxx...
2021-11-10 01:51:05
457
原创 go连接MySQL数据库时出现的情况
1.panic: sql: unknown driver "mysql" (forgotten import?) 解决办法import(“database/sql”// 引入数据库驱动注册及初始化_ “github.com/go-sql-driver/mysql” )添加_ “gith...
2021-11-10 00:57:40
905
原创 pandas处理列中的数据，去除美元符号
今天开始数据挖掘短租房屋的建模过程，其中有一个excel数据表中的价格为字符串类型，需要转化为数值才能进行后续的数据挖掘。在网上寻找了很久的解答过程，终于解决了如下的问题。inputcalender = '../SrcData/calendar_detail.csv'outputcalender = '../NewData/calendar_detail.xlsx'data = p...
2020-03-19 00:42:34
4851
原创 Scrapy 抓取 当当图书2018畅销榜的所有图书
学习了Scrapy来爬取数据，来实践来爬取当当图书的畅销榜的图书。1.创建工程# 创建工程scrapy startporject dangdang# 创建爬虫cd dangdang 进入dangdang这个工程里面# 创建dangdang_book的爬虫， 开始的网址为dangdang.comscrapy genspider dangdang_book "dangd...
2020-03-09 20:19:34
546
原创 Scrapy （一）爬虫基本操作
Scrapy笔记1.创建爬虫##命令方式1.创建项目： scrapy startporject [爬虫名字]2.创建爬虫： 进入到项目所在的路径，执行命令： scrapy genspider [爬虫名字][爬虫的域名]注意：爬虫名字不能和项目名称一致...
2020-03-08 17:10:35
227
原创 数据分析之航空公司客户价值分析
航空公司客户价值分析1.挖掘背景与目标开启了第一个数据分析的项目，针对于航空公司价值的分析。客户关系管理的关键问题是客户分类，通过客户分类，区别无价值客户，高价值客户，企业针对不同价值的客户制定优化的个性化服务方案，采取不同的营销策略，将有限营销资源集中于高价值客户，实现企业利润最大化目标。1）借助航空公司客户数据，对客户分类。2）对不同的客户类别进行特征分析，比较不同客户的...
2020-03-06 20:24:04
5245
原创 Python数据分析三大框架之matplotlib（八）subplot绘制多个子图
使用subplot绘制多个子图import matplotlib.pyplot as pltimport numpy as np# 创建一个figureplt.figure()# 设置为2 * 2 的图 1 为（1,1）的子图plt.subplot(2, 2, 1)a = np.arange(512)b = a**2plt.plot(a, b)plt.xticks([-...
2020-03-02 13:02:20
451
原创 Python数据分析三大框架之matplotlib（七）scatter散点图绘制
scatter散点图绘制import matplotlib.pyplot as pltimport numpy as npn = 512X = np.random.uniform(-1.5, 1.5, n) # 服从（-1.5， 1.5）的正态分布Y = np.random.uniform(-1.5, 1.5, n) # 服从（-1.5， 1.5）的正态分布T = np.arct...
2020-03-02 12:51:10
133
原创 Python数据分析三大框架之matplotlib（六）axis, ticks坐标轴设置
axis，ticks为图像的坐标的设置，有以下为其中几种设置的方法。import matplotlib.pyplot as pltimport numpy as npx = np.linspace(-3, 3, 50)y1 = 2*x + 1y2 = x**2plt.figure()plt.plot(x, y2)plt.plot(x, y1, color='red', li...
2020-03-02 12:41:02
2125
2
原创 Python数据分析三大框架之matplotlib（五）figure
Figure相当于一个session，也就是说在这个Figure下这张图片可以进行很多图像的绘制。import matplotlib.pyplot as pltimport numpy as npx = np.linspace(-3, 3, 50)y1 = 2*x + 1y2 = x**2# 一个figure下面可以画出一个或多个图，相当于sessionplt.figure(...
2020-03-02 12:34:21
156
原创 Python数据分析三大框架之matplotlib（四）等高线图绘制
等高线图绘制import matplotlib.pyplot as pltimport numpy as npdef f(x, y): #The height function return (1 - x/2 + x**5 + y**3) * np.exp(-x**2-y**2)n = 256x = np.linspace(-3, 3, n)y = np.lin...
2020-03-02 12:30:28
342
原创 Python数据分析三大框架之matplotlib（三）3D图像绘制
3D图像的绘制import matplotlib.pyplot as pltimport numpy as npfrom mpl_toolkits.mplot3d import Axes3Dfig = plt.figure()ax = Axes3D(fig)# X, Y valueX = np.arange(-4, 4, 0.25)Y = np.arange(-4, 4, ...
2020-03-02 12:29:19
201
原创 Python数据分析三大框架之matplotlib（二）条形图的绘制
条形图的绘制import matplotlib.pyplot as pltimport numpy as npn = 12X = np.arange(n)Y1 = (1-X/float(n))*np.random.uniform(0.5, 1.0, n)Y2 = (1-X/float(n))*np.random.uniform(0.5, 1.0, n)#条形图的绘制plt...
2020-03-02 12:25:52
141
原创 Python数据分析三大框架之matplotlib（一）基本画图过程
前段时间学习了如何使用matplotlib绘制基本的数据图像import matplotlib.pyplot as pltimport numpy as npx = np.linspace(-1, 1, 100)#y = 2*x + 1y = x**2 + 1plt.plot(x, y)plt.show()使用plt.plot(x, y)绘制图像然后plt.show()...
2020-03-02 12:21:11
230
原创 Python数据分析三大框架之pandas（五）值的设置
值的设置import pandas as pdimport numpy as npdates = pd.date_range('20130101', periods= 6)df = pd.DataFrame(np.arange(24).reshape(6, 4), index = dates, columns = ['A', 'B', 'C', '...
2020-03-01 22:21:44
119
原创 Python数据分析三大框架之pandas（四）concat合并
concat合并import numpy as npimport pandas as pd# concatenatingdf1 = pd.DataFrame(np.ones((3, 4))*0, columns= ['a', 'b', 'c', 'd'])df2 = pd.DataFrame(np.ones((3, 4))*1, columns= ['a', 'b', 'c'...
2020-03-01 22:19:48
162
原创 Python数据分析三大框架之pandas（三）merge合并
合并部分 基础的部分 import numpy as npimport pandas as pd# merging two df by key/keys. (may be used in database)# simple exampleleft = pd.DataFrame({'key':['K0', 'K1', 'K2', 'K3'], ...
2020-03-01 22:16:20
300
原创 Python数据分析三大框架之pandas（二）打印输出，标签选择
打印输出import pandas as pdimport numpy as npdates = pd.date_range('20160101', periods= 6) # 时间序列df = pd.DataFrame(np.arange(24).reshape(6, 4), index = dates, columns = ['A', '...
2020-03-01 22:07:33
699
原创 Python数据分析三大框架之 pandas （一）基本数据形式
开始学习了pandas的基本操作与基本数据形式。 基本的序列 import pandas as pdimport numpy as np# 基本的序列s = pd.Series([1, 3, 6, np.nan, 44, 1], index=[1, 2, 3 ,4, 5, 6])print(s)#result1 1.02 3.03 6...
2020-03-01 21:57:49
368
原创 Python数据分析三大框架之numpy （五）合并
numpy数组的合并 按行合并 import numpy as npA = np.array([1, 1, 1])B = np.array([2, 2, 2])print(np.vstack((A, B)))# 按行合并C = np.vstack((A, B))print(A.shape, B.shape, C.shape)#result[[1 1 1]...
2020-03-01 21:31:26
91
原创 Python数据分析三大框架之 numpy （四）最大值，平均值
在这里学习了数组的平均值，最大值，累加值。 最大值，最小值的索引 import numpy as npA = np.arange(2, 14).reshape(3, 4)# 最小值的索引print(np.argmin(A))# 最大值的索引print(np.argmax(A)) 求平均值的方法 # 平均值的三种方法print(np.mea...
2020-03-01 21:23:02
819
原创 Python数据分析三大框架之 numpy （三）计算
学习了numpy里面的数组计算 数组减法 import numpy as npa = np.array([10, 20, 30, 40])b = np.arange(4) # [0, 1, 2, 3]# 减法result1 = a - bprint(a, b)result1 = a - b # [10-0, 20-1, 30-2, 40-3]print(res...
2020-03-01 20:59:17
177
原创 Python数据分析三大框架之numpy （二）分割
前段时间学习了分割数组的几种方法 按列分割 axis = 1 import numpy as npA = np.arange(12).reshape((3, 4))print(A)# 按列分割成两块 按列分割 axis = 1print(np.split(A, 2, axis= 1))# 按行分割成三块print(np.vsplit(A, 3))#re...
2020-03-01 20:36:58
277
原创 Python数据分析三大框架之 numpy （一）数组
学习数据分析的三大入门框架之一的numpy,整理以下学习的知识点。数组部分 数组类型 # array's data type (int float double ....) 数组类型a = np.array([2,23,4],dtype = np.float)print(a)# print array data typeprint(a.dtype)...
2020-03-01 20:21:28
246
原创 逻辑回归Logistc算法
（1）Logistic函数Logisti回归模型中的因变量只有1-0 。假设在p个独立自变量的作用下，记y取1的概率是,取0概率是1-p。优势比（oods）为。对oods取自然对数即得Logistic变换Logit(p)= 经过形式变化得到下面的形式：则L...
2020-02-29 16:57:09
328
原创 数据分析与挖掘（四）挖掘建模（1）分类与预测
经过数据探索与数据预处理，得到了可以直接建模的数据。。根据挖掘目标和数据形式可以以建立分类与预测，聚类分析，关联规则，时序分析和偏差检测。1.分类与预测分类和预测是预测问题的两种主要类型，分类主要是预测分类标号，而预测主要是建立连续值函数模型，预测给定自变量对于的因变量模型。 1.1实现过程 （1）分类分类是构造一个分类模型，输入样本的属性值，输出对应的类别，将美股样本映射到...
2020-02-29 15:37:53
1036
原创 数据分析与挖掘（三）数据预处理
今天把前几天学习的数据预处理，总结了以下：在数据挖掘中，巨量的原始数据存在着大量不完整的数据，严重影响数据挖掘建模的效率。甚至可能导致数据挖掘结果的偏差，所以进行数据清洗就显得尤为重要。数据预处理的主要内容包括：（1）数据清洗（2）数据集成（3）数据变换（4）数据规约1.数据清洗 1.1缺失值处理 处理缺失值的方法可分为3类：删除记录，数据插补和不处理。...
2020-02-29 14:58:37
1521
原创 数据分析与挖掘（二）数据探索
这里是数据探索的总结 1.1数据质量分析 数据质量分析的首要任务就是检查原始数据中是否存在脏数据，一般是指不合规的数据。其中包括（缺失值，异常值，不一致的值） 1.1.1缺失值分析 （1）缺失值产生的原因：有些信息无法获取，或者信息的代价太大。（2）缺失值的影响：数据挖掘建模将丢失大量有用的信息，不确定性会显著增强，包含空值的数据会使建模过程更加混乱，导致不可靠的输出...
2020-02-24 21:22:59
493
原创 数据分析与挖掘（一）误差与精度
分类与预测算法的评价模型对数据进行训练，为了判断一个模型的性能。需要一组没有参与预测模型的数据集，并用该数据集上评价预测模型的准确率。模型的预测效果评价，通常用相对/绝对误差，平均绝对误差，均方误差，均方根误差。 绝对误差与相对误差 设为实际值，为预测值，则称为绝对误差，如下： 为相对误差（Relative...
2020-02-24 15:41:45
1918
原创 MYSQL（一）数据排序（ORDER BY 与 LIMIT ）
这是复习MYSQL的第一天进行对字母顺序的排序select prod_name from productsorder by prod_name;选择prod_name 对 prod_name的字母顺序进行排序按多个列排序select prod_id, prod_price, prod_namefrom productsorder by prod_price, pr...
2020-02-23 21:59:48
1052
原创 精益数据分析（一）各种指标
请直面这样一个事实：你其实沉迷在妄想之中数据分析离不开对企业关键指标的跟踪。这些指标与你的商业模式（即营收来源，支出成本，客户数量以及客户获取策略的效果）有关，因此往往十分重要。什么是好的数据指标好的数据指标是比较性的。如果能够比较某个数据指标在不同的时间段，用户群体，竞争产品之间的表现，你可以更好的洞察产品的实际走向。好的数据指标是简单易懂的。如果人们不能很容易的记住某个指标，那...
2020-02-23 16:14:45
526
原创 （一）R语言图形初阶基本总结
这是我时隔两年的第二篇博客。好久不见甚是想念。1.图形参数非常重要的一个函数 par(optionname= value, optionname,...)。不加参数执行par()可以生成一个含有当前图形参数设置的列标。添加参数no.readonly=TRUE 可以生成一个可以修改的当前图形参数列表。示例：opar<-par(no.readonly=TRUE)par(lty...
2020-02-23 14:36:02
464
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人