大数据数学基础实验以及实训（多源数据融合与数据分析）

已于 2024-03-19 09:30:58 修改
阅读量2.2k 收藏 19
点赞数 5
分类专栏： Python 大学实验实训 文章标签： python 大数据 数学分析
于 2021-06-16 20:55:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43374681/article/details/117715862
版权

大数据数学基础实验以及实训（多源数据融合与数据分析）

目录

1.大数据数学基础

（代码太长，章末有获取方法）
实验一：微积分
在这里插入图片描述

实验二：线性代数（分析收视人数）
在这里插入图片描述

实验三：概率与统计
在这里插入图片描述

实验四：数值计算
在这里插入图片描述

实验五：数据可视化
在这里插入图片描述

实验六：
6.1： K-Means聚类建模
6.2：SVM分类建模
6.3：BP神经网络建模
在这里插入图片描述
关注公众号：Time木
回复：大数据数学基础实验
可获得相关代码，数据，文档

2.多源数据融合与数据分析

在这里插入图片描述
关注公众号：Time木
回复：数学分析
可获得相关代码，数据，文档
fun.py

import matplotlib.pyplot as plt
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
import pandas as pd
import numpy as np
def Fr(data,year):
    #输入：
    #data--财务指标数据
    #year--排名年度
    #输出：
    #Fscore1--排名结果（股票代码形式）
    #Fscore2--排名结果（股票名称形式）

    data2 = data.iloc[data['Accper'].values == str(year)+'-12-31',[ 0,2,3,4,5,6,7,8,9,10,11]]
    data2 = data2[data2 > 0]
    data2 = data2.dropna()

    X = data2.iloc[:, 1:]
    scaler = StandardScaler()
    scaler.fit(X)
    X = scaler.transform(X)

    # 累计贡献率为95%
    pca = PCA(n_components=0.95)
    # 满足累计贡献率为95%的主成分数据
    Y = pca.fit_transform(X)
    # 贡献率
    gxl = pca.explained_variance_ratio_


    F = np.zeros((len(Y)))  # 预定义综合得分数组F
    for i in range(len(gxl)):
        f = Y[:, i] * gxl[i]  # 第i个主成分与第i个主成分贡献率的乘积
        F = F + f  # 数组累积求和
    # 构建序列，值为综合得分F，index为股票代码
    fs1 = pd.Series(F, index=data2['Stkcd'].values)
    # 结果排名，降序
    Fscore1 = fs1.sort_values(ascending=False)
    co = pd.read_excel('TRD_Co.xlsx')
    Co = pd.Series(co['Stknme'].values, index=co['Stkcd'].values)
    Co1 = Co[data2['Stkcd'].values]  # 主成分分析指标数据对应的上市公司名称
    fs2 = pd.Series(F, index=Co1.values)
    Fscore2 = fs2.sort_values(ascending=False)
    return (Fscore1,Fscore2)

ffun.py

def Fr2(data,year):
    import pandas as pd
    import numpy as np
    # 读取2014年指标数据，将数据转换为Numpy数组的形式
    data = pd.read_excel('data1.xlsx')
    data2 = data.iloc[data['Accper'].values == '2014-12-31', [0, 2, 3, 4, 5, 6, 7, 8, 9]]
    # da=data2.as_matrix()
    da = data2.values
    # 对最后一个指标PEG进行处理
    da = da[(da[:, 8] < 4) & (da[:, 8] > -4), :]  # 消除异常值
    da[:, 8] = 1 - (da[:, 8] - min(da[:, 8])) / (max(da[:, 8]) - min(da[:, 8]))  # 反极差化处理
    # 对剩下的7个指标均要求大于0，且将8倍均值作为异常值进行剔除处理。示例代码如下：
    for i in np.arange(1, 8):
        da = da[da[:, i] > 0, :]  # 要求指标值大于0
    da = da[da[:, i] < 8 * np.mean(da[:, i]), :]  # 剔除异常值（8倍均值）
    # 要求净资产收益率大于0.06
    # 这里假定6%回报率为投资者的最低要求。示例代码如下：
    da = da[da[:, 6] >= 0.06, :]
    #  数据标准化处理
    # 这里将指标均作归一化处理。即将指标值全部规范化到[0,1]之间。采用Python中的数据预处理模块中的极差法进行处理。：
    from sklearn.preprocessing import MinMaxScaler
    X = da[:, 1:]
    scaler = MinMaxScaler()
    scaler.fit(X)
    X = scaler.transform(X)
    # 6. 对市盈率、市现率、市净率指标也做反极差化处理
    # 主要目的是实现指标度量的统一，即值越大越好。
    X[:, 2] = 1 - X[:, 2]
    X[:, 3] = 1 - X[:, 3]
    X[:, 4] = 1 - X[:, 4]
    # 对标准化之后的指标数据X作主成分分析，提取其主成分，要求累计贡献率在95%以上。
    from sklearn.decomposition import PCA
    pca = PCA(n_components=0.95)  # 累计贡献率为95%
    Y = pca.fit_transform(X)  # 满足累计贡献率为95%的主成分数据
    gxl = pca.explained_variance_ratio_  # 贡献率

    # 1. 计算综合得分，其中综合得分等于提取的各个主成分与其贡献率的加权求和

    F = np.zeros((len(Y)))
    for i in range(len(gxl)):
        f = Y[:, i] * gxl[i]
    F = F + f
    # 2. 整理排名结果
    # 为了方便进行排名，采用序列作为排名结果的储存数据结构。排名包括两种方式，一种index为股票代码，方面后续收益率计算使用。一种index为股票中文简称，方便查看其排名结果。
    # 第一种方式如下：
    Fs1 = pd.Series(F, index=da[:, 0])
    Fscore1 = Fs1.sort_values(ascending=False)  # 降序，True为升序
    # 第二种方式如下：
    # 首先获取主成分分析指标数据对应的上市公司名称，可以通过data2数据中的股票代码关联上市公司信息表（TRD_Co.xlsx）筛选获得。TRD_Co.xlsx数据表详细信息见表8-2，其Python程序代码如下：
    co = pd.read_excel('TRD_Co.xlsx')
    Co = pd.Series(co['Stknme'].values, index=co['Stkcd'].values)
    Co1 = Co[da[:, 0]]
    # 其次，以综合得分F为值，上市公司名称作为索引（index）,构建序列，并按值作降序排序，以观察其排名结果
    Fs2 = pd.Series(F, index=Co1.values)
    Fscore2 = Fs2.sort_values(ascending=False)  # 降序，True为升序

    return (Fscore1,Fscore2)

fun2.py

import matplotlib.pyplot as plt
import numpy as np
from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
import pandas as pd

# 输入：
# Fscore1--排名结果（股票代码形式）
# s_trd1--持有期开始日期
# s_trd1--持有期结束日期
# num--排名数
# 输出：
# r_list--股票代码收益率列表
# r_total--总收益率
# 获取交易数据
def Re(Fscore1, s_trd1, s_trd2, num):
    trd = pd.read_excel('trd_'+s_trd1[0:4]+'.xlsx')
    # 预定义每个股票的收益率序列
    r_list = []
    for i in range(num):
        # 获取排名第i个股票代码
        code = Fscore1.index[i]
        # 获取排名第i个股票代码的交易数据
        dt = trd.iloc[trd.iloc[:, 0].values == code, :]
        # 获取排名第i个股票代码2017年度的交易数据，并按交易日期升序排序
        I1 = dt['Trddt'].values >= str(s_trd1)
        I2 = dt['Trddt'].values <= str(s_trd2)
        dtt = dt.iloc[I1 & I2, :].sort_values('Trddt')
        # 数据是否为空条件判断
        if len(dtt) > 1:
            # 获取排名第i个股票代码的
            # 首个和最后一个交易日的考虑现金红利再投资的收盘价可比价
            p1 = dtt.iloc[0, 3]
            p2 = dtt.iloc[len(dtt) - 1, 3]
            # 计算排名第i个股票代码的收益率,并添加到r_list中
            r_list.append((p2 - p1) / p1)
     # 计算总收益率
    r_total = sum(r_list)
    return (r_list,r_total)

test0.py

import matplotlib.pyplot as plt
import visual
import numpy as np
import pandas as pd
plt.rcParams['font.sans-serif'] = ['SimHei']

data=pd.read_excel('data.xlsx')
data2=data.iloc[data['Accper'].values=='2016-12-31',[ 0,2,3,4,5,6,7,8,9,10,11]]
data2=data2[data2>0]
data2=data2.dropna()
from sklearn.preprocessing import StandardScaler
X=data2.iloc[:,1:]
scaler = StandardScaler()
scaler.fit(X)
X=scaler.transform(X)
from sklearn.decomposition import PCA
 #累计贡献率为95%
pca=PCA(n_components=0.95)
 #满足累计贡献率为95%的主成分数据
Y=pca.fit_transform(X)
#贡献率
gxl=pca.explained_variance_ratio_


import numpy as np
F=np.zeros((len(Y)))       #预定义综合得分数组F
for i in range(len(gxl)):
    f=Y[:,i]*gxl[i]        #第i个主成分与第i个主成分贡献率的乘积
    F=F+f              #数组累积求和
#构建序列，值为综合得分F，index为股票代码
fs1=pd.Series(F,index=data2['Stkcd'].values)
#结果排名，降序
Fscore1=fs1.sort_values(ascending=False)
co=pd.read_excel('TRD_Co.xlsx')
Co=pd.Series(co['Stknme'].values,index=co['Stkcd'].values)
Co1=Co[data2['Stkcd'].values]  #主成分分析指标数据对应的上市公司名称
fs2=pd.Series(F,index=Co1.values)
Fscore2=fs2.sort_values(ascending=False)
X = list()
Y = list()
for k ,v in Fscore2.items():
    X.append(k)

X = X[:10]
print(X)
Y = Y[:10]

print(Fscore2)


# visual.visual(Fscore2)
# # 条形图
# X = list()
# Y = list()
# for k,v in Fscore2.items():
#     X.append(k)
#     Y.append(v)
# X = X[:10]
# Y = Y[:10]
# #使用ggplot样式来模拟ggplot2风格的图形，ggplot2是一个常用的R语言绘图包
# plt.style.use('ggplot')
# customers = X
# customers_index = range(len(customers))
# sale_amounts = Y
# #基础图
# fig = plt.figure()
# #在基础图上加上子图
# ax1 = fig.add_subplot(1,1,1)
# #param1:设置条形左侧在X轴上的坐标；param2:设置条形的高度;param3:设置条形和标签中间对齐；param4:设置条形的颜色
# ax1.bar(customers_index,sale_amounts,align='center',color='darkblue')
# #设置X,Y轴刻度线位置
# ax1.xaxis.set_ticks_position('bottom')
# ax1.yaxis.set_ticks_position('left')
# #将条形的刻度线标签由客户索引值更改为实际的客户名称
# plt.xticks(customers_index,customers,rotation=0,fontsize='small')
# #设置X轴标签
# plt.xlabel('Stock Name')
# #设置Y轴标签
# plt.ylabel('Score')
# #设置图标签
# plt.title('Score Analysis')
# #将统计图保存在当前文件夹，dpi为分辨率,bbox_inches将图形四周的空白部分去掉
# plt.savefig('bar_plot.png',dpi=400,bbox_inches='tight')
# #显示图形
# plt.show()
#
#
#获取交易数据
# trd=pd.read_excel('trd_2017.xlsx')
# #预定义每个股票的收益率序列
# r_list=[]
# for i in range(30):
#     #获取排名第i个股票代码
#     code=Fscore1.index[i]
# #获取排名第i个股票代码的交易数据
#     dt=trd.iloc[trd.iloc[:,0].values==code,:]
# #获取排名第i个股票代码2017年度的交易数据，并按交易日期升序排序
#     I1=dt['Trddt'].values>='2017-05-01'
#     I2=dt['Trddt'].values<='2017-12-31'
#     dtt=dt.iloc[I1&I2,:].sort_values('Trddt')
# #数据是否为空条件判断
#     if len(dtt)>1:
#         #获取排名第i个股票代码的
#     #首个和最后一个交易日的考虑现金红利再投资的收盘价可比价
#             p1=dtt.iloc[0,3]
#             p2=dtt.iloc[len(dtt)-1,3]
#             #计算排名第i个股票代码的收益率,并添加到r_list中
#             r_list.append((p2-p1)/p1)
# r_total=sum(r_list)  #计算总收益率

test1_1.py

import pandas as pd
import fun
import fun2
import visual
data=pd.read_excel('data.xlsx')
r1=fun.Fr(data,2016)
Fscore1=r1[0]
Fscore2=r1[1]
print(Fscore2)
print(Fscore1)
visual.visual(Fscore2)
visual.visual(Fscore1)
r2=fun2.Re(Fscore1,'2017-05-01','2017-12-31',30)
r_list=r2[0]
r_total=r2[1]
print(r_total)

test1_2.py

import pandas as pd
import fun #导入自定义的函数文件
import fun2  #导入自定义的函数文件
data=pd.read_excel('data.xlsx')
ind300=pd.read_excel('index300.xlsx')#沪深300指数
list1=[] #存放年度
list2=[] #存放持有期
list3=[] #存放投资组合收益率
list4=[] #存放沪深300指数收益率
for year in [2013,2014,2015,2016]:
    for time in ['06-30','09-30','12-31']:
#获得基于总体规模与投资效率指标的综合评价排名结果
        r1=fun.Fr(data,year)
        r2=fun2.Re(r1[0],str(year+1)+'-05-O1',str(year+1)+'-'+time,40)
        r_total=r2[1]
        list1.append(year)
        list2.append(str(year+1)+'-05-01'+'--'+str(year+1)+'-'+time)
        list3.append(r_total)
        #计算沪深300指数同期收益率
        td1=str(year+1)+'-05-01'
        td2=str(year+1)+'-'+time
        l1=ind300.iloc[:,1].values>=td1
        l2=ind300.iloc[:,1].values<=td2
        dt=ind300.iloc[l1&l2,[1,2]].sort_values('Idxtrd01')
        p=dt.iloc[:,1].values
        list4.append((p[len(p)-1]-p[0])/p[0])
    #将结果转化为数据框,并导出到Excel
    Reason={'year':list1 , 'time':list2,'r_total':list3,'index':list4}
    Reason=pd.DataFrame(Reason)
    Reason.to_excel('Reason.xlsx')

test2_1.py

import pandas as pd
import numpy as np
#读取2014年指标数据，将数据转换为Numpy数组的形式
data=pd.read_excel('data1.xlsx')
data2=data.iloc[data['Accper'].values=='2014-12-31',[0,2,3,4,5,6,7,8,9]]
da=data2.values

#对最后一个指标PEG进行处理
da=da[(da[:,8]<4)&(da[:,8]>-4),:]  #消除异常值
da[:,8]=1-(da[:,8]-min(da[:,8]))/(max(da[:,8])-min(da[:,8])) #反极差化处理

#3. 对剩下的7个指标均要求大于0，且将8倍均值作为异常值进行剔除处理。
for i in np.arange(1,8):
    da=da[da[:,i]>0,:]                #要求指标值大于0
da=da[da[:,i]<8*np.mean(da[:,i]),:]  #剔除异常值（8倍均值）
#4. 要求净资产收益率大于0.06
#这里假定6%回报率为投资者的最低要求。
da=da[da[:,6]>=0.06,:]
#5. 数据标准化处理
#这里将指标均作归一化处理。即将指标值全部规范化到[0,1]之间。采用Python中的数据预处理模块中的极差法进行处理。
from sklearn.preprocessing import MinMaxScaler
X=da[:,1:]
scaler = MinMaxScaler()
scaler.fit(X)
X=scaler.transform(X)
#6. 对市盈率、市现率、市净率指标也做反极差化处理
#主要目的是实现指标度量的统一，即值越大越好。示例代码如下：
X[:,2]=1-X[:,2]
X[:,3]=1-X[:,3]
X[:,4]=1-X[:,4]
#对标准化之后的指标数据X作主成分分析，提取其主成分，要求累计贡献率在95%以上。其计算程序如下：
from sklearn.decomposition import PCA
pca=PCA(n_components=0.95)      #累计贡献率为95%
Y=pca.fit_transform(X)           #满足累计贡献率为95%的主成分数据
gxl=pca.explained_variance_ratio_  #贡献率



#1. 计算综合得分，其中综合得分等于提取的各个主成分与其贡献率的加权求和
F=np.zeros((len(Y)))
for i in range(len(gxl)):
    f=Y[:,i]*gxl[i]
F=F+f
#2. 整理排名结果
# 为了方便进行排名，采用序列作为排名结果的储存数据结构。排名包括两种方式，一种index为股票代码，方面后续收益率计算使用。一种index为股票中文简称，方便查看其排名结果。
# 第一种方式如下：
Fs1=pd.Series(F,index=da[:,0])
Fscore1=Fs1.sort_values(ascending=False)   #降序，True为升序
# 第二种方式如下：
# 首先获取主成分分析指标数据对应的上市公司名称，可以通过data2数据中的股票代码关联上市公司信息表（TRD_Co.xlsx）筛选获得。TRD_Co.xlsx数据表详细信息见表8-2，其Python程序代码如下：
# 其次，以综合得分F为值，上市公司名称作为索引（index）,构建序列，并按值作降序排序，以观察其排名结果
co=pd.read_excel('TRD_Co.xlsx')
Co=pd.Series(co['Stknme'].values,index=co['Stkcd'].values)
Co1=Co[da[:,0]]
Fs2=pd.Series(F,index=Co1.values)
Fscore2=Fs2.sort_values(ascending=False)   #降序，True为升序

import visual
#排名可视化
visual.visual(Fscore2)
visual.visual(Fscore1)
# print(Fscore1)
# print(Fscore2)

#收益率计算
trd=pd.read_excel('trd_2015.xlsx')
#预定义每个股票的收益率序列
r_list=[]
for i in range(20):
    #获取排名第i个股票代码
    code=Fscore1.index[i]
#获取排名第i个股票代码的交易数据
    dt=trd.iloc[trd.iloc[:,0].values==code,:]
#获取排名第i个股票代码2015年度的交易数据，并按交易日期升序排序
    I1=dt['Trddt'].values>='2015-05-01'
    I2=dt['Trddt'].values<='2015-12-31'
dtt=dt.iloc[I1&I2,:].sort_values('Trddt')
#数据是否为空条件判断
if len(dtt)>1:
    #获取排名第i个股票代码的
#首个和最后一个交易日的考虑现金红利再投资的收盘价可比价
        p1=dtt.iloc[0,3]
        p2=dtt.iloc[len(dtt)-1,3]
        #计算排名第i个股票代码的收益率
        r_list.append((p2-p1)/p1)
r_total=sum(r_list)  #总收益率
print(r_list)
print(r_total)

test2_2.py

import pandas as pd
import ffun
import fun2
data=pd.read_excel('data1.xlsx')
r1=ffun.Fr2(data,2014)
Fscore1=r1[0]
Fscore2=r1[1]
r2=fun2.Re(Fscore1,'2015-05-01','2015-12-31',20)
r_list=r2[0]
r_total=r2[1]

data=pd.read_excel('data1.xlsx')
ind300=pd.read_excel('index300.xlsx')#沪深300指数
list1=[] #存放年度
list2=[] #存放持有期
list3=[] #存放投资组合收益率
list4=[] #存放沪深300指数收益率
for year in [2013,2014,2015,2016]:
    for time in ['06-30','09-30','12-31']:
        print(str(year) + '-' + str(time))
        #获得基于总体规模与投资效率指标的综合评价排名结果
        r1=ffun.Fr2(data,year)
        # a=r1[1]
        # X = list()
        # for k, v in a.items():
        #     X.append(k)
        # X = X[:20]
        # print(X[:20])
        r2=fun2.Re(r1[0],str(year+1)+'-05-O1',str(year+1)+'-'+time,40)
        r_total=r2[1]
        list1.append(year)
        list2.append(str(year+1)+'-05-01'+'--'+str(year+1)+'-'+time)
        list3.append(r_total)
        #计算沪深300指数同期收益率
        td1=str(year+1)+'-05-01'
        td2=str(year+1)+'-'+time
        l1=ind300.iloc[:,1].values>=td1
        l2=ind300.iloc[:,1].values<=td2
        dt=ind300.iloc[l1&l2,[1,2]].sort_values('Idxtrd01')
        p=dt.iloc[:,1].values
        list4.append((p[len(p)-1]-p[0])/p[0])
    #将结果转化为数据框,并导出到Excel
    Reason2={'year':list1 , 'time':list2,'r_total':list3,'index':list4}
    Reason2=pd.DataFrame(Reason2)
    Reason2.to_excel('Reason2.xlsx')

关注公众号：Time木
回复：大数据数学基础实验
回复：数学分析
可获得相关代码，数据，文档

Time木
关注
专栏目录
基于AI大模型的电商商家端自定义报表分析诊断经营数据
程序员光剑
06-21 9500
随着电商市场规模的不断扩大，电商商家面对的竞争压力也越来越大，需要通过更为精准、快速的数据分析来优化经营策略。目前，传统的商家端报表分析工具仍然存在操作复杂、数据分析能力有限等问题，因此需要一种更加高效、灵活的解决方案。AI大模型具有自然语言理解及生成能力，可以通过自然语言输入指令来实现对商家端数据的分析和诊断，提升商家端的数据分析能力和服务质量。本文将探讨如何结合AI大模型实现自然语言电商商家端自定义报表分析诊断经营数据的技术方案，并给出相应的代码实例。
【大数据学习】数学基础及应用
weixin_34410662的博客
10-10 190
2019独角兽企业重金招聘Python工程师标准>>> ...
学习大数据都需要哪些数学基础？
yyyyyyyyyooi的博客
06-04 5174
其实笼统地说大数据原理和基础都在数学这边，当然有很多偏应用和软件使用的技术，例如“深度学习调参”等，这些报个培训速成班就能学会的技术含量不那么高的东西，不在讨论范围内。 这里要讨论的，是如何系统的学习，然后自己能编出这机器学习或深度学习的程序或软件。我想，这才能称为一个合格的机器学习、数据科学家。 所以您准备好了吗？ 大数据入门基础 1,微积分（求导，极限，极值）和线性代...
职业教育大数据实验实训室建设应用案例
最新发布
whwzzc的博客
08-01 928
唯众大数据教学云平台是一个开放式的课程平台，除了唯众的课程体系之外，老师可自主开发在线课程，支持Word、PPT、PDF、视频等常见课件直接转换成在线课程，从而让老师很方便的将专业基础课程迁移到平台上，便于构建完整的大数据、云计算、人工智能专业课程体系。在大数据专业职业技能大赛中，唯众不仅提供技术支持和赛事平台，更深层次地促进了大数据专业实训教学的改革，加强了教育与产业的融合，推动了教学内容、方法、师资队伍以及实训条件的全面优化，为培养符合行业需求的高素质人工智能专业人才作出了自己的贡献。
学好大数据与机器学习需要有怎样的数学基础？
weixin_41780944的博客
06-18 1352
推荐一个大数据学习群 119599574晚上20:10都有一节【免费的】大数据直播课程，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能,数据挖掘都是纯干货分享，你愿意来学习吗？如今大数据、机器学习与人工智能越来越受人追捧，那么步入这一领域需要有怎样的数学基础？下面笔者给大家一点建议。做机器学习需要有怎样的数学基础，笔者建议大家可以先直接看一些开源模块的理论的文档 ，或者一些论文。...
大数据科学相关岗位，我们需要具备哪些数学基础?
多智时代的博客
10-25 2606
大数据科学相关岗位要具备哪些数学基础?想成为一名顶级的数据科学家还需要掌握其他领域的知识，比如编程能力、具有一定的商业头脑，以及对数据的独特分析和好奇心态。 大数据科学相关岗位要具备哪些数学基础? 有时候，作为一名数据科学家(甚至是团队的初级分析师)，你必须全心全意地学习那些基础的数学知识，或者正确地应用这些技术，有时候你可以通过使用一些API或者拿来即用的算法完成相关任务。大数据科学相关岗位要...
多源位置大数据融合技术应用
04-03
多源位置大数据 融合技术应用 主讲人：施澄博士 同济大学建筑与城市规划学院
大数据技术所涉及的的数学基础有哪些？
xiaokaiabcde的博客
11-26 5029
由于工作关系，在我的周围存在这两类人，一是正在学校学习的大学生，二是在IT公司从事研发设计的工程师。他们在数学学习和应用方面出现了两个极端。在校大学生，特别是大一、大二的学生每学期一些诸如数学分析、线性代数、数论之类数学课程，尽管在课堂上可以听到莱布尼茨和牛顿的纠葛故事、笛卡尔的爱情故事，但是他们往往感到很迷茫，因为不知道所学的数学知识到底有什么用。对于IT公司的研发人员来说，他们在进入大数据...
水环境模型与大数据技术融合研究
weixin_45585364的博客
01-12 2929
点击上方蓝字关注我们水环境模型与大数据技术融合研究马金锋1,饶凯锋1,李若男1,2,张京1,郑华1,21中国科学院生态环境研究中心城市与区域生态国家重点实验室，北京 100085...
【数据源整合高级教程】：在多源数据中发现异常的策略与实践
![【数据源整合高级教程】：在多源数据中发现异常的策略与实践]...本章将为您概述多源数据整合的概念、重要性、以及在不同业务环境中实现该实践的方法和挑战。 ## 1.1 数据整合的基本概念 数
AI大语言模型预训练数据准备：从原始数据到高质量语料库
程序员光剑
03-06 595
预训练语料库的质量直接影响语言模型的性能。一个理想的预训练语料库应该具备以下特点:规模大:拥有足够的数据量,通常在百GB到TB量级,可以全面覆盖语言的各种现象。领域广泛:包含不同体裁、主题、风格的文本,有助于模型学习语言的一般性规律。噪声低:数据的错误、重复、冗余等噪声尽量少,保证语料的可靠性。富任务相关性:与下游任务的领域、风格等特点接近,使模型能更好地适应具体任务。因此,优质的预训练语料库是大规模语言模型取得SOTA效果的基础。
基于证据理论的多源数据融合仿真实验matlab代码.zip
12-28
基于证据理论的多源数据融合仿真实验matlab代码 实现功能：识别框架内元素个数在3~5个之间，其余参数自己选择，计算相应的置信度函数、信任度函数、似真度函数；同时完成两证据融合和三证据融合。用Matlab实现
大数据入门实验数据
03-15
一份123M的数据，大数据初学者可用来实验练手，数据用逗号分割
数据融合算法分析
04-02
权重分配策略二人若玩儿玩儿去人人情味蕤解开qwr河南分南北进入
【AI大数据计算原理与代码实例讲解】相关性评分
程序员光剑
06-29 378
【AI大数据计算原理与代码实例讲解】相关性评分 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：数据挖掘、机器学习、相关性评分、协同过滤、推荐系统、大数据处理 1.背景介绍
大数据学习--预备知识：数学基础
qiaoqiaomanman的博客
02-29 1346
数学知识回顾 一、线性代数 二、概率论及数理统计 三、信息熵和基尼系数 四、最优化 一二两部分是对之前的数学知识的复习，后面两部分是大数据中涉及到的新的知识。 一、线性代数： 1.线性代数： 1.1行列式是一个将方阵映射到一个标量的函数，记作det(A)或|A|。行列式也可以看作是有向面积或体积在一般欧几里得空间的推广。或者说是在n维欧几里得空间中，行列式描述的是一个线性变换对“体积”所造成的影响...
《大数据技术基础》实验1-实验7
ebatudou的博客
01-16 1881
实验内容：根据课本中《大数据架构Hadoop》这一章末尾实验"安装Hadoop"完成实验内容。要求安装采用分布式安装，使用三台虚拟机完成。
大数据技术（实验）
qq_44275038的博客
05-25 954
实验一 一、下载安装VmwareWorkstationPro 12 二、安装CentOS 点击【创建新的虚拟机】→ 【自定义安装】→【下一步】→【稍后安装操作系统(S)】→【Linux(L)】→【输入虚拟机名称，选择安装位置】→【下一步】→【使用网络地址转换(NAT)(E)】→【LSI Logic(L)】点击【下一步】→【SCSI(S)】→【创建新虚拟磁盘】→【将虚拟...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Time木

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值