- 博客(43)
- 收藏
- 关注
RSS订阅原创 深度学习循环神经网络
表示输入数据和对应的标签。然后，我们创建了一个LSTM循环神经网络，通过循环神经元来存储状态信息，并根据当前输入和前一个状态来计算当前状态。接着，我们创建了一个全连接层，将最后一个时间步的输出连接到一个全连接层上。与传统的前馈神经网络不同，循环神经网络的输入不仅取决于当前输入，还取决于之前的状态。其中循环层是循环神经网络的核心部分，主要通过循环神经元来存储状态信息，并根据当前输入和前一个状态来计算当前状态。相比于传统的机器学习算法，循环神经网络可以自动学习到序列数据中的时序信息，从而提高了模型的性能。
2023-07-06 10:39:11
899
原创 深度学习卷积神经网络
表示输入数据和对应的标签。然后，我们创建了两个卷积层，每个卷积层包含一个卷积操作和一个最大池化操作。接着，我们创建了一个全连接层，将特征图展平后连接到一个全连接层上。它主要是通过卷积操作来提取图像中的特征，然后通过池化操作将特征图进行压缩，最后通过全连接层进行分类或回归等任务。其中卷积层是卷积神经网络的核心部分，主要通过卷积操作来提取图像的特征，卷积核的参数可以自动学习得到。相比于传统的机器学习算法，卷积神经网络不需要手工提取图像的特征，而是可以自动学习到更加有效的特征，从而提高了模型的性能。
2023-07-06 10:36:05
343
原创 深度学习神经网络
上述代码中，我们将标签转换为one-hot编码，然后比较预测值和真实值的索引是否相同，最终计算准确率。需要注意的是，上述代码适用于多分类任务，如果是二分类任务或者回归任务，需要根据具体情况进行修改。虽然神经网络算法在某些情况下表现出色，但也存在一些问题，例如需要大量的数据来训练、模型参数较多等。它的灵感来源于生物神经系统，能够通过学习大量数据来识别模式和关系，并进行分类、回归、聚类等任务。函数并未给出，这是因为这些函数的实现与具体的任务相关，可以根据实际情况进行编写。，表示输入数据和对应的标签。
2023-07-06 10:17:02
2051
原创 机器学习半监督学习
该方法利用带标签数据训练一个初始模型，然后使用该模型对未标记数据进行预测，并将置信度高的数据加入到标记数据中，然后重新训练模型，迭代这个过程直到模型收敛。最后，我们输出训练好的两个分类器的系数、新的标记数据集、新的标签数据和更新后的未标记数据集。该方法利用带标签数据训练一个初始模型，然后使用该模型对未标记数据进行预测，并将置信度高的数据加入到标记数据中，然后重新训练模型，迭代这个过程直到模型收敛。最后，我们输出训练好的模型系数、新的标记数据集、新的标签数据和更新后的未标记数据集。最后，我们返回预测标签。
2023-07-06 09:50:17
1412
原创 机器学习无监督学习算法
接下来，函数开始聚类操作，对于每个未被标记的点，找到其邻域中的所有密度可达的点，将它们放入同一个簇中，并将簇的数量加1。DBSCAN算法的基本思想是：对于给定的数据集，如果一个点的密度达到给定的阈值（通常是一定半径内的点数），则认为它是一个核心点，将其作为一个簇的种子点。最后，将剩余的点标记为噪声点或边界点，不属于任何簇。KMeans算法的基本思想是：将数据集中的每个样本分配到距离其最近的k个质心所代表的类别中，然后重新计算每个类别的质心，不断重复以上过程，直到类别不再发生变化或达到预定的迭代次数为止。
2023-07-05 17:11:20
4629
原创 机器学习有监督算法
监督学习（Supervised Learning）是机器学习中的一种常见方法，其基本思想是通过已有的标记数据（即带有标签的训练数据），训练一个模型来预测新的、未知的数据的标签或结果。在监督学习中，我们可以将输入数据和输出数据看作是一组有序对，即{(x1,y1),(x2,y2),...,(xn,yn)}，其中xi是输入数据，yi是对应的输出数据。朴素贝叶斯算法的基本思想是，对于给定的待分类数据，计算它属于各个类别的概率，然后选择具有最大后验概率的类别作为该数据的分类结果。然后，使用该模型来对新数据进行预测。
2023-07-05 14:23:00
1448
原创 Spring AOP（面向切面编程）
Spring AOP（面向切面编程）是Spring框架中的一个模块，用于实现横向关注点（如安全性、事务管理、日志记录等）的集中化处理，从而提高代码的可维护性和可扩展性。在运行时，Spring AOP将代理对象提供给客户端，并自动执行切面中的通知，实现横向关注点的集中化处理。通知（Advice）：切面在连接点上执行的操作，包括前置通知、后置通知、环绕通知、异常通知和最终通知。基于方法的切面：针对方法执行的切面，如事务管理、安全性检查、缓存等。基于注解的切面：针对特定注解的切面，如@Log、@Audit等。
2023-03-08 09:11:10
109
原创 量化数据开发
数据分析和建模技术：包括数据分析、统计分析、机器学习、深度学习等技术，如Python、R、MATLAB、Spark MLlib等。数据安全和隐私保护技术：包括数据加密、身份认证、访问控制、隐私保护等技术，如Kerberos、OAuth、SSL/TLS等。大数据技术和云计算技术：包括分布式计算、云计算、大数据存储和处理技术等，如Hadoop、Spark、AWS、Azure等。数据可视化和报告技术：包括数据可视化、交互式报表、数据仪表盘等，如Tableau、Power BI、D3.js等。
2023-03-08 00:03:00
662
原创 flink整合kfaka
在Flink应用程序中使用Kafka数据源和输出：将Kafka数据源和输出对象传递给Flink的DataStream API，使用Flink提供的转换操作和算子，进行数据处理和流处理操作。在这里，我们使用Flink的DataStream API从Kafka主题中读取数据，然后进行简单的过滤和转换操作，最后将数据发送回另一个Kafka主题。创建Kafka数据输出：使用Flink Kafka连接器提供的KafkaProducer类，创建一个数据输出，将数据发送到Kafka主题中。
2023-03-02 22:57:12
413
原创 交易涉及系统
风险等级表、分红方式表、基金净值表、基金分红表、业绩报表表、收费表和清算表等则分别存储了基金产品的风险等级、分红方式、净值、分红、业绩、费用和清算等信息。市场行情数据：包括股票、期货、外汇等各种市场的实时行情数据，如开盘价、收盘价、最高价、最低价、成交量、成交金额等。基金公司的FM系统的表结构根据不同公司的具体需求可能会有所不同，但通常会包括投资组合、资产负债表、投资限制、风险管理、交易记录、账户信息等多个表。O32系统支持多种交易方式，包括股票、债券、基金、期货、外汇等。
2023-02-23 22:07:01
2793
原创 hadoop技术栈
在整个过程中，HDFS扮演着数据的存储和管理者的角色，MapReduce利用HDFS的分布式特性，实现对海量数据的高效处理和分析。Hive和Hadoop生态系统中的其他组件有很强的关联。总之，Hadoop Common是Hadoop生态系统中的一个核心组件，为Hadoop框架中的其他组件提供了基础设施和公共库，使它们能够在分布式环境中高效地运行。它将计算资源从底层节点上解耦出来，形成一个独立的资源管理器，并提供了一个灵活的、可扩展的资源分配和作业调度机制，使得多个计算框架可以在同一个集群上共享资源。
2023-02-23 20:47:01
691
原创 如何设置 TeamViewer 远程控制
如要开始使用 TeamViewer 的远程控制功能，请导航至主界面上的“远程控制”选项卡。您可在此处找到您的 TeamViewer ID 和临时密码，此临时密码可随时更改。您的伙伴可利用这些信息远程控制您的计算机。如要反向操作并远程控制另一台计算机，您只需输入伙伴计算机的 ID 并从各种连接模式（如远程控制、文件传输或 VPN）中选择一种即可。此外，一旦建立一个或多个远程连接，这些会话将在“远...
2019-12-19 14:09:04
549
原创 分类算法作业
1、如何用极大似然概率解释交叉熵一个事件的信息量为当信息量为0时，即概率为百分之百首先对于信息论中的熵来说，是对不确定性的测量，熵越高，能传输的信息越多，反之熵越低，能传输的信息越少。交叉熵最大似然概率最小化交叉熵和最大似然函数结果是一样的2、硬币问题为何不使用MLP而直接假设正反面概率p?因为硬币问题相对于每个是独立事件，每次抛硬币是相互不影响的，没法...
2019-12-13 23:05:38
198
原创 函数的连续性
函数在点处连续的定义设函数f(x)在内有定义，如果函数f(x)当时的极限存在，且等于它在点处的数值,即,那么称函数在点处连续。单侧连续若函数f(x)在连续，那么f(x)在既左连续又右连续连续函数与连续区间在区间上每一点都连续的函数，叫做在该区间上的连续函数，或者说函数在该区间上连续函数的间断点1、跳跃间断点：如果f(x)在点处左右极限都存在，但,则称为f(x)...
2019-12-11 20:57:53
622
原创 激活函数和函数极限
激活函数有哪些sigmoid函数，relu函数，tanh函数怎么选取激活函数函数的极限当自变量趋于有限值时的极限自变量趋于无穷大时函数的极限tanh(x)与sigmoid(x)的关系tanh(x)=2*sigmoid(2x)-1...
2019-12-09 23:16:51
350
原创 tensorflow作业-20191208
1、在scope例子中加入tensorboard，并观察可视化图与没有scope时的变化没有scope之前的图像scope以后的图像2、MNIST DNN例子中 single-layer.py 和 single-layer-optimization.py的结果总是有差距，寻找原因。1、训练次数过少2、学习率选取不够精确3、激活函数选取4、没有区分训练集和...
2019-12-08 22:10:13
363
原创 感知机基础学习
感知机来源于M-P神经元，是罗森布拉特提出的什么是学习率？和步长有什么区别？怎么确定初始学习率？怎么在深度学习中进行学习率调整？两个激活函数有什么区别？感知机学习算法所谓的神经网络的学习规则，就是调整神经元之间的连接权值和神经元内部阈值的规则调整规则：用学习率乘以差错来对应于修正权重以区分西瓜香蕉为例假如输入一个西瓜，得到输入权值，则得到输出结果为，y=0输...
2019-12-06 14:09:32
474
原创 DW数据模型源事实表与目标映射关系
确认交易日汇总事实表到销售机构顶层交易汇总表到销售机构顶层交易汇总表（按月）到管理区划交易汇总表客户确认交易统计事实表基金净值日事实表管理区划保有事实表份额日汇总事实销售商份额日汇总；按日加载份额日汇总事实定投汇总日表、销售区域定投统计中间表定投交易明细事实定投汇总日表临时表定投汇总日表销售区域定投统计首次认购事实表销售区域认购统计事...
2019-12-05 16:59:38
384
原创 ods八大主题
1、参与者主题销售渠道信息销售渠道树销售渠道网点映射销售商信息销售渠道拆分控制表参与者属性黑名单表客户信息表参与者信息参与者身份鉴别信息参与者代码映射参与者合并日志自然人信息组织信息交易席位2、产品主题产品信息产品扩展信息产品代码映射产品管理费率表产品销售服务费率表产品尾随佣金费率表产品尾随佣金费率设置产品所属...
2019-12-05 10:35:27
907
原创 linux操作系统安装注意事项
1、典型安装：VMwear会将主流的配置应用在虚拟机的操作系统上，对于新手来很友好。自定义安装：自定义安装可以针对性的把一些资源加强，把不需要的资源移除。避免资源的浪费2、网络连接类型的选择，网络连接类型一共有桥接、NAT、仅主机和不联网四种。桥接：选择桥接模式的话虚拟机和宿主机在网络上就是平级的关系，相当于连接在同一交换机上。NAT：NAT模式就是虚拟机要联网得先通过宿主机才能和...
2019-12-04 00:13:38
533
原创 【安装工具问题解决方法】 Anaconda、pip更换镜像源及用法、pdb用法命令
#更改为清华源conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/#删除镜像源conda config --remove channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/#查看镜像源：...
2019-11-27 22:01:56
311
原创 python学习【第八天】reduce函数
num_l=[1,2,3,100]def reduce_test(func,array,init=None): if init is None: res=array.pop(0) else: res=init for num in array: res=func(res,num) return resprint...
2019-11-26 22:54:24
108
原创 python学习【第七天】filter函数
#终极版本course=['javapython','cpython','pypython','lyk']# def sb_show(n):# return n.endswith('sb')#--->lambda n:n.endswith('sb')def filter_test(func,array): ret=[] for p in array:...
2019-11-26 22:41:35
141
原创 python学习【第六天】map函数
num_l=[1,2,10,5,3,7]#lambda x:x+1def add_one(x): return x+1#lambda x:x-1def reduce_one(x): return x-1#lambda x:x**2def pf(x): return x**2def map_test(func,array): ret=[] ...
2019-11-26 16:29:30
153
原创 python学习【第五天】函数作用域
def test1(): print('in the test1')def test(): print('in the test') return test1print(test)res=test()print(res()) #test1()'''<function test at 0x0000000005084840>in the test...
2019-11-26 14:38:22
111
原创 python学习【第四天】内置函数
print(abs(-1))print(abs(-1))#1print(abs(1))print(abs(1))#1print(all([1,2,'1']))print(all([1,2,'1','']))print(all(''))#空元组或者空列表或者空集合为真print(all([]))print(all({}))print(all(()))''...
2019-11-26 10:31:42
79
原创 python学习【第三天】
nonlocal用法name = 'alex' #name=‘lhf’def change_name(): name='lhf' # global name # name = 'lhf' # print(name) # name='aaaa' #name='bbb' def foo(): #name = 'wu' ...
2019-11-26 10:28:41
96
原创 数据分析常用库之【numpy】random函数
1、numpy.random.rand()'''numpy.random.rand(d0,d1,…,dn)rand函数根据给定维度生成[0,1]之间的数据，包含0，不包含1dn表示不同维度返回值为指定维度的array'''import numpy as npres=np.random.rand(4,2)print(res)'''[[0.41070435 0.5700613...
2019-11-24 21:04:11
402
原创 数据分析常用库之【pandas】DataFrame方法操作
#!/usr/bin/pythonfrom __future__ import print_functionfrom __future__ import with_statementimport os #获取当前工作路径import numpy as npimport pandas as pdfrom pandas import * # Sereis, DataFramef...
2019-11-24 17:57:13
512
原创 数据分析常用库之【pandas】读取保存加载功能
read_to#python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去，#永久存储；通过pickle模块的反序列化操作，我们能够从文件中创建上一次程序保存的对象。总是会看到代码开头会加上from __future__ import *这样的语句。这样的做法的作用就是将新版本的特性引进当前版本中，也就是说...
2019-11-24 01:10:08
202
原创 数学基础学习【第二天】贝叶斯预测病情
#症状='n' 职业='z' 疾病='j'#打喷嚏=1 头痛=2#护士=1 农夫=2 建筑工人=3 教师=4#感冒=1 过敏=2 脑震荡 = 3table_titles = ['n', 'z', 'j']table = [[1, 1, 1], [1, 2, 2], [2, 3, 3], [2, 3, 1], [1,...
2019-11-21 23:54:40
405
1
原创 python学习【第三天】正则表达式re模块
re.match函数re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。re.match(pattern, string, flags=0)#re模块import reprint(re.match('www', 'www.baidu.com www').span()) # 在起始位置匹配print(re...
2019-11-21 17:04:35
158
原创 python学习【第一天】
开发语言：高级语言：JAVA、go、php、python、C#、R==》字节码中级语言：C++低级语言：C、汇编语言 ==》机器码机器码和字节码：语言之间的对比php类：适用于写网页、局限性python java：可以写网页，也可以写后台功能-python执行效率低，开发效率高-java执行效率高，开发效率低python种类Jpythoncpyt...
2019-11-20 21:01:12
113
原创 【数据分析常用库numpy】从数值范围创建数组
numpy 包中的使用 arange 函数创建数值范围并返回 ndarray 对象，函数格式如下：numpy.arange(start, stop, step, dtype)numpy.linspace 函数用于创建一个一维数组，数组是一个等差数列构成的，格式如下：np.linspace(start, stop, num=50, endpoint=True, retstep=F...
2019-11-20 19:49:51
159
原创 【数据分析常用库numpy】数据类型，数组属性及创建数组
numpy是python语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也为数组运算提供大量的函数库。包含1、一个强大的n维数组对象2、广播功能函数3、整合 C/C++/Fortran 代码的工具4、线性代数、傅里叶变换、随机数生成ndarray对象是用来存放同类型元素的多维数组ndarray的每一个元素在内存中都有一个相同大小的区域ndarray包含以下内容：...
2019-11-20 00:51:21
538
原创 数学基础学习【第一天】
夹逼定理：自然常数：一阶导数意义：二阶导数意义：常用函数的导数：泰勒公式-麦克劳林公式:方向导数：梯度：凸函数：凹函数：概率论：期望：概率论中描述一个随机事件中的随机变量的平均值的大小离散概率分布连续概率密度分布意义是数学期望可以预测一个随机事件的平均预期情况方差：方差是描述随机变量或一组数据离散程度的度量。如果想知道一组数据的离散程度就用方...
2019-11-19 22:58:27
143
原创 python学习【第二天】
执行python脚本的两种方式交互模式和脚本模式位和字节的关系位(bit)一个二进制数据0或1，是计算机传输的最小单位。8位组成一个字节字节(byte):存储空间的计量单元，一个字节有8个bit，而1024个字节代表1k一个英文占用一个字节一个汉字占用两个字节ascii、unicode、utf-8和gbk的关系ascii 是最早美国用的标准信息交换码，把所有的字母的...
2019-11-17 07:09:17
101
原创 linux学习之路【一】
Linux操作系统和内核操作系统概述操作系统是一个用来协调、管理和控制计算机硬件和软件资源的系统程序，它位硬件和应用程序之间。操作系统就是为用户（使用计算机的人）提供服务，使用户能在计算机上使用各种应用程序（QQ、浏览器）来操作计算机资源（如QQ需要使用显示器资源、用浏览器下载资料需要硬盘资源，同时所有这些应用程序都需要使用CPU这个最主要的资源）。一台计算机就是一组资源，你运行在计算机上的应...
2019-11-15 21:11:50
279
原创 学习python模块
1.csv模块 英文教程https://docs.python.org/3.6/library/csv.html中文教程：https://yiyibooks.cn/xx/python_352/library/csv.html#module-csv手动新建csv文件 打开文件：with open('test.csv','a', newline='',encoding='utf-8')...
2019-10-20 14:54:09
127
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人