- 博客(23)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 MONAI训练过程可视化
在训练的过程中为了更好地了解训练情况，包括损失曲线、输入图片、输出图片、卷积核的参数分布等信息，我们可以使用Tensorboard对训练过程进行可视化。这些信息能帮助我们更好地监督网络的训练过程，并为参数优化提供方向和依据。我们需要安装的是tensorboardX，因此，需要先安装其依赖，TensorFlow1. 安装TensorFlowpip3 install tensorflow2 安装tensorboardpip install tensorboa...
2021-08-11 21:13:03
590
原创 服务器被植入木马--记录解决kswapd0 CPU占用率高的问题
自购百度云服务器一台，做网站测试用，配置不高，某天突然发现网站访问出问题了，登录使用top命令查看，发现CPU几乎被耗尽，如下：其中kswapd0的进程很可疑，进一步查看了网络情况，发现其对外访问了45开头的一个IP，为荷兰的IP，经过网络简单搜索，可以肯定是中了挖矿木马，接着查看该进程对应的目录情况，清除过程：1.先杀死进程：kill -9 33072. 清除crontab清除以上几个自动启动任务3. 清除目录# rm .X25-u...
2021-05-11 10:12:38
811
原创 BASE理论与ACID
BASE理论eBay的架构师Dan Pritchett源于对大规模分布式系统的实践总结，在ACM上发表文章提出BASE理论，BASE理论是对CAP理论的延伸，核心思想是即使无法做到强一致性（Strong Consistency，CAP的一致性就是强一致性），但应用可以采用适合的方式达到最终一致性（Eventual Consitency）。BASE是指基本可用（Basically Available）、软状态（ Soft State）、最终一致性（ Eventual Consistency）。
2021-04-06 19:02:00
1055
转载 HBase最佳实践
HBASE最佳实践标签： HBase 分布式存储 大数据本文致力于从架构原理、集群部署、性能优化与使用技巧等方面，阐述在如何基于HBase构建 容纳大规模数据、支撑高并发、毫秒响应、稳定高效的OLTP实时系统 。一、架构原理1.1 基本架构 从上层往下可以看到HBase架构中的角色分配为： Client Zookeeper HMaster RegionServer HDFS CLIENTClient是执行查询、写入等对HBase表数据
2021-04-04 11:52:11
400
转载 详解 CAP 定理 Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性）
详解 CAP 定理 Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性）CAP原则又称CAP定理，指的是在一个分布式系统中，Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性），三者不可得兼。分布式系统（distributed system）正变得越来越重要，大型网站几乎都是分布式的。分布式系统的最大难点，就是各个节点的状态如何同步。CAP 定理是.
2021-04-04 10:30:35
2955
转载 将在本地获取jqdata的数据保存为sql数据库,并读取数据的方法
如何将本地获取jqdata的数据保存为sql数据库文件呢？简单粗暴直接上代码，使用的是python自带的sqlite3数据库，比较轻便！import jqdatasdk as jq from sqlalchemy import create_engine #sqlalchemy是Python自带的与数据库联结的包，导入创建数据库联结的函数import sqlite3 #导入pyt...
2019-03-04 15:19:09
572
转载 强化学习入门：基于Q-learning算法的日内择时策略初窥
本篇文章所使用的数据，来源于JQData本地量化金融数据库。下面我将粗略的介绍一个强化学习在证券市场中应用的简单实例。关于强化学习的算法理论及发展历史，我们不做过多的解释。我们可以很容易在互联网上找到强化学习的理论知识，虽然可能都是一些只言片语，但对于初学者来说基本也就够用了。到目前为止，还没有出现广受业内好评的中文教材，更多的参考资料还是英文版的。例如，Richard S.Sutton和And...
2019-03-04 15:17:19
856
1
转载 Keras框架 深度学习模型CNN+LSTM+Attention机制 预测黄金主力收盘价
这一篇继续对 实验2的模型 进行拓展，增加Attention机制先写点Attention的简单介绍attention本质：其实就是一个加权求和。attention处理的问题，往往面临的是这样一个场景：你有k个d维的特征向量hi(i=1,2,...,k)。现在你想整合这k个特征向量的信息，变成一个向量h∗(一般也是d维)。solution：1.一个最简单粗暴的办法就是这k个向量以el...
2019-03-04 15:16:25
3919
1
转载 深度学习模型 CNN+LSTM 预测收盘价
能够在这里分享一些实验，一起领略 数据科学之美，也很开心。以后，这个实验的模型会不断深化。之后，也会分享一些 论文里 基于深度学习的时间序列预测模型。数据由JQData本地量化金融数据支持上一篇做了2个实验，预测黄金期货主力合约的收盘价。实验2：使⽤历史前5个时刻的 open close high low volume money预测当前时刻的收盘价，即 [None, 5, 6] =...
2019-03-04 15:15:32
4058
16
转载 基于Keras深度学习LSTM模型 预测黄金主力收盘价
深度学习框架 Keras，深度学习LSTM模型1 数据源：黄金主力数据 来源于JQData （数据由JQData支持 ）2 数据清洗3 使用黄金主力数据 进⾏预测的2个实验数据集：70%用做训练集 训练模型 ；30%测试集。模型：Keras框架， 用LSTM模型对收盘价进行预测循环神经⽹网络，RNN(Recurrent Neural Network)中的LSTM(Long S...
2019-03-04 15:14:41
1490
2
转载 JQData | 股市估值分析，带你穿越资本市场迷雾
投资最重要的事 -- 估值投资最重要的是什么？答：判断“胖瘦”的能力。巴菲特：对面过来一个200斤的人，你不需要一台体重秤，也该知道他是胖子。要想做好投资，你该知道自己心仪的标的到底是贵还是便宜。在资本市场，判断“胖瘦”的能力，我们也叫估值。没有估值，没有识别贵贱的能力，就会像大海里的浮萍，亏盈全靠市场和运气。有了估值，你就像拥有了定海神针，任凭市场涨涨跌跌，潮起潮落，我自低买...
2019-03-04 15:14:00
534
转载 JQData | 十年一瞬 · 量化分析股市涨跌周期规律(日内)
JQDATA可以怎么玩呢?统计还是一件蛮有意思的事(给我一行数据,我能撬动地球),我们总是喜欢开盘买入,这是为什么呢?开盘卖出是否是合理的呢?今天我们就利用JQDATA统计一下历史上日内走势的上涨下跌概率及幅度工具 :JQdata,python2 matplotlib: 2.0.2 pandas: 0.16.2样本: 上证指数 2005年至2018年8月18日时间 休市前一分...
2019-03-04 15:13:16
1035
转载 基于JQData的有效前沿及投资组合优化
（1）现代资产组合理论（MTP）是关于在特定风险水平下投资者（风险厌恶）如何构建组合来最大化期望收益的理论，这一理论最基本的原则是投资者可以构建投资组合的有效集合，即有效前沿，有效前沿可以在特定风险水平下使期望收益最大化；（2）资产的风险一般使用资产回报的波动方差来表示，在回报和风险相权衡的时候，根据资本资产定价模型(CAPM)一般使用夏普率来评估风险回报比，来衡量特定风险下投资收益的表现，希...
2019-03-04 15:12:14
436
转载 JQData应用 | A股行业投资指南——好的投资，首先是选好行业
一．好的投资，首先是选好行业红杉资本曾经有一条著名的投资经验，大意是：好的投资，首先是选好赛道，其次是赛道上的选手。对于每天活跃于资本市场上的投资者而言，赛道所指的正是你正在投资、或者将要投资的那家公司它所在的行业，更直接的说，你投资于什么行业，投资于这个行业的哪家公司，决定了你最终能获得什么样的收益表现。那么，红杉资本的这条投资经验是否适用于A股市场，并给我们带来可观的投资收益呢？本文试...
2019-03-04 13:17:33
426
转载 JQData应用 | 基于估值波动周期的择时策略
JQData应用 | 基于估值波动周期的择时策略文章转发自聚宽用户「夏鲁迅」的投稿文章，并被“聚宽数据”公众号收录~一、前言在变化莫测的A股市场上，永远流传着三个终极问题：我该买什么？什么时候买？什么时候卖？多少人以为自己知道答案，直到股灾降临，灰飞烟灭。在经历了一轮又一轮牛市和熊市的洗礼后，我们终于透过估值数据发现了市场周期的秘密。这里我们分享一个总收益在100%以上、股灾期间回...
2019-03-04 13:15:16
421
原创 Flume安装配置笔记
1. 下载并解压wget http://mirrors.cnnic.cn/apache/flume/1.7.0/apache-flume-1.7.0-bin.tar.gztar -xzvf apache-flume-1.7.0-bin.tar.gzmv setup/apache-flume-1.7.0-bin flume2. 修改配置cd flume/cp flume-
2017-02-08 15:44:53
1669
1
转载 Python Requests快速入
目录(?)[-]快速上手发送请求为URL传递参数响应内容二进制响应内容JSON响应内容原始响应内容定制请求头更加复杂的POST请求POST一个多部分编码Multipart-Encoded的文件响应状态码响应头Cookies重定向与请求历史超时错误与异常快速上手迫不及待了吗？本页内容为如何入门Requests提供了很好的指引。其假设你已经安装了Requ
2016-06-19 15:42:26
843
转载 Java NIO之TCP
流（ TCP ）信道详解流信道有两个变体： SocketChannel 和 ServerSocketChannel 。像其对应的 Socket 一样，SocketChannel 是相互连接的终端进行通信的信道。l SocketChannel ：创建，连接和关闭 static SocketChannel open(SocketAddress remote) static
2016-02-20 11:47:14
829
转载 使用ServerSocketChannel与SocketChannel实现的CS模式
NIO Selector示意图：客户端代码：import java.io.IOException;import java.net.InetSocketAddress;import java.nio.ByteBuffer;import java.nio.channels.SelectionKey;import java.nio.channels.Selector;
2016-02-16 23:38:24
537
转载 手动配置三大框架整合：Spring+Struts2+mybatis
现在主流的项目框架中，数据库持久层有可能不是hibernate，而是mybatis或者ibatis，其实它们都是一样的，下面我来把环境搭建一下：【导入相关jar包】新建web项目工程mss，Spring+Struts2+mybatis整合，除了Spring和Struts的jar包外(可以在我的资源中下载)，我们还需导入mybatis的几个想jar包：三大框架整合后jar包：
2015-12-24 11:17:33
665
原创 MyEclipse 2014相关配置
1. 配置文件默认打开使用的编辑器 打开Window->Preferences 在上方搜索栏输入“file asso”，如下图，点击File Associations，在右上侧可以选择需要修改的文件类型，右下侧可以选择并点击“Default”设置某个编辑器为默认编辑器 2.xml文件提示一般需要“Alt+/"，如何配置使敲击
2015-12-20 10:23:52
615
转载 MyEclipse professional 2014破解教程-转载并修正错误
1、运行破解补丁下图即为破解补丁压缩文件解压后的文件列表。如图中所示，主文件cracker.jar用于运行并破解MyEclipse。为了跨平台兼容，该破解程序采用Java开发，因此我们需要先确保计算机中已经正确安装了Java运行环境。进入系统命令界面键入命令：java -jar cracker.jar(如果是Windows操作系统，也可直接双击运行run.bat批处理文件)
2015-12-16 11:30:16
2815
原创 开始学习Struts2
从今天开始记录学习Struts2学习过程中遇到的一些问题及处理方法：1. 报错 Unable to load configuration以及Action not found 在网上搜到的解答大概有： a. 查看jar包导入是否有遗漏 b. 是否多导入了jar包导致冲突 c. struts.xml文件配置有问题，比如action的类名、方法名、返回
2015-12-12 13:47:24
290
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人