- 博客(24)
- 收藏
- 关注
RSS订阅原创 全网最完整金融时间序列模型+动态模型
时间序列模型文章目录时间序列模型什么是平稳过程？信息准则(information criteria)基本定义：一、平稳性检验的具体方法Yt=ρYt−1+utY_t=\rho Y_{t-1}+u_tYt=ρYt−1+utΔYt=(ρ−1)Yt−1+ut=δYt−1+ut\Delta Y_{t}=(\rho-1)Y_{t-1}+u_{t}=\delta Y_{t-1}+u_{t}ΔYt=(ρ−1)Yt−1+ut=δYt−1+utDF检验模型ADF检验模型的确定ADF/PP检验模型的缺点实验St
2021-06-24 18:50:10
954
原创 Spark中Scala、Python和R的Shell操作
Spark中Scala、Python和R的Shell操作文章目录Spark中Scala、Python和R的Shell操作实验环境实验内容实验步骤1.点击"命令行终端"，打开新窗口2.启动Scala的Shell3.使用Scala shell完成单词统计案例4.启动Python的Shell5.使用Spark Python实现单词筛选的案例6.使用R语言的Shell7.使用R操作SparkDataFrame实验环境Linux Ubuntu 16.04前提条件：Java 运行环境部署完成R语言运行环境
2021-06-10 19:35:20
624
原创 Spark的Scala API的使用
Spark的Java和Scala API的使用文章目录Spark的Java和Scala API的使用实验环境实验内容实验步骤1.点击"命令行终端"，打开新窗口2.启动Scala的Shell3.弹性分布式数据集RDD4.RDD的创建方法RDD编程Scala API5.Transformation转换常用的Transformation6.Action动作常用的Action熟悉API的操作7.练习18.练习29.练习310.练习411.练习512.练习613.练习7实验环境Linux Ubuntu 16.0
2021-06-10 19:34:46
695
原创 PySpark中的RDD创建
PySpark中的RDD创建 【课程性质：PySpark数据处理】文章目录1. 实验目标2. 本次实验主要使用的 PythonPythonPython 库3. 适用的对象4. 研究流程图5. 实验步骤步骤1 安装并引入必要的库步骤2 从文件创建RDD步骤3 使用 `parallelize` 创建RDD1. 实验目标学习使用PySpark创建RDD了解PySpark中的数据存储读取模式2. 本次实验主要使用的 PythonPythonPython 库名称版本简介requ
2021-06-10 19:33:16
518
原创 PySpark中的RDD基本操作
PySpark中的RDD基本操作 【课程性质：PySpark数据处理】文章目录1. 实验目标2. 本次实验主要使用的 PythonPythonPython 库3. 适用的对象4. 实验步骤PySpark中的RDD基本操作步骤1 安装并引入必要的库步骤2获取数据并创建RDD步骤3 `filter` 转换步骤4 `map` 转换步骤5 `collect` 动作 `action`PySpark中的RDDs Aggregations操作步骤6 根据标签检查交互持续时间步骤7 更好的方法，使用 `aggregat
2021-06-10 19:32:24
323
2
原创 MLlib 二分类问题
MLlib 二分类问题 【课程性质：PySpark机器学习】文章目录1. 实验目标2. 本次实验主要使用的 PythonPythonPython 库3. 适用的对象4. 实验步骤步骤1 安装并引入必要的库步骤2 探索数据步骤3 查看前五个观测样本3.1 pandas.DataFrame 比 Spark DataFrame.show()更漂亮3.2 查看数据标签3.3 数值变量的汇总统计信息3.4 变量的相关性检验3.5 为机器学习准备数据3.6 管道步骤4 逻辑回归步骤5 决策树分类器步骤6 随机森林分
2021-06-10 19:31:14
514
2
原创 Hive数仓：使用桶表
Hive数仓：使用桶表文章目录Hive数仓：使用桶表实验环境实验步骤1.点击"命令行终端"，打开新窗口2.启动MySQL3.指定元数据数据库类型并初始化Schema4.启动Hadoop5.启动hive6.创建名为dolphin的数据库7.创建分桶表8.查看分桶表具体信息9.测试分桶表导入本地数据10.查看表bucket数据11.新建分桶表和过渡表12.插入数据到分桶表13.查询bucket_2的信息14.hive中查询分桶表中的数据15.修改桶表中bueket数量15.分桶表的抽样查询16.删除分桶表bu
2021-05-12 01:28:30
330
原创 Hive数仓：导入、导出表数据
Hive数仓：导入、导出表数据文章目录Hive数仓：导入、导出表数据实验环境实验内容实验步骤1.点击"命令行终端"，打开新窗口2.启动MySQL3.指定元数据数据库类型并初始化Schema4.启动Hadoop5.启动hive6.创建名为dolphin的数据库7.创建表8.导入方式一：本地文件导入到Hive表9.查看数据10.导入方式二：Hive表导入到Hive表11.查看此时testA表的信息12.导入方式三：HDFS文件导入到Hive表13.导入方式四：创建表的过程中从其他表导入14.导出方式一：导出到
2021-05-12 01:27:32
911
2
原创 Hive数仓：操作分区表
Hive数仓：操作分区表文章目录Hive数仓：操作分区表实验环境实验内容实验步骤1.点击"命令行终端"，打开新窗口2.启动MySQL3.指定元数据数据库类型并初始化Schema4.启动Hadoop5.启动hive6.创建名为dolphin的数据库7.查看已有的数据库,并使用dolphin数据库8.创建内部静态分区表9.向分区表partition_table导入数据10.增加分区11.创建名为partition_table1的动态分区表12.查看动态分区表partition_table113.在HDFS上查
2021-05-12 01:26:29
2159
1
原创 Hive的安装部署和管理
Hive的安装部署和管理文章目录实验环境实验内容实验步骤1.点击"命令行终端"，打开新窗口2.解压安装包3.更改文件夹名和所属用户4.设置HIVE_HOME环境变量5.导入MySql jdbc jar包到hive/lib目录下6.修改hive配置文件7.启动MySQL8.指定元数据数据库类型并初始化Schema9.启动Hadoop10.启动hive11.检验hive能否使用11.检验hive能否使用实验环境Linux Ubuntu 16.04前提条件：1）Java 运行环境部署完成2）Hadoo
2021-04-30 12:07:10
489
原创 Numpy + CNN实现手写数字识别
Assignment 6：CNN实现手写数字识别文章目录Assignment 6：CNN实现手写数字识别PackageLoad MNIST DatasetPlot One SampleAuxiliary FunctionLoss FunctionConvolutional LayerPooling LayerFC LayerRelu LayerSoftMax Layer推导Compute CostA Simple CNNTrainingPredictPackageimport mathimport
2021-04-24 21:21:42
613
2
原创 熟悉常用的HBase操作
熟悉常用的HBase操作文章目录实验环境实验内容1、编程实现以下指定功能，并用Hadoop提供的HBase Shell命令完成相同的任务。（1）列出HBase所有的表的相关信息，如表名、创建时间等：（2） 在终端打印出指定的表的所有记录数据：（3） 向已经创建好的表添加和删除指定的列族或列：添加列族：删除列族：（4） 清空指定的表的所有记录数据：（5） 统计表的行数2、现有以下关系型数据库中的表和数据，要求将其转换为适合于HBase存储的表并插入数据：实验环境Linux Ubuntu 16.04 前提
2021-04-24 21:13:35
1200
原创 HBase的安装部署和使用
HBase的安装部署和使用文章目录HBase的安装部署和使用实验环境实验内容实验步骤1.点击"命令行终端"，打开新的命令行窗口2.解压安装包3.更改文件夹名和所属用户4.设置HBASE_HOME环境变量5.修改hbase-site.xml配置文件6.修改hbase-env.sh配置文件7.启动hadoop8.启动HBase9.启动HBase Shell10.创建表11.put添加数据12.查看表内容13.查询14.修改内容15.添加列族16.删除列族17.删除表HBase的安装部署和使用实验环境Li
2021-04-24 21:10:30
473
原创 HDFS命令操作
HDFS命令操作实验内容在上述前提条件下，这个实验学习HDFS其它未遇到过的命令。实验步骤1.点击桌面的"命令行终端"，打开新的命令行窗口2.启动HDFS启动HDFS，在命令行窗口输入下面的命令：/apps/hadoop/sbin/start-dfs.sh运行后显示如下，根据日志显示，分别启动了NameNode、DataNode、Secondary NameNode：dolphin@tools:~$ /apps/hadoop/sbin/start-dfs.sh Starting name
2021-04-04 11:07:14
2642
原创 HDFS API操作
HDFS API操作实验环境Linux Ubuntu 16.04前提条件：1）Java 运行环境部署完成2）Hadoop 的单点部署完成上述前提条件，我们已经为你准备就绪了。实验内容在上述前提条件下，学习使用HDFS Java API编程实验。实验步骤1.点击桌面的"命令行终端"，打开新的命令行窗口2.启动HDFS启动HDFS，在命令行窗口输入下面的命令：/apps/hadoop/sbin/start-dfs.sh运行后显示如下，根据日志显示，分别启动了NameNode、
2021-04-04 11:06:32
359
原创 HDFS 的使用和管理
HDFS 的使用和管理文章目录HDFS 的使用和管理实验环境实验内容实验步骤1. 启动hadoop的hdfs相关进程2. 用jps查看HDFS是否启动3. 验证HDFS运行状态4. ls 命令5. put 命令6. moveFromLocal 命令7. get 命令8. rm 命令9. mkdir 命令10. cp 命令11. mv 命令12. count 命令13. du 命令14. setrep 命令15. stat 命令16. balancer 命令17. dfsadmin 命令18. 其他 命令1
2021-04-03 17:16:44
558
原创 Hadoop配置
Hadoop配置Linux shell配置环境变量sudo vim /etc/profile添加以下的export语句Eg：PATH=$PATH:$HOME/bin1，$HOME这个代码表示一个环境变量（$），它代表的是当前登录的用户的主文件夹的意思。（就是目录 ~ 的那个）2，$HOME/bin这个代码指的就是主文件夹下的bin子目录，代表的是文件夹的内部子目录。（注意不是根目录的那个）3，PATH=$PATH:$HOME/bin这个代码是设置PATH环境变量，就是设置环境变量用等号。.
2021-04-03 17:13:22
281
原创 MapReduce的个人理解
MapReduce的个人理解文章目录MapReduce模型简介Map和Reduce函数这里给出一个简单实例MapReduce的工作流程工作流程概述MapReduce的各个执行阶段Shuffle过程详解Shuffle过程简介Map端的Shuffle过程(1)输入数据和执行Map任务(2)写入缓存(3)溢写（分区、排序和合并）(4)文件归并Reduce端的Shuffle过程(1)“领取”数据(2)归并数据(3)把数据输入Reduce任务MapReduce模型简介MapReduce将复杂的、运行于大规模集群
2021-04-03 17:05:24
586
2
原创 使用阿里云部署Flask网页
使用阿里云部署Flask网页前端网页部署阿里云apache-CentOS配置好Apache后，将一整个html、css、js文件全部copy进/var/www/html目录下。之后就可以通过访问IP地址访问到你的index.html网页。后端Flask部署单独安装torch以及torchvision，否则会直接安装GPU版本https://download.pytorch.org/whl/torch_stable.html选择合适的版本。wget https://download.pyto
2020-08-16 09:25:38
215
原创 Docker-2020详细教程＜配合千锋Java学习营＞
Docker-2020详细教程<配合千锋Java学习营> 2020 Docker最新超详细版教程通俗易懂 一、Docker介绍1.下载Dcoker依的赖环境想安装Docker，需要先将依赖的环境全部下载下来，就像Maven依赖JDK一样yum -y install yum-utils device-mapper-persistent-data lvm22.指定Doc
2020-08-13 10:17:35
475
1
转载 VNC远程图形桌面的配置之Ubuntu 18.04的Gnome实现
shenhao_sufe欢迎来到shenhao的AI +大数据技术之旅blog-VNC远程图形桌面的配置之Ubuntu 18.04的Gnome实现1. 准备工作2. 安装VNC服务器2.1 系统更新2.2 安装TigerVNC2.3 安装Gnome 3桌面2.4 VNC密码设置3. 启动脚本设置3.1 启动VNC服务器4. 连接到VNC 服务器5. 另外的一些事情6. 总结欢迎来到shenhao的AI +大数据技术之旅blog-VNC远程图形桌面的配置之Ubuntu 18.04的Gnome实现VNC代表
2020-08-03 03:01:10
4685
原创 Royal TSX 使用VNC登陆Ubuntu18.04远程桌面
shenhao_sufe欢迎来到shenhao的AI +大数据技术之旅blog-VNC远程图形桌面的配置之Ubuntu 18.04VNC服务器搭建1. 准备工作2. 安装VNC Server3. 配置VNC服务器正式开启VNC服务关闭TCP端口的防火墙云服务器控制台配置使用VNC Viewer连接云服务器欢迎来到shenhao的AI +大数据技术之旅blog-VNC远程图形桌面的配置之Ubuntu 18.04Linux云服务器一般采用SSH连接方式，使用密钥对进行安全地无密码访问。但是SSH连接一般都
2020-08-03 02:12:14
2605
原创 使用Royal TSX通过阿里云搭建属于自己的linux主机（配合Python和Anaconda的安装）
欢迎来到shenhao的AI +大数据技术之旅blog-Royal TSX的配置在这一篇文章中，我讲从安装到配置使用SSH以及STFP进行详细的说明。同时，会对Linux系统上安装python以及anaconda的详细步骤进行阐述。最终将配置一个pytorch环境作为最终的案例。安装Royal TSX在 Windows 上好用的 shell 工具可能要数 xshell，但xshell并没有开发 mac 版本，所以想和远程服务器SSH连接可能要用macOS自带的终端 terminal 或者 iTerm2
2020-08-01 02:56:15
1569
原创 北京大学2020公开课 AVL-Python实现代码
class TreeNode: def __init__(self, key, val, left=None, right=None, parent=None): self.key = key self.payload = val self.leftChild = left self.rightChild = right self.parent = parent self.balanceFator = .
2020-05-15 23:16:23
211
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人