- 博客(38)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 解决Anaconda第三方库下载慢
1.打开Anconda Prompt，进入后台2.执行命令第一个是添加一个清华镜像，第二个设置在 conda 显示通道的 URL。
2023-07-11 23:12:55
1501
原创 Axure 轮播图如何制作
2.在元件库搜索“动态面板”字样，设置一个动态面板，为什么要设置呢，简单讲动态面板可以实现页面变换等功能，如果是静态的只能显示一张图片，动态可以变换多种图形。新建交互一样的选择动态面板进行，选择动态模板---新建交互---载入时----设置面板状态---当前原件---下一个---勾选自动循环---更多选项里循环间隔跟图片一致，没有别的啦。3.建立合适的状态栏，并且按照自己想要的先后顺序去排列，在大纲中就可以找到对应的界面了，注意一定要拉到位置！设置交互，这一块也很简单，一定要点击动态面板进行交互的设置。
2023-05-19 18:18:16
1323
原创 2019疫情海量数据挖掘分析与可视化实战（源码数据见附件）
1、2019_nCoV_data.csv是2020年1月-3月世界新冠疫情的数据，要求对2019_nCoV_data.csv进行数据预处理做以下操作，要求：1.Sno编号列没有用，需要删除
2022-07-05 16:36:22
2324
3
原创 ERROR: Cannot uninstall ‘certifi‘. It is a distutils installed project and thus we cannot accurately
ERROR: Cannot uninstall 'certifi'. It is a distutils installed project and thus we cannot accurately
2022-07-02 12:23:02
1227
原创 应用回归分析期末考试知识点总结
一元线性回归中，残差ei的期望E(ei)=_0;在回归分析中，若存在异方差问题，则应利用_加权最小二乘法处理.；在多元线性回归分析中，若|XX |≈0会导致_多重共线性，其中X为设计矩阵.回归分析中常用的样本数据分为时间序列数据与_横截面数据_.现代统计学中研究统计关系的两个重要分支是_回归分析_和_相关分析.回归分析是处理变量间_相关分析关系_的一种数理统计方法.归分析中的异方差问题会造成以下三个影响：(1)参数的估计值虽然是无偏的，但不是最小方差线性无偏估计。(2)参数的显著性检验失效。(3)回归方程的
2022-06-22 10:30:27
3504
原创 人工智能原理与实践期末知识点总结
人工神经网络具有4个基本特征。（1）非线性。人工神经元处于激活或抑制两种状态，在数学上表现为一种非线性关系。具有阈值的神经元构成的网络具有更好的性能，可以提高容错性和存储容量。（2）非局限性。一个神经网络通常由多个神经元广泛连接而成。一个系统的整体行为不仅取决于单个神经元的特征,而且可能主要由单元之间的相互作用、相互连接所决定。通过单元之间的大量连接模拟大脑的非局限性。联想记忆是非局限性的典型例子。（3）非常定性。人工神经网络具有自适应、自组织、自学习能力。（4）非凸性。一个系统的演化方向，在一定条件下将取
2022-06-22 10:25:14
543
原创 数据可视化期末考试习题（带答案）
1. 多尺度导航属于( )可视化交互方法A. 概览+细节技术 B. 焦点+上下文技术C. 概览+缩放技术 D. 平移+缩放技术2. 将原始数据进行集成、变换、维度规约、数值规约是在( )步骤的任务A. 频繁模式挖掘 B. 分类和预测C. 数据预处理 D. 数据流挖掘3. 雷达图适用于( )数据A.一维 B.二维 C.三维 D.多维...
2022-06-22 10:17:32
8054
1
原创 数据可视化期末考试复习
可视化交互主要分为5类：平移+缩放技术、动态过滤技术、概览+细节技术、焦点+上下文技术和多视图关联协调技术。鱼眼视图属于焦点+上下文技术可视化交互方法。多尺度导航属于平移+缩放技术可视化交互方法；urllib.request请求模块；urllib.parse是url解析模块；urllib.error异常处理模块；urllib.robotparser是robots.txt解析模块；urllib.request.urlopen向网站发起请求并获取响应；...
2022-06-22 10:10:32
2209
原创 Spark期末考试练习题
一、单选题1. 下面的端口不是 Spark 自带的服务端口的是___________。A. 8080 B. 4040C. 8090D. 180802. 下面的描述不是 RDD 的特点的是___________。A. 可分区 B. 可序列化C. 可修改D. 可持久化3. 关于广播变量的描述错误的是___________。A. 任何函数调用 B. 是只读的C. 存储在各个节点 D. 存储在磁盘或 HDFS4. 在启动 pyspark 交互式界面时，采用默认的不指定参数的...
2022-06-15 16:17:14
18761
原创 Spark大数据技术与应用期末总结大题
PySpark启动以Local,yarn,standalone,mesos2、控制日志级别，有效的日志级别包括：ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE, WARN控制日志输出内容的方式有两种log4j.rootCategory=INFO, console和from pyspark import SparkContext sc =SparkContext(“local”,”First App”) sc.setLogLevel(“WARN”)3、RDD是什么弹性分.
2022-06-15 16:13:23
2686
原创 JDK1.8.0_181环境配置
我这里下载的版本是jdk1.8.0_181自行去Java官网去下载就行Java Downloads | Oracle，记得下exe文件，分享一个下载地址Index of java-local/jdk/8u181-b13，不过现在下载大多数直接就是tar文件，解压一下就能用。设置环境变量右键我的电脑--->属性点开后下拉找到高级系统设置 2、在弹出的“系统属性”窗口中“高级”标签页下点击“环境变量”按钮。3、在弹出的“环境变量”窗口中，点击下方的“新建”按钮，.
2022-04-27 16:27:24
5211
原创 比例数据可视化
目录 一、比例数据可视化1.比例数据的分组依据2.比例数据的应用二、饼图1.定义2.饼图的基本构架3.关于饼图的使用建议如下：三、环形图四、百分比堆叠柱形图2.百分比堆叠柱形图对于要展示数值累积的总数进行弱化，重点突出类别分布在整体中的作用，应用场景如下： 3.关于百分比堆叠柱形图的使用建议有以下几条：五、百分比堆叠面积图1.概念2.百分比堆叠面积图的使用建议如下：六、矩形树图1.概念：七、 雷达图1.概念...
2022-04-14 22:30:21
5669
4
原创 时间数据可视化
目录时间序列概念1.时间序列数据分类2.时间序列数据可视化的作用连续型数据2.折线图3.阶梯图离散型时间序列数据1.柱形图2. 分组柱形图3.堆叠柱形图4.散点图时间序列概念时间序列数据又称“时序数据”，是按时间顺序排列的一系列数据值。与一般的数据不同，时序数据中的时间是一个非常重要的维度与属性。1.时间序列数据分类时间分为时间段和时刻，多个时刻构成时间段，从数据类型上可以分为离散型时间序列数据和连续型时间序列数据两种。2.时间..
2022-04-13 23:01:53
4780
1
原创 数据可视化基础
一、视觉感知1.低级和高级视觉视觉低级：与物体性质相关。视觉高级：对物体的识别和分类视觉感知是指客观事物通过人的视觉器官在人脑中形成的直接反映，人类只有通过“视觉感知”才能达到“视觉认知”。2.格式塔原则包括以下基本原则：接近原则 相似原则 闭合原则 连续原则3.颜色理论1.三基色原理：红绿蓝2.色彩三要素：色相、明度和饱和度二、数据准备1.数据类型：根据数据模型分为：浮点型、整数、字符根据测量标度分为：类别型数据、有序型数据、区间型数据和比值型数据
2022-04-12 18:17:19
4419
原创 数据可视化概述
1、什么是数据可视化：简单理解用图来代替数据集，学术的讲的可以理解为把信息映射成视觉效果的过程为什么要进行数据可视化：我们利用视觉获取的信息量，远远比别的感官要多得多数据可视化能够在小空间中展示大规模数据数据可视化的目的：是对数据进行可视化处理，以使得能够明确地、有效地传递信息。数据可视化是为了从数据中寻找三方面的信息：模式、关系和异常。模式指数据中的规律。关系，指数据之间的相关性关联性和因果关系数据间的比较数据的构成数据的分布或联系异常，指有问题
2022-04-11 23:58:25
13307
3
原创 实验六：Spark Spark SQL实验
学习目标：熟悉 Spark SQL 的使用方法。学习内容：类似于关系型数据库，SparkSQL也是语句也是由Projection（a1，a2， a3）、Data Source（tableA）、Filter（condition）组成，分别对应sql查询过 程中的Result、DataSource、Operation，也就是说SQL语句按Result-->Data Source-->Operation的次序来描述的。 执行Spark SQL语句的顺序为： 1.对读入的SQL语句进行解析（
2022-04-09 10:45:50
2888
原创 第五章 Spark的DataFrame与Spark SQL
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结前言随着Spark版本的更迭，不足凸显出来，它处在底层，在实际开发中效率低下，因此进行了高层封装，诞生了Spark DataFrame和Spark SQL、一、DataFrame是什么？DataFrame是一种以 RDD为基础的分布式数据集，类似于传统数据库中的二维 表格。DataFrame与 RDD的.
2022-04-08 22:27:56
1563
原创 第四章 Spark RDD
学习目标：熟悉 Spark RDD 的使用方法。学习原理：RDD（Resilient Distributed Datasets）可扩展的弹性分布式数据集，RDD是spark最基本的数据抽象，RDD表示一个只读、分区且不变的数据集合，是一种分布式的内存抽象，与分布式共享内存（DistributedShared Memory，DSM）都是分布式的内存抽象，但两者是不同的。RDD支持两种类型的操作: transformations（转换）和 actions（动作）。transformations操作.
2022-04-07 10:46:50
1460
原创 Spark on Yarn配置和Anaconda的安装
Spark on Yarn配置1、在搭建好的Spark上修改spark-env.sh文件：首先打开spark文件,修改spark-env.sh文件在/opt/spark-2.3.3-bin-hadoop2.7/conf在spark-env.sh添加以下配置：export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoopexport YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop...
2022-04-02 08:00:00
1037
原创 问题解决： sudo: /etc/sudoers.d is world writablecp: cannot stat ‘–R‘: No such file or directorycp: -r
我自己也遇到了这个问题，然后也找了很多办法取解决xxxxxx@ubuntu:~/Desktop$ sudo cp –R jdk1.8.0_201 /optsudo: /etc/sudoers.d is world writablecp: cannot stat '–R': No such file or directorycp: -r not specified; omitting directory 'jdk1.8.0_201'解决方法挺简单的，用下面的命令：pkexec chm
2022-03-31 21:02:00
567
原创 Ubuntu的Spark 搭建实验（这次是完整的哈，没有错误）
学习目标：学会Spark环境的搭建学习内容：学习Spark搭建环境的过程一. 软件的下载，解压与安装二. 环境的配置学习环境：环境组合是Spark2.3.3+Java8+Scala2.11（这里都不是最新版本的，需要的话自行去官网搜索就好，直接官网下载就可以）一、 软件的下载，解压和移动1.1 软件的下载，这里采用的wget命令代替wget http://i9000.net:8888/sgn/HUP/spark/spark-2.3.3-bin-hadoop2.7.
2022-03-31 20:53:09
5424
2
原创 Ubuntu的Spark 搭建实验（ssh配置没好，需要的看新发的，完整版）
学习目标：学会Spark环境的搭建学习内容：学习Spark搭建环境的过程学习环境环境组合是Spark2.3.3+Java8+Scala2.11（这里都不是最新版本的，需要的话自行去官网搜索就好，直接官网下载就可以）第一步：软件的下载：这里方便大家下载直接用wget命令代替了wget http://i9000.net:8888/sgn/HUP/spark/spark-2.3.3-bin-hadoop2.7.tgz#spark的下载wget http://i9000.ne
2022-03-31 07:00:00
3082
2
原创 VMware创建虚拟机
这个操作也是挺简单的，在这也是分享一下自己的心得。首先打开VMware界面点击创建虚拟机进入之后会发现有两个选项，典型这个是比较快的
2022-03-30 13:23:05
1537
原创 VMware的下载与安装
首先下载虚拟机工具：VMware Workstation 16 Pro，个人推荐软件管家搜索VMware就可以了或者官网下载也可以的：https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html，安装过程由截图表示：（1）尽量不要放C盘一直点下一步就好了（这个启动检查更新不点比较方便）安装就好了等一小会 好了直接点进去激活码，我的手VM16的（最新在...
2022-03-30 01:01:42
1507
原创 Spark大数据技术与应用 第一章Spark简介与运行原理
Spark大数据技术与应用第一章Spark简介与运行原理1.Spark是2009年由马泰·扎哈里亚在美国加州大学伯克利分校的AMPLab实验室开发的子项目，经过开源后捐赠给Aspache软件基金会，成为了Apache Spark。由Scala语言实现的专门为大规模数据处理而设计的快速通用的计算引擎。2.Spark的三个特点：（1）易于使用Spark提供高级应用程序编程接口（2）计算速度快，支持交互式计算和复杂算法（3）Spark是一个通用引擎，可用完成各种运算，包括SQL查询、文本处理、机器学习、实.
2022-03-21 11:10:32
3371
原创 统计模型与R软件选择填空题 第三章数据描述性分析
统计模型与R软件选择填空题第三章数据描述性分析1.统计分析分为统计描述和统计判断两部分2.统计描述是通过绘制统计图、编制统计表、计算统计量方法来表述数据的分布特征3.研究数据的数字特征即分析数据的集中位置、分散程度和数据分布4.描述定量资料的集中趋势的统计量常用的有均值mean()、众数、中位数、百分位数5.计算数据的加权平均值weighted.mean(x,w,na.rm=FALSE)其中x是数值向量；w是数据的权，与x的维度相同；na.rm意义与mean()函数相同，该函数可以对矩阵和数组计
2022-03-20 21:04:43
405
原创 统计建模与R语言第二章选择，填空题
第一章就是数理统计知识哈，就不在这写了直接水一章，第二章的干货在这里，一章一章来吧，楼主也虚没库存，不是有意拉篇数的（当然这只是自己总结出来的一部分，具体参考书）1.帮助命令：help(solve)，？solve，help(“solve”)。2.重复函数rep(x,y,z)，x是数据，y是重复次数，z是长度。3.清除R命令行控制台的屏幕内容ctrl+l。4.用键盘导入数据的函数edit5.记着这个向量的类型：logical（逻辑型），numeric（数值型），complex（复数型），chara
2022-03-18 22:58:16
925
1
原创 数据挖掘（全书的知识点都包括了）
数据挖掘第一章1.什么是数据挖掘数据挖掘是从数据中，发现其有用的信息，从而帮助我们做出决策（广义角度）数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识，寻找其规律的技术，结合统计学、机器学习和人工智能技术的综合的过程（技术角度）2.数据挖掘是一个综合性的交叉学科，所涉及的学科领域有哪些？统计学、机器学习、数据结构、算法3.数据挖掘的两大基本目标是预测和描述数据，预测被称为：监督学习，描述被称为：无监督
2022-03-12 08:33:07
16299
8
原创 数据预处理（分享一波考试大题和填空题）
数据预处理1.什么是数据预处理：从初始数据到得出分析或挖掘结果的整个过程中对数据经过的一系列操作称为数据预处理。2.常见的数据问题：数据缺失，数据重复，数据异常，数据冗余，数据值冲突，数据噪声3.数据预处理的流程：初始数据获取，数据清理，数据集成，数据变换，数据规约4.大数据项目开发流程：数据采集，数据预处理，数据存储，数据分析挖掘，数据可视化5.数据质量问题：准确性，相关性，完整性，时效性，一致性，可信性可解释性6.数据是正确的，造成不准确的原因：数据收集设备故障、数据输入错误、数据传输过程出
2022-03-12 08:30:21
6295
原创 统计建模与R软件大题必备
假设检验的基本思想：用了反证法的思想，为了检验一个假设是否成立，就先假定这个假设是成立的你然后看由此产生的后果是否合理，如果不合理，说明原假设不正确，我们就拒绝原假设。如果由原假设导出没有不合理的现象发生则接受原假设。假设检验的一般步骤：对待检验的未知参数θ根据问题的需要做出一个单边或双边的假设，选择原假设的原则是事先有一定信任度或出于某种考虑是否要加以保护；选定一个显著性水平α，最常用的是α=0.05；构造一个统计量g,g的大小反应对H0有利或不利，拒绝域有形式W={g∈C}；确定拒绝域。重要的参
2022-03-11 22:24:58
1563
2019年疫情数据的预处理数据挖掘可视化这是基于jupyter的源码
2022-07-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人