![](https://img-blog.csdnimg.cn/20190918140145169.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
2021 集群-数据分析
文章平均质量分 74
数据挖掘,数据分析,ubuntu,hadoop
ZhangJiQun&MXP
远离消耗你的人,在你的喜欢的能量场下才能加快脚步。
变化是在平常不过的事情,但选择不变,才是人的能力。
展开
-
数据引力,数据倾斜,数据距离,大数据科学
科学问题是指一定时代的科学家在特定的知识背景下提出的关于科学知识和科学实践中需要解决而尚未解决的问题。它包括一定的求解目标和应答域,但尚无确定的答案,所以,我们可以尽最大的努力去寻找,去探索。其要素包括事实基础、理论背景、问题指向、求解目标、求解范围等。本文主要内容是介绍教育大数据的定义与作用,在了解教育大数据前我们首先要了解什么是大数据。大数据技术是21世纪最具时代标志的技术之一。国务院发布的《促进大数据发展行动纲要》中提出“大数据是以容量大、类型多、存取速度快、应用价值高为主要特征....原创 2022-05-29 20:45:24 · 385 阅读 · 0 评论 -
对称性破缺,物理学对称,混沌 ,数据降维:就是不同算法法抽样 ,大数据考试题目
目录对称性破缺物理学对称性混沌数据降维:就是不同算法法抽样大数据考试题目混沌运动是一种典型的非周期运动,是周期运动对称性的破缺,而对称性破缺实质上意味着有序程度的提高,所以混沌运动是另一种类型的有序·混沌区的系统行为并非真的一团乱麻,混沌谐本身还具有无穷的内部结构,其中嵌套着各种周期窗口,非周期与周期难分难解地交叉、缠绕在一起,表明混沌行为是一种非平庸的有序性;混沌内部的无穷嵌套结构具有标度变换的不变性,局部放大后其结构与整体相似,这种自相似性也是某种意义上的对称..原创 2022-05-25 21:04:35 · 240 阅读 · 0 评论 -
hadoop安装常见问题
目录SSH服务器拒绝了密码。请再试一次ubuntu修改登陆用户名这样ftp成功链接ubuntu现在的ubuntu支持直接拖拽文件传输,不用ftp的yarn是什么linux配置java环境变量hadoop安装包下载linux不能编辑sshd_cofigSSH的简单理解和运用SSH服务器拒绝了密码。请再试一次是你命令窗口的$ 后面是你的用户名,不是登陆时候的。ubuntu修改登陆用户名这样ftp成功链接ubuntu现在的ubu原创 2022-04-08 09:27:14 · 2730 阅读 · 0 评论 -
运行Hadoop自带的单词统计程序
目录Java,hadoop环境变量路径java单词统计代码ubuntu新建文本文件编译java文件 成为jarhadoop运行jar代码Java,hadoop环境变量路径export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64export PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.j.原创 2022-04-08 09:34:40 · 269 阅读 · 0 评论 -
nosql和mysql的区别
目录nosql和mysql的区别nosql和mysql的区别nosql在优势方面,主要体现在下面这三点:1. 简单的扩展:典型例子是Cassandra,由于其架构是类似于经典的P2P,所以能通过轻松地添加新的节点来扩展这个集群;2. 快速的读写:主要例子有Redis,由于其逻辑简单,而且纯内存操作,使得其性能非常出色,单节点每秒可以处理超过10万次读写操作;3. 低廉的成本:这是大多数分布式数据库共有的特点,因为主要都是开源软件,没有昂贵的License成本;1.m...原创 2022-04-06 20:21:28 · 3851 阅读 · 0 评论 -
Storm与Spark、Hadoop三种框架对比
目录Storm与Spark、Hadoop三种框架对比一、Storm与Spark、Hadoop三种框架对比二、hadoop的应用业务分析二、浅谈Hadoop的基本原理Hadoop与Storm的对比流计算storm特性Storm与Spark、Hadoop三种框架对比一、Storm与Spark、Hadoop三种框架对比Storm与Spark、Hadoop这三种框架,各有各的优点,每个框架都有自己的最佳应用场景。所以,在不同的应用场景下,应该选择不同的框架.原创 2022-04-06 16:41:16 · 2615 阅读 · 0 评论 -
hadoop 环境搭建
目录网络连接安装java安装exclipse网络连接安装javasudo apt install openjdk-11-jre-headlesssudo apt install openjdk-8-jre-headless安装exclipse原创 2022-03-16 21:46:55 · 3027 阅读 · 0 评论 -
wordcount执行过程
目录wordcount执行过程减少键值对的两种方式wordcount执行过程减少键值对的两种方式归并:做成表合并:求和原创 2022-03-09 16:55:52 · 430 阅读 · 0 评论 -
MapReduce
MapReduceMapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念"Map(映射)"和"Reduce(归约)",是它们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(归约)函数,用来保证所有映射的键值对中的每一个共享相同的键组。你向MapReduce原创 2022-03-09 14:55:09 · 2168 阅读 · 0 评论 -
论文注意事项,什么是复杂网络,复杂网络应用
目录什么是复杂网络复杂网络应用复杂网络定义简介小世界特性1.2 无标度特性社区结构特性什么是复杂网络复杂网络(Complex Network),是指具有自组织、自相似、吸引子、小世界、无标度中部分或全部性质的网络。特征:小世界、集群即集聚程度的概念、幂律的度分布概念。就是通过节点以及连线仿真显示情况。使其可视化,简化问题,解决问题;“绝大多数人认识的网络,可能只是日常上网用的万维网,但网络的概念很大,我们实际就生活在一个极其复杂的网络中。”吴晓群解释说,每一个人可原创 2021-12-23 18:19:03 · 511 阅读 · 0 评论 -
集群,蚁群算法简介
目录集群分布式与集群的区别蚁群算法集群集群通信系统是一种用于集团调度指挥通信的移动通信系统,主要应用在专业移动通信领域。该系统具有的可用信道可为系统的全体用户共用,具有自动选择信道功能,它是共享资源、分担费用、共用信道设备及服务的多用途、高效能的无线调度通信系统。分布式与集群的区别为了让厨师专心炒菜,把菜做到极致,又请了个配菜师负责切菜,备菜,备料,厨师和配菜师的关系是分布式,一个配菜师也忙不过来了,又请了个配菜师,两个配菜师关系是集群;分布式:不同活集群:同一种活..原创 2021-12-10 14:18:19 · 209 阅读 · 0 评论