- 博客(135)
- 收藏
- 关注
RSS订阅原创 大数据相关介绍
10、资源管理器的简单介绍（YARN和mesos）随着互联网的高速发展，基于数据 密集型应用 的计算框架不断出现，从支持离线处理的mapreduce，到支持在线处理的storm，从迭代式计算框架到 流式处理框架s4，…hbase是一个针对结构化数据的可伸缩，高可靠，高性能，分布式和面向列的动态模式数据库。其中，键由行关键字，列关键字和时间戳构成，hbase提供了对大规模数据的随机，实时读写访问，同时，hbase中保存的数据可以使用mapreduce来处理，它将数据存储和并行计算完美结合在一起。
2024-05-01 03:59:00
427
原创 大数据物流项目中CM的安装与运用_cm大数据服务器启动
提供虚拟机【】解压后，导入VMWare 软件中，启动虚拟机即可（选择我已移动该虚拟机）4GB6GB8GB1）、CM安装CDH集群时，架构属于主从分布式架构（Master/Slaves）此时大数据集群机器，被CM管理，监控到基本信息（磁盘IO、网络IO和CPU与内存使用等等)2）、Cloudera 将所有大数据框架放在某个目录，打成包：parcel3）、CMServer服务，将parcel包，分发给所有大数据集群机器：Cloudera Agent下图表示使用CM安装CDH架构原理图，多多理解。
2024-05-01 03:58:29
653
原创 大数据深度学习长短时记忆网络（LSTM）：从理论到PyTorch实战演示(1)
LSTM的逻辑结构通过其独特的门控机制为处理具有复杂依赖关系的序列数据提供了强大的手段。其对信息流的精细控制和长期记忆的能力使其成为许多序列建模任务的理想选择。了解LSTM的这些逻辑概念有助于更好地理解其工作原理，并有效地将其应用于实际问题。
2024-05-01 03:57:25
597
原创 大数据测试：构建Hadoop和Spark分布式HA运行环境！(2)
通过正确配置HA、 测试故障转移、监控集群健康状况和确保数据一致性，您可以提高系统的可用性和稳定性。在大数据 领域，HA环境不仅仅是一种最佳实践，而且是确保数据分析任务能够持。
2024-05-01 03:56:19
413
原创 【Redis五大数据类型的应用场景】
因为string类型是二进制安全的，可以用来存放图片，视频等内容，另外由于Redis的高性能读写功能，而string类型的value也可以是数字，可以用作计数器（INCR,DECR），比如分布式环境中统计系统的在线人数，秒杀等。另外就是利用交集、并集、差集等操作，可以计算共同喜好，全部的喜好，自己独有的喜好等功能。以上就是今天要讲的内容，还希望各位读者大大能够在评论区积极参与讨论，给文章提出一些宝贵的意见或者建议📝，合理的内容，我会采纳更新博文，重新分享给大家。
2024-04-30 08:52:44
583
原创 【React】vite + react 项目，进行配置 eslint_vite react eslint
no-inner-declarations’: [2, ‘functions’], //禁止在块语句中使用声明（变量或函数）‘no-multiple-empty-lines’: [1, { ‘max’: 2 }], //空行最多不能超过2行。‘array-bracket-spacing’: [2, ‘never’], //是否允许非空数组里面有多余的空格。‘no-dupe-keys’: 2, //在创建对象字面量时不允许键重复 {a:1,a:1}
2024-04-30 08:52:13
753
原创 【Qt】桌面应用开发教程——布局 按钮组 容器 常用控件 消息事件机制_qt 如何按钮切换容器
在搭建Qt窗口界面的时候，在一个项目中很多窗口，或者是窗口中的某个模块会被经常性的重复使用。一般遇到这种情况我们都会将这个窗口或者模块拿出来做成一个独立的窗口类，以备以后重复使用。在使用Qt的ui文件搭建界面的时候，工具栏栏中只为我们提供了标准的窗口控件，如果我们想使用自定义控件怎么办？例如：我们从QWidget派生出一个类SmallWidget，实现了一个自定窗口，Q_OBJECTpublic:signals:private:// 创建布局对象// 将控件添加到布局中。
2024-04-30 08:51:11
827
原创 【Python零基础快速入门系列 10】类的设计哲学：自然法则的具现
desc = “自定义类” # 类的属性，所有对象共有self.id = id # 实例属性self.name = name # 实例属性self.price = price # 实例属性d1 = dish(1, “青椒肉丝”, 22.9)d2 = dish(2, “新疆大盘鸡”, 89.9)menu = []1 青椒肉丝 22.92 新疆大盘鸡 89.9desc = “菜品销售信息”
2024-04-30 08:50:39
736
原创 Git是一个分布式版本控制系统 一(1)
Git广泛应用于软件开发领域，许多知名的开源项目和商业项目都使用Git进行版本控制。无论是个人开发者还是团队，Git都是一个强大而灵活的工具，可以帮助管理和协作开发代码。Git是一个分布式版本控制系统，用于跟踪和管理代码的变化。它最初由Linus Torvalds于2005年创建，并成为开源社区中最流行的版本控制系统之一。事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！现在已经成功地下载和安装了Git。
2024-04-29 23:47:54
597
原创 git操作 (基础部分)_修改并运行代码后,需要删除一些运行文件再提交git 的git commit命吗
Git 的四个工作区域Remote：远程仓库Repository：本地仓库index：暂存区workspace：工作区一、工作区即进行开发改动的地方，是当前看到的，内容也是最新的，平常开发就是拷贝远程仓库中的分支，基于该分支进行开发，在开发的过程就是在工作区的操作。二、暂存区暂存区标记了当前工作区中那些内容是被 git 管理的，当完成某个需求或者功能后需要提交代码，第一步就是通过 git add 先提交到暂存区三、本地仓库。
2024-04-29 23:47:23
386
原创 Git命令：自用整理(仅供参考)
git statusgit commit -m “提交信息”git reset HEAD~3 #重置3个本地提交git pushgit loggit log --oneline #查看简洁版提交信息git diff #比较工作区和暂存区文件的差异（默认）git diff HEAD #比较工作区和版本库文件的差异。
2024-04-29 23:44:30
147
原创 牛客刷题——剑指offer(第6期）_剑指offerc语言&；&；牛客
/每次循环一次都需要把sum赋值为零。//每次出现最大值保存下来。//求从i到j的数值和。
2024-04-29 03:54:20
206
原创 源码解析 Handler 面试宝典_handler mhandler = new handler() publish(logrecord
【代码】源码解析 Handler 面试宝典_handler mhandler = new handler() publish(logrecord。
2024-04-29 03:52:38
235
1
原创 深度学习（五）—— 卷积神经网络（CNN
计算方法如下：当输入有多个通道（channel）时（例如图片可以有 RGB 三个通道），卷积核需要拥有相同的channel数，每个卷积核 channel 与输入层的对应 channel 进行卷积，将每个 channel 的卷积结果按位相加得到最终的 Feature Map。卷积层是卷积神经网络中的核心模块，卷积层的目的是提取输入特征图的特征，如下图所示，卷积核可以提取图像中的边缘信息。卷积神经网络的输入要求是：N H W C ，分别是图片数量，图片高度，图片宽度和图片的通道，因为是灰度图，通道为1。
2024-04-29 03:52:07
260
原创 分布式架构在商城项目中的应用_分布式架构商城项目
bean模块报错是因为其中引用了通用mapper，所以我们把通用mapper的依赖提取出来放到bean模块后面，变成如下结构。但是为了让用户更好的管理监控众多的dubbo服务，官方提供了一个可视化的监控程序，不过这个监控即使不装也不影响使用。可以让所有的模块都继承这个parent模块，由这个parent模块来管理版本。同时接口类种的方法也引用了很多的实体bean, 那么同样的实体bean的类我们也统一管理起来。由于依赖包分布于多个模块中，最好有一个地方能够把所有依赖的版本通用管理起来。
2024-04-28 14:49:49
947
1
原创 分享 双十一 Kafka+Flink+Redis 的电商大屏实时计算案例_redis 实现实时双十一大屏
这里有个问题：一秒内有数据变化的站点并不多，而ContinuousProcessingTimeTrigger每次触发都会输出窗口里全部的聚合数据，这样做了很多无用功，并且还会增大Redis的压力。由于数据源是以子订单为单位的，因此如果站点ID在MapState中没有缓存，或者缓存的子订单数与当前子订单数不一致，表示结果有更新，这样的数据才允许输出。我们可以直接复用前面产生的orderStream，玩法与上面的GMV统计大同小异。聚合函数与窗口函数的实现更加简单了，最终返回的是商品ID与商品销量的二元组。
2024-04-28 14:48:44
193
原创 凯哥带你从零学大数据系列之Java篇---第十章 包装类和常用类(1)
例如整数， long是最大的表示范围， 但是即便是long型， 也有它表示不了的情况。其实， 随机数的产生， 是有一个固定的随机数算法的。但是由于算法是固定的， 因此会有一个“BUG”： 如果随机数的种子相同， 则生成的随机数列也完全相同。是一个数学类， 这个类中封装了很多用来做数学计算的方法。这个类中有很多封装好的数学公式， 而且， 都是静态方法， 方便调用。如果字符串中的时间格式， 和对象实例化的时候给定的格式不同， 此时会出现异常。使用这个方法， 获取字符串中的指定下标位的字符。
2024-04-28 14:47:41
536
原创 凯哥带你从零学大数据系列之Java篇---第十八章 集合(Set)
如果某一个类实现这个接口， 表示自己实现了一个可以和自己的对象进行大小比较的规则。TreeSet是一个Set接口的实现类，底层实现是二叉树。这样的集合，会对添加进集合的元素进行去重的处理。同时， 这个集合会对添加进入的元素进行自动的升序排序。比如下图哈希表中，12%16=12,28%16=12,108%16=12,140%16=12。Set接口中的方法， 都是从Collection接口中继承下来的， 并没有添加新的方法。Set集合的两个实现类HashSet与LinkedHashSet，底层实现都是哈希表。
2024-04-28 14:47:10
291
原创 【开发随记】【提效】工作习惯那些事系列之四—
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取需要这份系统化资料的朋友，可以戳这里获取
2024-04-28 09:33:53
317
原创 【开卷数据结构 】多项式的链表表示_用链表表示多项式
如果这两项的指数相同，那么把它们的系数相加，并生成一个新的结果项，然后移动这两个指针，分别指向多项式 a 和 b 的下一个结点。如果 a 的当前项指数小于 b 的当前项指数，那么生成 b 的副本项，加入到结果 d 中，并移动指针指向 b 的下一项。每次生成一个新结点，设置它的 coef 域和 expon 域，并将它添加到 d 的尾部，为了避免每次加入新结点时都搜索 d 的最后结点，使用函数 rear 指向 d 中最后的结点。**第三步：**a−>expon>b−>expon。
2024-04-28 09:32:09
872
原创 【开卷数据结构 】图的遍历，广搜和深搜（基础）_图的任意一点进行广搜
*A：**图的遍历是指从图的某一顶点出发，按照某种搜索方式沿着图中的边对图中的所有结点访问一次且仅访问一次。因为图的任一顶点都可能和其余的顶点相邻接，所以在访问某个顶点后，可能沿着某条路径搜索又回到该项点上。为避免同一顶点被访问多次，在遍历图的过程中，必须记下每个已访问过的顶点，为此可以设一个辅助数组 visited[] 来标记顶点是否被访问过。图的遍历算法主要有两种：广度优先搜索和深度优先搜索。
2024-04-28 09:31:05
566
原创 【开卷数据结构 】图的五大存储方式_图的存储
jlink 指向下一条依附于顶点 jvex 的边，info 为指向和边相关的各种信息的指针域。**A：**在邻接多重表中，所有依附于同一顶点的边串联在同一链表中，由于每条边依附于两个顶点，因此每个边结点同时链接在两个链表中。在邻接表中，容易求得顶点和边的各种信息，但在邻接表中求两个顶点之间是否存在边而对边执行删除等操作时，需要分别在两个顶点的边表中遍历，效率较低。当一个图为稀疏图时，使用邻接矩阵法显然要浪费大量的存储空间，图的邻接表法结合了序存储和链式存储方法，可以大大减少这种不必要的浪费。
2024-04-28 09:28:40
800
原创 hadoop安装（第二步）(1)
系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**注意：安装 JDK 前，一定确保提前删除了虚拟机自带的 JDK。
2024-04-27 23:58:22
437
原创 Hadoop安装部署手册_hadoop部署手册
配置时需要修改“/data/hadoop/etc/hadoop”目录下的配置文件，其中HDFS涉及到的配置文件包括workers、core-site.xml、hdfs-site.xml，Yarn涉及到的配置文件包括yarn-site.xml， mapReduce 涉及到的配置文件包括mapred-site.xml、。7、解压hadoop-3.3.4.tar.gz安装包至/data/，并重命名为hadoop目录，实际部署目录是/data/hadoop/3.hdfs-site.xml文件。
2024-04-27 23:57:51
375
原创 Hadoop安装部署手册_hadoop部署手册(2)
关闭selinux关闭防火墙#systemctl stop firewalld &&systemctl disable firewalldyum install jdk -y#tar zxvf hadoop-3.3.4.tar.gz -C /data/#mv /data/hadoop-3.3.4 /data/hadoopexport HADOOP_HOME=/data/hadoop/export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.3
2024-04-27 23:57:21
460
原创 大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day14】——Spark1_月累计算每日数据(1)
join其实常见的就分为两类： map-side join 和 reduce-side join。当大表和小表join时，用map-side join能显著提高效率。将多份数据进行关联是数据处理过程中非常普遍的用法，不过在分布式计算系统中，这个问题往往会变的非常麻烦，因为框架提供的 join 操作一般会将所有数据根据 key 发送到所有的 reduce 分区中去，也就是shuffle 的过程。造成大量的网络以及磁盘IO消耗，运行效率极其低下，这个过程一般被称为 reduce-side-join。
2024-04-27 11:56:16
1002
原创 全国职业院校技能大赛-大数据 离线数据处理模块-指标计算_国赛离线数据处理指标计算
avg(湿度) over(partition by env_date_month) machine_avg – 单设备平均值。factory_avg varchar(50), – 厂内所有设备平均值。env_date_month varchar(50), – ‘检测月份’env_date_year varchar(50), – ‘检测年份’env_date_month, – ‘检测月份’env_date_year, – ‘检测年份’base_id, – 检测设备id。– 一个根据设备id进行分组。
2024-04-27 09:56:43
603
原创 【数据结构】我家三岁表弟都明白的栈和队列，你不会不了解吧？
栈是一种操作受限的线性表，可以使用数组或者链表实现，相对而言数组的结构实现更优一些。因为数组在尾上插入数据的代价比较小。采用顺序存储的栈称为顺序栈，它利用一组地址连续的存储单元（数组）存放自栈底到栈顶的数据元素，同时附设一个指针（top）指示当前栈顶元素的位置。
2024-04-27 07:55:08
224
原创 【HTML实战】把爱心代码放在自己的网站上是一种什么体验？_心形代码网站
后面有时间的话我会将各式各样的爱心代码更新在这个仓库里，如果大家感兴趣的话就来和我一起创造爱心吧~😍。哦，一起来开发更多好看的样式或者动态效果吧！今天周末了，大家都要好好吃饭，好好睡觉哦！
2024-04-27 05:59:39
87
原创 Redis五大数据类型与使用场景汇总！！（含完整实战案例，建议收藏）_redis的不同数据类型的使用场景和案例
System.out.println(“增加多个键值对：”+jedis.mset(“key01”,“value01”,“key02”,“value02”,“key03”,“value03”));System.out.println(“将key6保存的值加上一个整数，如果key6不存在则添加key6：”+jedis.hincrBy(“hash”, “key6”, 6));System.out.println(“散列hash的所有键值对为：”+jedis.hgetAll(“hash”));
2024-04-27 04:14:12
885
原创 Java基础（八） 常用API与StringBuilder详解
StringBuilder 是一个可变的字符串类，我们可以把它看成是一个容器，这里的可变指的是 StringBuilder 对象中的内容是可变的。
2024-04-27 02:11:24
666
原创 C语言字符函数和字符串函数及内存函数详解（干货小知识：常用函数的模拟实现）
下面这种写法是有问题的，因为int型是4个字节构成一个元素，而memset函数是以字节为单位进行设置的，所以如果要设置1，是把每个字节都设置为1。perror函数打印完参数部分的字符串后，还会再打印一个冒号和一个空格，然后再打印错误信息。(img-k6eAARox-1714148347381)](img-KnW2yHwz-1714148347382)]函数的功能：从suc中拷贝num个字节到目前des中。void* dest ：表示指向目标区域的指针。函数称为长度不受限的字符串函数（不安全）.
2024-04-27 00:19:25
901
原创 鸿蒙HarmonyOS小项目开发实战（上）_鸿蒙前后端项目(1)
用户在移动端答题完成后将所有已选择题目的性格指标拼接成一个指标字符串提交给后端，后端通过遍历这个字符串，找出各个指标的数量，对应四个性格组别**“E-I”、“S-N”、“T-F”query.addCriteria(Criteria.where(“ansCode”).is(res.toString()));//从字典表中获取性格结果信息。@Field(“sequence_number”)//对应mongo中的字段，如果不对应，需要进行标注。jsonObject.put(“msg”, “更新成功~”);
2024-04-21 06:41:09
693
原创 鸿蒙HarmonyOS实战-窗口管理_鸿蒙nativewindow 获取窗口
窗口模块是在同一块物理屏幕上提供多个应用界面显示和交互的机制。对应用开发者而言，窗口模块是一个重要的工具，它允许他们创建具有界面的应用程序，并提供了界面显示和交互的能力。通过窗口模块，开发者可以方便地管理窗口的创建、展示和关闭，并可以对窗口进行调整和布局，以满足用户的需求。而对终端用户而言，窗口模块提供了一种控制应用界面的方式。用户可以通过窗口模块来切换和控制不同应用程序的窗口，使得他们能够同时在屏幕上显示多个应用界面，并能够在这些界面之间进行交互和操作。
2024-04-21 06:40:38
916
原创 鸿蒙HarmonyOS实战-工具安装和Helloworld案例_安装鸿蒙包管理器
具体如果有错误官方文档有更详细说明：https://developer.harmonyos.com/cn/docs/documentation/doc-guides-V3/environment_config-0000001052902427-V3#section551917522319。选择要安装的Node.js和Ohpm位置，其中ohpm是Open Harmony Package Management的缩写，也就是类似npm的包管理工具。设备可以是远端设备，也可以是本地设备，我们以本地设备为例。
2024-04-21 06:39:35
881
原创 鸿蒙HarmonyOS实战-Web组件（基本使用和属性）_harmonyos web交互(1)
对于某个网站进行位置权限管理的过程中，开发者可以通过onGeolocationShow()接口来向用户请求位置权限。该接口会触发一个位置权限请求对话框，用户可以选择是否授权该网站获取设备的位置信息。当网页请求在新窗口中打开时，应用将收到Web组件的新窗口事件，可以通过onWindowNew()接口来处理此事件。如果权限被授予，前端页面将能够获取设备的位置信息。在进行位置权限请求之前，开发者需要在应用的配置文件中添加ohos.permission.LOCATION权限，以确保应用有权限获取设备的位置信息。
2024-04-21 06:37:29
873
原创 鸿蒙HarmonyOS实战-UIAbility页面跳转_鸿蒙os开发uiabillty之间的跳转
android.settings.INPUT_METHOD_SUBTYPE_SETTINGS 【API 11及以上】 // 跳转 语言选择界面 【多国语言选择】android.settings.NFC_SETTINGS 显示NFC设置。android.settings.MANAGE_ALL_APPLICATIONS_SETTINGS 跳转到应用程序界面【所有的】android.settings.INTERNAL_STORAGE_SETTINGS 跳转存储设置界面【内部存储】
2024-04-21 06:36:26
514
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人