- 博客(137)
- 收藏
- 关注
RSS订阅原创 大数据集群之HBASE2(3)
hbase.rootdirhdfs://ns1/hbasehbase.cluster.distributedtruehbase.zookeeper.property.clientPort2181hbase.zookeeper.quorumhadoop001,hadoop002,hadoop003hbase.zookeeper.property.dataDir/usr/local/zookeeper/datadfs.datanode.max.transfer.threads4096hbase.masterha
2024-05-01 04:18:58
497
原创 大数据集群之HBASE2(1)
MultiWAL: 如果每个RegionServer只有一个WAL，由于HDFS必须是连续的，导致必须写WAL连续的，然后出现性能问题。MultiWAL可以让RegionServer同时写多个WAL并行的，通过HDFS底层的多管道，最终提升总的吞吐量，但是不会提升单个Region的吞吐量。该值直接影响数据读的性能当然是越大越好，如果写比读少很多，开到0.4-0.5也没问题，如果读写均衡，设置为0.3左右。(img-8FVQDQnJ-1714508230783)]Hbase HA 方式下只需配置端口。
2024-05-01 04:17:54
513
原创 大数据进阶（一）：4个最受欢迎的大数据可视化工具（抛砖引玉篇）_silver bullet 图表工具(5)
以上提到的4种可视化工具只不过是大量在线或独立的数据可视化解决方案和工具中的一部分。每家公司都能够找到最适合他们的工具，并能够使用这些工具帮助他们将输入的原始数据转化为一系列清晰易懂的图像和图表。这些数据犹如埋藏在沙子里的黄金，需借助可视化做的决策帮助它们实现驱动价值的 - -数据可视化工具有助于确定趋势和模式，从而做出有证据支持的决策。既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
2024-05-01 04:16:51
299
原创 大数据进阶（一）：4个最受欢迎的大数据可视化工具（抛砖引玉篇）_silver bullet 图表工具(4)
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
2024-05-01 04:16:20
505
原创 【SSM框架】Mybatis详解06 对象分析、注册别名、设置日志输出_简述resouces,sqlsessionfactory
和我一起复习下去你可以获得一个比较完美框架demo，并且深刻体会框架。坚持到最后的源码解析你会收获更多哦，加油坚持！！！上一篇文章我们从大的方面添加了五个功能,详情看上一篇哦！！！那么今天就继续往下复习，今天会复习到MyBatis对象分析为实体类注册别名设置日志输出剖析得有不到位不全面的地方欢迎下伙伴们评论区不错改正。对于我自己来说是一次系统的复习，我把博客当成复习笔记的同时也希望可以给感兴趣的小伙伴们一些动力和收获。
2024-04-30 09:13:33
671
原创 【SPSS】激素水平项目实战案例(1)
在本项目中，由于统计描述时发现因变量呈现偏态分布，因此分 别采用变量变换、秩变换和Cox模型进行了建模分析。性别、年龄对激素水平未发现有影响，其中后者无论是原始年龄，还是年龄分组均无统计学意义。试验组和对照组之间的激素水平存在差异。性别虽然对激素水平没有影响，但是发现组别和性别的交互性对激素水平有影响。可以做进一步分析。
2024-04-30 09:11:50
532
原创 【Spark深入学习 -14】Spark应用经验与程序调优
机器硬件（如磁盘的选择，SATA盘还是SAS盘，磁盘RAID方式等）、网络（千兆网卡还是万兆网卡，网络峰值期间的带宽、吞吐、网络延迟、网络抖动，很多时候网络问题导致各种莫名问题，举个真实的例子，公司网线被老鼠咬了，导致网络时而可以，时而不行，鬼知道是什么问题，让人抓狂）、操作系统（操作系统的稳定性，内核版本的选择，非常重要，还有一些配置策略得和hadoop生态吻合）。可以看出来，一共有2个stage，1个stage包含8个task，一个包含2个task，先跑8个的，再跑2个的，一个14秒，一个0.1秒。
2024-04-30 09:11:19
676
原创 【Spark】Spark Dataframe 对项目中的数据实现列转行操作_spark的dataset列转行
【代码】【Spark】Spark Dataframe 对项目中的数据实现列转行操作_spark的dataset列转行。
2024-04-30 09:08:15
346
原创 hadoop3分布式基本部署_hadoop3 双namenode 部署
4）4个配置文件，core-site.xml,hdfs-site.xml.mapreduce-site.xml,yarn-site.xml。命令：tar -zxvf /opt/jdk-8u11-linux-x64.tar.gz -C /app。（5）将master中的配置文件/etc/profile和java解压文件传输到slave1,slave2中。可利用cp命令或ssh-copy-id,建议用ssh-copy-id,较为简单。ssh-copy-id命令：ssh-copy-id master。
2024-04-30 00:13:05
388
原创 Hadoop-3(1)
首先进入hadoop所在配置文件目录/usr/local/src/Hadoop-3.3.6/etc/hadoop，在此目录打开终端。hdfs dfs -put words.txt /input/ #把words.txt上传到dfs的input 文件夹中。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。hdfs dfs -mkdir /input #在hdfs上创建文件夹。修改core-site.xml, vim core-site.xml。
2024-04-30 00:10:01
362
原创 Hadoop+Spark大数据技术（微课版）曾国荪、曹洁版思维导图第二章 HDFS大数据分布式存储(2)
【代码】Hadoop+Spark大数据技术（微课版）曾国荪、曹洁版思维导图第二章 HDFS大数据分布式存储(2)
2024-04-30 00:08:58
223
原创 Hadoop+Spark大数据技术（微课版）曾国荪、曹洁版思维导图第二章 HDFS大数据分布式存储(1)
【代码】Hadoop+Spark大数据技术（微课版）曾国荪、曹洁版思维导图第二章 HDFS大数据分布式存储(1)
2024-04-30 00:08:27
245
原创 猿创征文｜风起YuKon（禹贡）-空间数据库结缘数字孪生和实景三维建设_yukon数据库
Geode是一个数据包，由实体对象（ModelElement）组成，通过Geode上的矩阵，可以把相同的实体放置在不同的位置，实现模型数据的实例化存储。华为openGauss数据库也是一直存在一个更新迭代的状态，现在已经发布3.0版本，与旧版本相比，新版本具有轻量化、高性能、高可用、高安全、高智能的特性，对于集群管理能力、异构数据库的兼容能力，分布式能力都进行了极大的增强。YuKon数据库的基础是扩展了PostGIS数据库，因此拥有完整的PostGIS空间函数的支持，并且做了一些函数的扩展。
2024-04-29 04:17:34
695
原创 猿创征文｜我的前端学习之旅【来自一名大四老学长的真情流露】_web开发蓝桥杯拿奖(3)
大家好，我是前端杂货铺，一名来自普通高等院校的普通本科学生（普中普我是2019级的学生，今年21岁，软件工程专业，开学即将成为大四老学长，同样也面临着秋招英语仅过了四级，大三下侥幸获得第十三届蓝桥杯 - web前端开发 - 省二等奖和Java高级开发工程师的证书下面这张图是我的大学，看看有小伙伴知道的嘛，哈哈哈~~
2024-04-29 04:15:52
630
原创 猿创征文｜我的前端学习之旅【来自一名大四老学长的真情流露】_web开发蓝桥杯拿奖(2)
，并持续的学习，针对的练习，做好笔记，时常温习。HTML、CSS、JavaScript，都是看着上面演示的例子，然后自己动手跟着敲。是真的 好用，很多问题都能得到 满意的解答，有时候看完有种 豁然开朗 的感觉。这半年，也是技术提升最快的时间段，因为基础学的差不多，一些高级的东西就好学一点。其实大二的时候就已经接触前端了，那时候是学校安排的课程，学习了。，是学到了东西的，可能仅仅是因为运气不是很好，下次再努力一把。大三上学期，是真正开始学习前端的时间点。，就去百度搜，但看上面怎么说的都有，也是很迷茫。
2024-04-29 04:15:21
484
原创 猿创征文｜我的前端学习之旅【来自一名大四老学长的真情流露】_web开发蓝桥杯拿奖(1)
大家好，我是前端杂货铺，一名来自普通高等院校的普通本科学生（普中普我是2019级的学生，今年21岁，软件工程专业，开学即将成为大四老学长，同样也面临着秋招英语仅过了四级，大三下侥幸获得第十三届蓝桥杯 - web前端开发 - 省二等奖和Java高级开发工程师的证书下面这张图是我的大学，看看有小伙伴知道的嘛，哈哈哈~~
2024-04-29 04:14:51
847
原创 助力工业物联网，工业大数据之ODS层构建：需求分析【八】_工业大数据 标签(3)
：加载Sqoop生成的Avro的Schema文件，实现自动化建表step4：创建ODS层增量表:57张表读取增量表表名获取表的信息：表的注释获取表的文件：HDFS上AVRO文件的地址。
2024-04-28 15:08:05
1002
原创 助力工业物联网，工业大数据之ODS层构建：需求分析【八】_工业大数据 标签(2)
：加载Sqoop生成的Avro的Schema文件，实现自动化建表step4：创建ODS层增量表:57张表读取增量表表名获取表的信息：表的注释获取表的文件：HDFS上AVRO文件的地址。
2024-04-28 15:07:34
983
原创 助力工业物联网，工业大数据之ODS层构建：申明分区代码及测试【十】_ods 工业
问题5：Oracle中的字段类型如果与Hive中的类型不一致怎么办？：将ODS层中的每一张表创建一张对应的DWD层的表。step3：如何自动化实现每个表的分区的申明？：创建DWD层数据库one_make_dwd。：阅读ODS申明分区的代码及实现测试。问题2：表的名称名是什么，怎么获取？step1：为什么要申明分区？：理解ODS层与DWD层的区别。step2：怎么申明分区？问题4：表的字段怎么获取？问题3：表的注释怎么来？
2024-04-28 15:06:31
618
原创 助力工业物联网，工业大数据之ODS层及DWD层建表语法【七】_ods层建表语句
语法面向对象：将所有事物以对象的形式进行编程，万物皆对象：专门用于构造对象的，一般称为Bean，业务：实现人购买商品：专门用于封装一些工具方法的，utils，：专门用于定义一些不会发生改变的变量的类。
2024-04-28 15:06:00
538
原创 【数据科学项目02】：NLP应用之垃圾短信 邮件检测（端到端的项目）_短消息分析 nlp(2)
经过上面分析，我们可以得出结论，垃圾短信文本与非垃圾短信文本相比具有更多的单词和字符。
2024-04-28 09:54:50
549
原创 【数学模型】灰色关联分析
一般的抽象系统,如社会系统、经济系统、农业系统、生态系统、教育系统等都包含有许多种因素，多种因素共同作用的结果决定了该系统的发展态势。人们常常希望知道在众多的因素中，哪些是主要因素，哪些是次要因素;哪些因素对系统发展影响大，哪些因素对系统发展影响小;哪些因素对系统发展起推动作用需强化发展,哪些因素对系统发展起阻碍作用需加以抑制;……这些都是系统分析中人们普遍关心的问题。
2024-04-28 09:51:47
651
原创 【数学模型】层次分析_数学建模层次分析法例题及答案
层次分析法（The Analytic Hierarchy Process即 AHP)是由美国运筹学家、 匹兹堡大学教授T . L. Saaty于20世纪70年代创立的一种系统分析与决策的综合 评价方法，是在充分研究了人类思维过程的基础上提出来的，它较合理地解 决了定性问题定量化的处理过程。AHP的主要特点是通过建立递阶层次结构，把人类的判断转化到若干因 素两两之间重要度的比较上，从而把难于量化的定性判断转化为可操作的重 要度的比较上面。
2024-04-28 09:51:16
888
原创 【数学模型】层次分析_数学建模层次分析法例题及答案(1)
层次分析法（The Analytic Hierarchy Process即 AHP)是由美国运筹学家、 匹兹堡大学教授T . L. Saaty于20世纪70年代创立的一种系统分析与决策的综合 评价方法，是在充分研究了人类思维过程的基础上提出来的，它较合理地解 决了定性问题定量化的处理过程。AHP的主要特点是通过建立递阶层次结构，把人类的判断转化到若干因 素两两之间重要度的比较上，从而把难于量化的定性判断转化为可操作的重 要度的比较上面。
2024-04-28 09:50:45
803
原创 HTML学习记录_学习html的网志
7. 行高（line-height）指的是第一行文字的底部到第二行文字的底部，行距指的是第一行文字的底部到第二行文字的上部分行高指的是第一行文字的底部到第二行文字的底部，行距指的是第一行文字的底部到第二行文字的上部分。做出的网页的字体，如果对方电脑没有的话，对方电脑会从他机器上找一种默认字体来显示出来，我们可以给自己的网页设置N多字体，如果对方电脑没有这种字体的话，让网页按照顺序来下一种、下下一种字体。文字装饰线是删除线，虚线，红色线条。固定定义，是根据浏览器窗口定位，会脱离文档流，如果初始化top:0;
2024-04-28 00:18:26
644
原创 HTML学习记录_学习html的网志(1)
7. 行高（line-height）指的是第一行文字的底部到第二行文字的底部，行距指的是第一行文字的底部到第二行文字的上部分行高指的是第一行文字的底部到第二行文字的底部，行距指的是第一行文字的底部到第二行文字的上部分。做出的网页的字体，如果对方电脑没有的话，对方电脑会从他机器上找一种默认字体来显示出来，我们可以给自己的网页设置N多字体，如果对方电脑没有这种字体的话，让网页按照顺序来下一种、下下一种字体。展示的图片右键点了什么反应都没有 img是展示给人看的，而background是样式，是用来装饰的。
2024-04-28 00:17:55
752
原创 HTML入门零基础教程（二）_headbody是父子关系(1)
常见的网站建设工具有Sublime、Visual Studio Code、webstorm、Dreamweaver、Hbuilder等，其实都大差不差，只要你会运用都是可以的。可以用Dreamweaver我前面发的文章有讲,也可以用现在大家经常用的Visual Studio Code。1.Visual Studio Code的下载及安装（1）下载去这里，根据你电脑的系统，选择版本进行下载。（2）下载好之后，进行一系列的安装，如下图所示：（a）首先选择我同意此协议。
2024-04-28 00:16:52
739
原创 HTML入门零基础教程（三）_heml每一项内容都需要分段显示1
白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！标签用于定义段落，它可以将整个网页分为若干个段落。
2024-04-28 00:16:21
731
原创 大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day19】——Spark6_cache后面能不能接其他算子,它是不是action操作
RDD和它依赖的parent RDD(s)的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency） 1）窄依赖指的是每一个parent RDD的Partition最多被子RDD的一个Partition使用 2）宽依赖指的是多个子RDD的Partition会依赖同一个parent RDD的Partition既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
2024-04-27 11:59:57
575
原创 凯哥带你从零学大数据系列之Java篇---第二十二章 Lambda表达式_千锋教育lambda表达式资料
如果在lambda表达式中需要处理的逻辑比较复杂， 一般情况会单独的写一个方法。或者， 在有些情况下， 我们需要在lambda表达式中实现的逻辑， 在另外一个地方已经写好了。当实现的接口中的方法过多或者多少的时候， lambda表达式都是不适用的。在上述代码中， 的确可以使用lambda表达式实现接口， 但是依然不够简洁， 有简化的空间。方法的实现部分， 如果接口中定义的方法有返回值， 则在实现的时候， 注意返回值的返回。： 方法的参数列表， 要求和实现的接口中的方法参数部分一致， 包括参数的数量和类型。
2024-04-27 10:02:14
648
原创 【数据结构与算法】之动态规划经典问题_动态规划问题(1)
0n0−1n0minfn−coin1n0在此过程中，我们确实会出现很多的重复子问题计算，我们需要使用一个memo备忘录进行记录。
2024-04-27 07:58:47
697
原创 【JavaScript 进阶教程】面向对象_js进阶面向对象(1)
constructor 是类的默认构造函数，用于传参并返回给实例对象，在使用new生成实例对象时自动调用该方法，如果没有在类中明确写出该方法，则系统也会默认创建一个该方法。在 Java Script 中，万物皆为对象，对象是一组相关属性和方法的集合，一个字符串，一个数组…面向对象三大特点：封装，继承，多态，这里我们讲解继承，继承顾名思义，就是一个子类可以调用父类中的内容。类是ES6中新增的概念，可以使用class声明类，再用该类实例化对象。例如我们要调用父类的加法函数，但是在子类实例化传参。
2024-04-27 06:02:03
508
3
原创 RocketMQ与Kafka架构深度对比_kafka与rocketmq多方面剖析
通过对RocketMQ与Kafka在架构设计、组件构成、数据流向、扩展性、容错性和一致性等方面的深入对比分析，我们可以发现这两款消息中间件各有千秋。RocketMQ更适合需要丰富队列语义和灵活消费模式的场景；而Kafka则更适合强调数据顺序性、持久性和高吞吐量的日志处理场景。在实际应用中，我们需要根据具体业务需求和系统特点进行选择和配置。随着分布式系统的不断发展，消息中间件的作用将越来越重要。
2024-04-27 04:20:55
548
原创 Java常见数据结构详解_java 结构 化数据 解析
Vector 主要用在事先不知道数组的大小，或者只是需要一个可以改变大小的数组的情况。Vector 类支持 4 种构造方法。Vector()第二种构造方法创建指定大小的向量。第三种构造方法创建指定大小的向量，并且增量用 incr 指定。增量表示向量每次增加的元素数目。
2024-04-27 02:15:03
934
原创 c语言进阶篇：文件操作(带你全面学习文件操作)_如何学习c语言文件
FILE* pf;//文件指针变量filename,//文件名mode//文件的打开方式int main()//fopen函数如果以写的形式打开，如果文件不存在会创建一个文件，如果文件存在，会清空文件的内容，如果是已读的方式打开，文件不存在的话会打开失败，返回空指针if (pf == NULL)//如果打开文件失败会返回空指针return 1;//写文件//关闭文件fclose(pf);pf = NULL;return 0;int main()
2024-04-27 00:25:30
863
原创 鸿蒙OS应用开发之——真机运行，阿里p8面经
(img-EDKJX6kf-1713658216903)](img-Gu3b9zWv-1713658216903)](img-r0LrBzGf-1713658216904)](img-HUPbNIIs-1713658216907)](img-UJ0UqTnh-1713658216907)](img-vzcxKzP5-1713658216907)]| 4 | Sign Alg | 自动生成，无需配置 || 1 | Store File | .p12文件 || 编号 | 标签项 | 取值 |
2024-04-21 08:10:27
693
原创 鸿蒙OS应用开发之——环境搭建(1)，阿里面试100%会问到的JVM
Project Structure—>SDK Location，修改HarmonyOS SDK和Nodejs的位置。File—Settings—>Appearance&Behavior—Apperance—>Theme设置主题。File—>Settings—>Editor—>File Encodings，设置编码格式为(UTF-8)Node.js：应用于开发JS应用和运行预览器功能(版本>=12.0.0)作为鸿蒙OS应用开发的初学者，本篇介绍开发工具的安装与配置。三 软件的下载与安装。
2024-04-21 08:08:53
874
原创 鸿蒙OS应用开发之——Log日志打印(1)，2024年最新面试怎么称呼面试官
debug | label | 输出Log内容 | 可空 || error | label | 输出Log内容 | 可空 || fatal | label | 输出Log内容 | 可空 || info | label | 输出Log内容 | 可空 || warn | label | 输出Log内容 | 可空 || 方法 | 参数一 | 参数二 | 参数三(可变参数) || type | 输出日志类型(见type表) || 参数类型 | 说明 || type | 值 |pubilic的位置。
2024-04-21 08:07:19
538
原创 鸿蒙OS-应用开发基础知识点学习-增强自身内功(1)，2024年最新HarmonyOS鸿蒙界面开发Python
FA/PA是应用的基本组成单元，能够实现特定的业务功能。HAP包的配置信息，包含每个Ability必须定义的基本属性（如包名、类名、类型以及Ability提供的能力），以及应用访问系统或其他应用受保护部分所需的权限等。配置文件 (config.json) 是应用的Ability信息，用于声明应用的Ability，以及应用所需权限等信息，详见。描述应用软件包中每个HAP的属性，由IDE编译生成，应用市场根据该文件进行拆包和HAP的分类存储。应用的全局配置信息，包含应用的包名、生产厂商、版本号等基本信息。
2024-04-21 08:06:16
679
原创 鸿蒙Harmony开发，对于Android开发来说，究竟是福是祸？(1)
（**ArkTS、ArkUI开发组件、Stage模型、多端部署、分布式应用开发、音频、视频、WebGL、OpenHarmony****多媒体技术、Napi组件、OpenHarmony内核、Harmony南向开发、鸿蒙项目实战等等）鸿蒙（Harmony NEXT）**技术知识点。鸿蒙生态设备的规模在飞速扩张，懂鸿蒙开发的工程师可能会成为所有厂家的香饽饽。在行业日渐紧缩的情况下，对所有想要寻求新发展的工程师来说都是非常重大的利好，完全可以称得上是新的风口。完全不需要去记忆，在需要使用到的时候去官网查一下就行。
2024-04-21 08:04:42
252
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人