![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
程序员
文章平均质量分 88
普通网友
这个作者很懒,什么都没留下…
展开
-
大数据最全Hadoop安装和使用详解,2024年最新大厂面试必问
该命令创建了可以登陆的"hadoophadoophadoop"用户,然后可以为其设置密码。同时我们还可以为hadoophadoophadoop用户增加管理员权限,方便部署,在学习过程中可以解决一些比较复杂棘手的权限问题。最后注销当前用户,返回登录界面,选择刚才创建的hadoophadoophadoop用户进行登录。原创 2024-05-15 12:21:14 · 359 阅读 · 0 评论 -
大数据最全Hadoop大数据集群搭建(超详细)_hadoop集群搭建,武汉软通动力大数据开发面试
(注:这是CentOS7的修改方法,CentOS6修改/etc/sysconfig/network)原创 2024-05-15 12:20:38 · 266 阅读 · 0 评论 -
大数据最全hadoop中的distcp命令原理及应用_distcp命令详解(1),熬夜整理小米大数据开发面试题
总结起来,distcp命令是Hadoop中用于复制数据的工具,可以在不同的Hadoop集群之间、不同的Hadoop文件系统之间、甚至本地文件系统和Hadoop文件系统之间进行数据复制。以下是一个使用distcp命令的例子: 假设我们有两个Hadoop集群:源集群和目标集群,并且我们要将源集群上的/user/source_data目录中的数据复制到目标集群的/user/target_data目录中。-m 200表示200个并发核,可根据实际数据量更改,几个T的数据,200核大约需要10几到半个小时左右。原创 2024-05-15 12:20:01 · 363 阅读 · 0 评论 -
大数据最全hadoop-3(3),2024年最新大厂必备
2.1 首先需要JDK1.8的环境 (搭建参考地址)原创 2024-05-15 12:19:25 · 377 阅读 · 0 评论 -
【数据结构 C语言版】第七篇 堆_typedef int hpdatatype; typedef struct heap { int
小堆:根节点最小。原创 2024-05-15 03:42:29 · 802 阅读 · 0 评论 -
【数据结构 C语言版】第七篇 堆_typedef int hpdatatype; typedef struct heap { int (4)
因为本文建的是小堆,所以如果孩子小于双亲,那么就交换(小堆:parent>child)。终止位置:走到a[child]>a[parent]的时候,或者Child>=n。注意:有的教材第0位不存数字,也就是从1开始。但是本文的堆数组是从0开始的。最后:走到a[child]>a[parent]的时候,或者childchild一直存在,那么就一直执行下去,如果Child原创 2024-05-15 03:41:53 · 824 阅读 · 0 评论 -
【数据结构 C语言版】第七篇 堆_typedef int hpdatatype; typedef struct heap { int (3)
(img-aXS5SIBc-1715715655032)](img-OynPNeGb-1715715655032)](img-cLp03ofo-1715715655032)]//可以默认最小的孩子(左右孩子中)是左孩子。//如果右孩子更小,就更新minChild。//这里的代码是建小堆。//如果空间不够就扩容。原创 2024-05-15 03:41:17 · 575 阅读 · 0 评论 -
【数据结构 C语言版】第七篇 堆_typedef int hpdatatype; typedef struct heap { int (2)
(img-QRSvLy6c-1715715619073)](img-RpotsN1C-1715715619074)](img-wgueToTI-1715715619074)]//可以默认最小的孩子(左右孩子中)是左孩子。//如果右孩子更小,就更新minChild。//这里的代码是建小堆。//如果空间不够就扩容。原创 2024-05-15 03:40:41 · 953 阅读 · 0 评论 -
Python入门篇--变量与数据类型_尝试使用任意字符,加上对空白的合理使用,绘制一个爱心的形状。可以是 实心的,也可(1)
本学期开了一门Python课程,跟着博主一起从0开始学Python字符串就是一系列字符的集合。原创 2024-05-14 18:21:00 · 733 阅读 · 0 评论 -
python入门基础_在python中,常量的值保持不变,变量的值可以发生变化,以下程序执行的结果是
Python语法和动态类型,以及解释型语言的本质,使它成为多数平台上写脚本和快速开发应用的编程语言,随着版本的不断更新和语言新功能的添加,逐渐被用于独立的、大型项目的开发。不,是不推荐的,比如你下面写的代码没有执行成功,不是还要重新写吗,所以说用到了多行注释,把不用的都注释了,因为注释语句不执行嘛,需要的时候撤销多行注释就可以了。然而,在过去的12年中,在对近225个团体组织和3000名学生的Python培训过程中,作者发现这个问题的答案具有一些共性。我们写的程序里,不光有代码,还有有很多注释。原创 2024-05-14 18:20:24 · 644 阅读 · 0 评论 -
python入门基础_在python中,常量的值保持不变,变量的值可以发生变化,以下程序执行的结果是(1)
相对于C、C++和Java等编译/静态类型语言,Python的开发者效率提高了数倍Python代码的大小往往只有C++或Java代码的1/s~1/3.这就意味着可以录入更少的 代码、调试更少的代码并在开发完成之后维护更少的代码。多行注释的作用,比如说你在写程序开发的时候,突然来了灵感,但是你上面打的代码要都消除吗?不,是不推荐的,比如你下面写的代码没有执行成功,不是还要重新写吗,所以说用到了多行注释,把不用的都注释了,因为注释语句不执行嘛,需要的时候撤销多行注释就可以了。(快捷键CTRL+/)原创 2024-05-14 18:19:48 · 954 阅读 · 0 评论 -
Python入门到进阶好书推荐看这篇就够了_荐书python变成 从入门(3)
本书以Python 3.5为编程环境,从基本的程序设计思想入手,逐步展开Python语言教学,本书实践性很强,是想要写Python项目练手的人的不二之选,至于有哪些项目你们可以自行看PDF版本的目录,这里我就不一一列举了【太懒了.jpg。笨办法学Python有很多的版本,我分享的是第二和第四版,这本书就是一本实践书,通过多书中大量例题的训练,我相信你的代码运用熟练度一定能够得到质的飞跃。算法是计算机处理信息的本质,对于算法而言,实现的语言并不重要,重要的是思想。看这本书的书名就知道,这是一本别人写的笔记,原创 2024-05-14 18:19:11 · 785 阅读 · 0 评论 -
2024年最新Python大数据之Python基础【七】参数_不定长参数看平方和
’’关键字不定长参数的格式:def 函数名(**kwargs):函数体‘’’原创 2024-05-14 09:42:18 · 231 阅读 · 0 评论 -
2024年最新Python大数据之Python基础【七】参数_不定长参数看平方和(1)
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新需要这份系统化资料的朋友,可以戳这里获取def func(**kwargs):# kwargs 在从传参之后,会将实参位置的所有未定义参数的关键字参数转换为字典的键值对,保存在kwargs当中print(kwargs) # {‘a’: 1, ‘b’:原创 2024-05-14 09:41:42 · 404 阅读 · 0 评论 -
2024年最新Python大数据之Python基础【一】介绍_大数据数学基础(python语言描述)
’’Python)abc 不能_abc 可以anc______ 可以123abc _____ 不可以and 不可以ABC 可以anc 可以‘’’### 5、标识符的命名规范* 见名知意* 类名使用大驼峰命名法* 变量名,函数名,包名,模块名使用下划线命名法### 7、Python中的数据类型* int 整型* float 浮点型* bool 布尔型* str 字符型 字符串* list 列表* tuple 元组* set 集合* dict 字典。原创 2024-05-14 09:41:06 · 404 阅读 · 0 评论 -
2024年最新Python大数据为啥一定要用Numpy Array,2024大数据开发者真的太难了
那么List和Numpy Array到底有什么区别?为什么我们需要在大数据处理的时候使用Numpy Array?答案是性能。Numpy数据结构在以下方面表现更好:1.内存大小—Numpy数据结构占用的内存更小。2.性能—Numpy底层是用C语言实现的,比列表更快。3.运算方法—内置优化了代数运算等方法。下面分别讲解在大数据处理时,Numpy数组相对于List的优势。原创 2024-05-14 09:40:29 · 213 阅读 · 0 评论 -
2024年大数据最新大数据入门-五分钟读懂Hive(1),2024年最新【高级大数据开发架构师系统学习
大数据入门系列文章=========")")一、概念====Hive是基于Hadoop的一个数据仓库工具,用来进行数据抽取,转化,加载,这是一种可以存储,查询和分析存储在Hadoop中的大规模数据的机制。Hive数据仓库工具能将结构化的数据文件映射成一张表,并提供SQL查询功能,能将SQL语句转化成为MapReduce来执行。Hive的优点是学习成本低,可以通过类SQL语句实现快速MapReduce统计,使MapReduce变得更加简单,而不必开发专门的MapReduce任务。原创 2024-05-14 01:03:30 · 294 阅读 · 0 评论 -
2024年大数据最新大数据之Hadoop图解概述,2024年最新腾讯T2大佬手把手教你
Sqoop 是一款开源的工具,主要用于在 Hadoop、Hive 与传统的数据库(MySQL)间进行数据的传递,可以将一个关系型数据库(例如 :MySQL,Oracle 等)中的数据导进到 Hadoop 的 HDFS 中,也可以将 HDFS 的数据导进到关系型数据库中。MapReduce:分布式的离线并行计算框架,对海量数据的处理。:Flume 是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume 支持在日志系统中定制各类数据发送方,用于收集数据;首先按照键进行排序,然后按照值。原创 2024-05-14 01:02:54 · 389 阅读 · 0 评论 -
2024年大数据最新大数据之Hadoop图解概述(1),职场中的中年危机
有多少个block就对应启动多少maptask。在 Hadoop1.x 时 代 ,Hadoop中 的MapReduce同时处理业务逻辑运算和资源的调度,耦合性较大。3)对于海量数据的场景,Lucene框 架面 对与Google同样的困难,存 储海量数据困难,检 索海 量速度慢。3)CDH 是 Cloudera 的 Hadoop 发行版,完全开源,比 Apache Hadoop 在兼容性,安。1)2008 年成立的 Cloudera 是最早将 Hadoop 商用的公司,为合作伙伴提供 Hadoop 的。原创 2024-05-14 01:02:18 · 275 阅读 · 0 评论 -
2024年大数据最新大数据之Hadoop3,Context都没弄明白凭什么拿高薪
1)各个模块分开启动/停止(配置ssh是前提)常用1.整体启动/停止HDFS2.整体启动/停止YARN2)各个服务组件逐一启动/停止1.分别启动/停止HDFS组件2.启动/停止YARN。原创 2024-05-14 01:01:41 · 369 阅读 · 0 评论 -
都2024年了,Servlet还有必要学习吗?一文带你快速了解Servlet_servlet用得多吗(2)
Servlet 是 JavaEE 的规范之一,通俗的来说就是 Java 接口,将来我们可以定义 Java 类来实现这个接口,并由 Web 服务器运行 Servlet ,所以 TomCat 又被称作 Servlet 容器。Servlet 提供了动态 Web 资源开发技术,一种可以将网页数据提交到 Java 代码,并且将 Java 程序的数据返回给网页的技术,使用 Servlet 技术实现了不同用户登录之后在页面上动态的显示不同内容等的功能。原创 2024-05-12 21:57:34 · 290 阅读 · 0 评论 -
都2024年了,Servlet还有必要学习吗?一文带你快速了解Servlet_servlet用得多吗(1)
demo此时 Web 服务器软件 TomCat 将会创建一个 ServletDemo 的对象,这个对象称为 Servlet 对象,并且该对象的 service() 方法也会被服务器自动调用。当 service() 方法被调用执行后就会向客户端浏览器发送响应数据。上面的例子中我们没有向浏览器发送具体的数据,要想实现这个功能,我们就要继续学习 ServletRequest 类和 ServletResponse 类。原创 2024-05-12 21:56:58 · 239 阅读 · 0 评论 -
通俗易懂,值得收藏的 java 设计模式实战,装饰者模式 之 你不用改变,就让你的能力变强了_java 装饰者模式 实战
网络百科如下:装饰模式指的是在不必改变原类文件和使用继承的情况下,动态地扩展一个对象的功能。它是通过创建一个包装对象,也就是装饰来包裹真实的对象。设计模式和编程语言无关,但是二当家的依然用Java语言去实战举例。原创 2024-05-12 21:56:22 · 292 阅读 · 0 评论 -
通俗易懂,值得收藏的 java 设计模式实战,装饰者模式 之 你不用改变,就让你的能力变强了_java 装饰者模式 实战(1)
有的小动物会被大的动物欺负,于是二当家的为他们设计一款攻击力增强装备来保护自己,不要太猛哦。用会跑会咬的狗狗类作为具体构件(Concrete Component)角色。二当家觉得狗狗跑得有点慢,于是二当家设计了一件动物加速装备,不要太先进哦。用动物接口作为抽象构件(Component)角色,动物会移动,和咬。二当家为动物设计了装备,可热插拔,牛得很。原创 2024-05-12 21:55:45 · 370 阅读 · 0 评论 -
必须走完必经之路,才能走自己想走的路------高考_必走的路和想走的路高考(1)
高考结束时间是11:30,而平时我们是11:40下课,我记混了,记成了11:40语文考完,然后我默认为11:25会提示还剩最后15分钟,最终11:15提醒了还剩最后15分钟,我当时真的慌了,作为2017级高中生,2020年浙江卷语文高考作文说实话真的难写,还剩最后15分钟,我手抖+出手汗(紧张加没有空调)写完最后四五百字。笔者和csdn中的许多博主可能不一样,笔者是非计算机专业的大二学生,选择python、加入csdn在当时纯靠兴趣,现在会过来看,我认为当时的决策还是挺正确的。现在回想起来属实醉了。原创 2024-05-12 04:47:16 · 832 阅读 · 0 评论 -
微服务实战 集中配置组件Config规避敏感信息泄露_config 敏感信息
EnableConfigServer //开启配置服务。* @Author:公众号:程序员965。* @Author:公众号:程序员965。原创 2024-05-12 04:46:40 · 433 阅读 · 0 评论 -
微服务实战 集中配置组件Config规避敏感信息泄露_config 敏感信息(2)
这篇文章我们介绍了一下 Spring Cloud Config 的一个基本使用,包括 Spring Cloud Config Server 和 Spring Cloud Config Client 的项目搭建。通过环境的配置隔离,避免了敏感配置信息的泄露。有人可能就说了,我本地把拉取dev的配置改成拉取prod不一样也能拿到其他环境的信息吗?下一篇文章我们介绍如何通过 Config Server 的安全管理、配置文件的加密等机制真正做到这一点,一起期待吧!原创 2024-05-12 04:46:04 · 848 阅读 · 0 评论 -
微服务实战 集中配置组件Config规避敏感信息泄露_config 敏感信息(1)
三个占位符,就可以来动态地控制 client 从 server 所访问的仓库!新建config-server自身的配置文件application.yml。与服务端不同的是,客户端的配置文件我们创建bootstrap.yml文件。当 Config Client 去访问 Config Server 时,后面的环境代码对应,配置文件的命名规则是。的值分别对应上面三个占位符,如果配置了。这里我们以使用本地配置仓库地址为例,注解,表示这是个配置中心服务端。与服务端中的文件名称对应,原创 2024-05-12 04:45:27 · 249 阅读 · 0 评论 -
大数据最全大数据StarRocks(七):数据表创建(3),2024年最新阿里技术专家
col_name:列名称注意,在一般情况下,不能直接创建以以 __op 或 __row 开头命名的列,因为此类列名被 StarRocks 保留用于特殊目的,创建这样的列可能导致未知行为。如需创建这样的列,必须将 FE 动态参数 allow_system_reserved_names 设置为 TRUE。col_type:列数据类型之前博文数据类型agg_type:聚合类型,如果不指定,则该列为 key 列。否则,该列为 value 列。HLL_UNION(仅用于 HLL列,为 HLL 独有的聚合方式)原创 2024-05-11 20:08:47 · 726 阅读 · 0 评论 -
大数据最全大数据SQL面试题 001(1),2024年最新全靠这套面试题
本文详细解析了在 Hive SQL 面试中常见的连续登录天数计算问题,并提供了相应的解决方案。通过使用窗口函数和条件表达式,我们可以轻松地计算每个用户的连续登录天数。这个问题不仅考察了对 Hive SQL 的熟练程度,还展示了如何使用 Hive SQL 处理复杂的数据分析任务。希望本文对大家在 Hive SQL 面试中遇到连续登录天数计算问题的解决有所帮助。如果你对 Hive SQL 或其他数据分析相关的问题感兴趣,欢迎关注微信公众号(数梦零零七),获取和交流更多有关数据仓库的知识和技巧。原创 2024-05-11 20:08:11 · 140 阅读 · 0 评论 -
大数据最全大数据Hive(介绍+安装+使用)(2),2024年最新大牛整理
javax.jdo.option.ConnectionDriverName:元数据所用数据库的驱动。#javax.jdo.option.ConnectionUserName:元数据登录用户。#javax.jdo.option.ConnectionPassword:元数据登录密码。#javax.jdo.option.ConnectionURL:元数据连接的数据库地址。(img-xML8sNil-1715429224143)]– 设置密码为123456(根据自己的想法设置)– 设置密码验证最小长度。原创 2024-05-11 20:07:36 · 904 阅读 · 0 评论 -
大数据最全大数据Hadoop生态圈(3),2024年最新大数据开发都没弄明白凭什么拿高薪
便于用sql操作:Hive(核心 metastore,存储这些结构化的数据),同类的还有Impala,hbase等基于yaml的资源调度hive :通过 HQL访问,适合执行ETL,报表查询,数据分析等数据仓库任务支持运行在不同的计算框架,包括MapReduce,Spark,Tez等支持java数据库连接(JDBC),可以建立与ETL,BI工具的通道避免编写复杂的mapreduce,减少学习成本可以直接使用存储在hadoop文件系统中的数据。原创 2024-05-11 20:06:56 · 866 阅读 · 0 评论 -
云原生(三十四) Kubernetes篇之平台存储系统实战_rbd pvc 扩容
测试: 创建sts、修改nginx数据、删除sts、重新创建sts。他们的数据丢不丢,共享不共享。STS删除,pvc不会删除,需要自己手动维护。如:10个Pod共同操作一个地方。原创 2024-05-11 06:13:43 · 246 阅读 · 0 评论 -
云原生中间件RocketMQ-核心原理之高可用机制_rocketmq高可用原理(2)
Zookeeper为分布式应用程序提供协调服务,Zookeeper的功能很强大,包括自动Master选举,RocketMQ的设计决定了它不需要进行Master选举,用不到这些复杂的功能,只需要一个轻量级的元数据服务器就足够了。中间件对稳定性要求很高,RocketMQ的NameServer只有很少的代码,容易维护,所以不需要再依赖另一个中间件,从而减少整体维护成本。本文内容到此结束了,如有错误❌疑问💬欢迎各位指出。主页共饮一杯无的博客汇总👨💻。原创 2024-05-11 06:13:07 · 890 阅读 · 0 评论 -
云原生中间件RocketMQ-核心原理之高可用机制_rocketmq高可用原理(1)
在Consumer的配置文件中,并不需要设置是从Master读还是从Slave 读,当Master不可用或者繁忙的时候,Consumer会被自动切换到从Slave 读。有了自动切换Consumer这种机制,当一个Master角色的机器出现故障后,Consumer仍然可以从Slave读取消息,不影响Consumer程序。这就达到了消费端的高可用性。原创 2024-05-11 06:12:31 · 647 阅读 · 0 评论 -
云原生【Docker架构&;Docker安装&;Docker镜像仓库】第2章_docker官方镜像仓库网速较差,我们需要设置国内镜像服务
Docker CE 支持 64 位版本 CentOS 7,并且要求内核版本不低于 3.10, CentOS 7 满足最低内核的要求,所以我们在CentOS 7安装Docker。CE 即社区版(免费,支持周期 7 个月),EE 即企业版,强调安全,付费使用,支持周期 24 个月。Docker官方的Docker Registry是一个基础版本的Docker镜像仓库,具备仓库管理的完整功能,但是没有图形化界面。稍等片刻,docker即可安装成功。,这里主要介绍 Docker CE 在 CentOS上的安装。原创 2024-05-11 06:11:55 · 657 阅读 · 0 评论 -
【Flink SQL】Flink SQL 基础概念(一):SQL &; Table 运行环境
inStreamingMode() // 声明为流任务。.inStreamingMode() // 声明为流任务。.inStreamingMode() // 声明为流任务。.inStreamingMode() // 声明为流任务。需要外部 Catalog 持久化!//.inBatchMode() // 声明为批任务。//.inBatchMode() // 声明为批任务。需要外部 Catalog 持久化!//.inBatchMode() // 声明为批任务。// 1. 就是设置一些环境信息。原创 2024-05-10 21:35:02 · 688 阅读 · 0 评论 -
【Flink SQL】Flink SQL 基础概念(一):SQL &; Table 运行环境(2)
引入上述依赖之后,小伙伴萌就可以开始使用 Table / SQL API 了。具体案例如下文所示。原创 2024-05-10 21:34:26 · 808 阅读 · 0 评论 -
【Flink SQL】Flink SQL 基础概念(一):SQL &; Table 运行环境(1)
在 Table API 中的一个 Table 对象被后续的多个查询使用的场景下,Table 对象不会真的产生一个中间表供下游多个查询去引用,即多个查询不共享这个 Table 的结果,小伙伴萌可以理解为是一种中间表的简化写法,不会先产出一个中间表结果,然后将这个结果在下游多个查询中复用,后续的多个查询会将这个 Table 的逻辑执行多次。所以我们可以将 SQL 的查询的结果(即 Table 对象)转为 DataStream,然后就可以在 DataStream 后自定义报警逻辑的算子。支持的功能更多一些。原创 2024-05-10 21:33:50 · 856 阅读 · 0 评论 -
【ES小结】还在用ElasticSearch做查询?换条思路实现高效数据统计_es能做统计
聚合是ES除搜索功能外提供的针对ES数据做统计分析的功能,聚合有助于根据搜索查询提供聚合数据,聚合查询是数据库中重要额功能特性,ES作为搜索引擎兼数据库,同样提供了强大的聚合分析功能力,它是基于查询条件来对数据进行分桶、计算的方法,这种很类似与SQL中的group by再加上一些函数方法的操作。在了解聚合查询之前需要注意的一点是:text类型是不支持聚合的,主要是因为text类型本身是分词的,通俗的说,如果一句话分成了多个词然后进行group by操作,那么问题就出现了,到底对哪一个词进行。原创 2024-05-10 21:33:12 · 636 阅读 · 0 评论