![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
程序员
文章平均质量分 86
2301_82244122
这个作者很懒,什么都没留下…
展开
-
大数据必学Java知识(一):Java基础入门语法和安装_大数据入门 helloword
数据类型 变量名 = 数据值;数据类型:为空间中存储的数据加入类型限制。整数?小数?变量名:自己要为空间起的名字,没有难度数据值: 空间中要存储的数值,没有难度。原创 2024-05-15 11:19:41 · 229 阅读 · 0 评论 -
大数据必学Java知识(一):Java基础入门语法和安装_大数据入门 helloword(5)
数据类型 变量名 = 数据值;数据类型:为空间中存储的数据加入类型限制。整数?小数?变量名:自己要为空间起的名字,没有难度数据值: 空间中要存储的数值,没有难度。原创 2024-05-15 11:19:05 · 307 阅读 · 0 评论 -
大数据必学Java知识(一):Java基础入门语法和安装_大数据入门 helloword(4)
语言:人与人交流沟通的表达方式计算机语言:人与计算机之间进行信息交流沟通的一种特殊语言Java语言是美国**Sun公司(Stanford University Network)**在1995年推出的计算机语言詹姆斯·高斯林(James Gosling)JavaSE: Java 语言的(标准版),用于桌面应用的开发,是其他两个版本的基础JavaME: Java 语言的(小型版),用于嵌入式消费类电子设备JavaEE: Java 语言的(企业版),用于 Web 方向的网站开发。原创 2024-05-15 11:18:29 · 357 阅读 · 0 评论 -
大数据必学Java知识(一):Java基础入门语法和安装_大数据入门 helloword(3)
数据类型 变量名 = 数据值;数据类型:为空间中存储的数据加入类型限制。整数?小数?变量名:自己要为空间起的名字,没有难度数据值: 空间中要存储的数值,没有难度。原创 2024-05-15 11:17:53 · 394 阅读 · 0 评论 -
【天衍系列 05】Flink集成KafkaSink组件:实现流式数据的可靠传输 &; 高效协同_flink 创建kafka sink(2)
是 Apache Flink 中用于将数据流转换为 Kafka 记录(record)的序列化模式(Serialization Schema)。它允许将 Flink 数据流中的元素转换为 Kafka 生产者记录,并定义了如何序列化元素的逻辑。在 Flink 中,当你想要将数据发送到 Kafka 主题,需要一个序列化模式来将 Flink 数据流中的元素序列化为 Kafka 记录。而就是为此目的而设计的。// 序列化模式//设置对哪个主题进行序列化//设置数据值序列化方式//设置数据key序列化方式。原创 2024-05-15 02:41:03 · 786 阅读 · 0 评论 -
【天衍系列 05】Flink集成KafkaSink组件:实现流式数据的可靠传输 &; 高效协同_flink 创建kafka sink(1)
单个请求发送的最大字节数用于控制在与 Kafka 服务器连接断开后重新连接的时间间隔。具体来说,它定义了在发起重新连接尝试之间等待的时间量,以毫秒为单位。如果连接失败,生产者将在此时间间隔之后尝试重新连接到 Kafka 服务器用于控制重新连接的最大退避时间。具体来说,它定义了在发起重新连接尝试之间等待的最长时间量,以毫秒为单位。如果连接失败,生产者将在此时间间隔之后尝试重新连接到 Kafka 服务器当 Kafka 队列已满时,生产者将阻塞的最长时间(毫秒),超时后会抛出异常。原创 2024-05-15 02:40:27 · 596 阅读 · 0 评论 -
【大数据面试题】(六)Flume 相关面试题总结_flume 和 kafka 采集日志的区别,采集日志时中断了,如何记录之前的日志
就比如sink从channel拉取数据并提交到数据下游之后需要从channel中删除已获取到的批次数据,其中跨越了多个原子事件,故而需要以事务的方式将这些原子事件进一步绑定在一起,以便在其中某个环节出错时进行回滚防止数据丢失。Flume channel 使用被动存储机制. 它存储的数据的写入是靠 Flume source 来完成的, 数据的读取是靠后面的组件 Flume sink 来完成的.3 ,memory channel :内存缓冲区,性能高,但是有可能丢数据,在不关心数据有可能丢失的情况下使用。原创 2024-05-15 02:39:51 · 850 阅读 · 0 评论 -
【大数据面试题】(六)Flume 相关面试题总结_flume 和 kafka 采集日志的区别,采集日志时中断了,如何记录之前的日志(2)
使用官方提供的 flumeKafka 插件,插件的实现方式是自定义了 flume 的 sink,将数据从channle 中取出,通过 kafka 的producer 写入到 kafka 中,可以自定义分区等。Flume channel 使用被动存储机制. 它存储的数据的写入是靠 Flume source 来完成的, 数据的读取是靠后面的组件 Flume sink 来完成的.Flume 采集中间停了,可以采用文件的方式记录之前的日志,而 kafka 是采用 offset 的方式记录之前的日志。原创 2024-05-15 02:39:14 · 938 阅读 · 0 评论 -
Java面向对象 --- 吃货联盟订餐系统(完整版)_java吃货联盟订餐系统用面向对象做
【代码】Java面向对象 --- 吃货联盟订餐系统(完整版)_java吃货联盟订餐系统用面向对象做。原创 2024-05-14 17:19:17 · 216 阅读 · 0 评论 -
Java读取Hbase数据,使用POI操作Excel模板,并定时发送带有Excel附件的邮件_java定时发送excel邮件
/ 需要经过授权,也就是有户名和密码的校验,这样才能通过验证(一定要有这一条)// 有了这句便可以在发送邮件的过程中在console处显示过程信息,供调试使。// 设置发送邮件的邮件服务器的属性(这里使用网易的smtp服务器)// 用(你可以在控制台(console)上看到发送邮件的过程)Date date = new Date();// 用刚刚设置好的props对象构建一个session。// 用session为参数定义消息对象。//读取excel模板。// 加载发件人地址。// 加载收件人地址。原创 2024-05-14 17:18:41 · 739 阅读 · 0 评论 -
Java读取Hbase数据,使用POI操作Excel模板,并定时发送带有Excel附件的邮件_java定时发送excel邮件(2)
在做航空方面的业务,需求为根据现有Excel模板,进行数据处理,并定时发送excel附件的相关邮件。原创 2024-05-14 17:18:05 · 276 阅读 · 0 评论 -
Java读取Hbase数据,使用POI操作Excel模板,并定时发送带有Excel附件的邮件_java定时发送excel邮件(1)
/ 需要经过授权,也就是有户名和密码的校验,这样才能通过验证(一定要有这一条)// 有了这句便可以在发送邮件的过程中在console处显示过程信息,供调试使。// 设置发送邮件的邮件服务器的属性(这里使用网易的smtp服务器)// 用(你可以在控制台(console)上看到发送邮件的过程)Date date = new Date();// 用刚刚设置好的props对象构建一个session。// 用session为参数定义消息对象。//读取excel模板。// 加载发件人地址。// 加载收件人地址。原创 2024-05-14 17:17:29 · 1036 阅读 · 0 评论 -
2024年最新CDH6(1),【性能优化实战
CDH 小版本#CDH大版本CDH_MIN=5CDH_MAX=6。原创 2024-05-14 08:40:42 · 1044 阅读 · 0 评论 -
2024年最新CDH 之 hive 数据迁移_cdh数据互导,2024年最新大数据开发自学资料
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.原创 2024-05-14 08:40:06 · 377 阅读 · 0 评论 -
2024年最新CDH 之 hive 数据迁移_cdh数据互导(1),2024年最新大数据开发面试题整理
报错的原因是:Hive没有足够的权限来在HDFS上创建数据库目录。默认情况下,Hive使用当前用户的身份来执行操作,因此需要确保当前用户(在这种情况下为“root”)具有在HDFS上创建目录的权限,或者进入 hdfs 用户进行操作。(3)元数据导入成功之后,/user/hive/warehouse 下会生成 test.db 目录,下面包含了创建的表信息。,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**(4)最后进行数据导入,这里也只测试了其中一个表数据。原创 2024-05-14 08:39:30 · 186 阅读 · 0 评论 -
2024年最新Caused by org,大数据开发高级工程师面试题-字节跳动
Caused by: java.net.ConnectException: 拒绝连接 (Connection refused)原创 2024-05-14 08:38:52 · 263 阅读 · 0 评论 -
2024年大数据最新【JavaScript】手撕前端面试题:手写new操作符 手写Object(1),2024中级大数据开发开发面试解答
牛客网牛客网不仅具有公司真题专项练习面试题库在线编程等功能,还具有非常强大的AI模拟面试功能,简直是求职者的福音!牛客网里的题库非常全面的,无论你是前端还是后端,是想要备考还是准备面试又或者是想要提高自己点击进入牛客网牛客网牛客网在这里插入图片描述在这里插入图片描述本篇文章所有示例参考自牛客网题库/在线编程/JS篇。原创 2024-05-13 23:52:28 · 509 阅读 · 0 评论 -
2024年大数据最新【JavaScript 进阶教程】“原型,怒肝三个月啃完这110道面试题
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!存中…(img-6GaU8Ty7-1715615490043)][外链图片转存中…(img-1bGUhByL-1715615490044)]原创 2024-05-13 23:51:52 · 953 阅读 · 0 评论 -
2024年大数据最新【Java AWT 图形界面编程】Container 容器总结_java container,大数据开发开发基础视频
设置窗口可见 , 窗口默认不可见 , 需要手动设置可见性;原创 2024-05-13 23:51:16 · 1024 阅读 · 0 评论 -
2024年大数据最新【HTML基础篇002】HTML之form表单超详解_html form表单(4),2024年大数据开发知识体系总结
UTC是 Universal Time Coordinated的英文缩写,即“协调世界时”,又称世界标准时间。简单地说,UTC时间就是0时区的时间。例如,如果北京时间为早上8点,则UTC时间为0点,即UC时间比北京时间晚8小时。朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**datetime-local:选取时间、日、月、年(本地时间)Datetime:选取时间、日、月、年(Date:选取日、月、年。Month:选取月、年。Week:选取周、年。原创 2024-05-13 23:50:40 · 998 阅读 · 0 评论 -
算法入门(零,认识复杂度,对数器,异或运算)_异或操作时间复杂度(1)
1,常数时间的操作(执行时间固定的操作)如果一个操作的执行时间不已样本本量为转移,每次都执行固定时间。2,常见的常数操作2.1 :加减乘除等,取余(+,-,*,/,%)2.2 :常见的位运算(原创 2024-05-12 20:55:38 · 370 阅读 · 0 评论 -
简单的kafka和flink实现实时计算引擎处理数据_kettle+flink+kafkaf能否实现实时
较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**public static final String broker_list = “ip(换成自己的):9092”;原创 2024-05-12 20:55:02 · 375 阅读 · 0 评论 -
第十四届蓝桥杯集训——if——配套基础示例_java我家的狗7岁了,7岁的狗相当于多大年龄的人呢 已知 狗的前二年
回文数:设n是一任意自然数。若将n的各位数字反向排列所得自然数n1与n相等,则称n为一回文数。例如,若n=1234321,则称n为一回文数;但若n=1234567,则n不是回文数。根据:三角形三边关系是三角形三条边关系的定则,具体内容是在一个三角形中,任意两边之和大于第三边,任意两边之差小于第三边。题目要求是5位数,故而我们需要进行个位与万位,十位与千位的判断,如果都相等,那么就代表是回文数。已知:狗的前二年每一年相当于人类的10.5岁,然后每一年增加4岁。我家的狗7岁了,7岁的狗相当于多大年龄的人呢?原创 2024-05-12 20:54:26 · 296 阅读 · 0 评论 -
第十四届蓝桥杯集训——if——配套基础示例_java我家的狗7岁了,7岁的狗相当于多大年龄的人呢 已知 狗的前二年(3)
回文数:设n是一任意自然数。若将n的各位数字反向排列所得自然数n1与n相等,则称n为一回文数。例如,若n=1234321,则称n为一回文数;但若n=1234567,则n不是回文数。根据:三角形三边关系是三角形三条边关系的定则,具体内容是在一个三角形中,任意两边之和大于第三边,任意两边之差小于第三边。题目要求是5位数,故而我们需要进行个位与万位,十位与千位的判断,如果都相等,那么就代表是回文数。已知:狗的前二年每一年相当于人类的10.5岁,然后每一年增加4岁。我家的狗7岁了,7岁的狗相当于多大年龄的人呢?原创 2024-05-12 20:53:50 · 366 阅读 · 0 评论 -
学习大数据时,一定要注重这8个Python小细节,让你工作事半功倍_在大数据背景下谈谈python是如何改变你的学习和工作方式的
具体来说, map() 函数接收一个列表,和一个函数,它对列表里的每个元素调用一个函数进行处理,再将结果放进一个新列表里。获取 Pandas 数据表对象的 shape 属性,你将获得一个元组,元组的第一个元素是数据表的行数,第二个元素是数据表的列数。所以对于 axis 参数,0 就是前面的行数,1 就是后面的列数,怎么样,好记吧?而 filter() 函数略有不同,它接收一个列表,和一个规则函数,在对列表里的每个元素调用这个规则函数之后,它把所有返回值为假的元素从列表中剔除,然后返回这个过滤后的子列表。原创 2024-05-12 03:45:49 · 717 阅读 · 0 评论 -
学习大数据时,一定要注重这8个Python小细节,让你工作事半功倍_在大数据背景下谈谈python是如何改变你的学习和工作方式的(1)
具体来说, map() 函数接收一个列表,和一个函数,它对列表里的每个元素调用一个函数进行处理,再将结果放进一个新列表里。获取 Pandas 数据表对象的 shape 属性,你将获得一个元组,元组的第一个元素是数据表的行数,第二个元素是数据表的列数。所以对于 axis 参数,0 就是前面的行数,1 就是后面的列数,怎么样,好记吧?而 filter() 函数略有不同,它接收一个列表,和一个规则函数,在对列表里的每个元素调用这个规则函数之后,它把所有返回值为假的元素从列表中剔除,然后返回这个过滤后的子列表。原创 2024-05-12 03:45:13 · 710 阅读 · 0 评论 -
学习python,我使用代码悄悄集齐了五福~哎嘿嘿_python实现过年集五福活动
今天写一个%90会出敬业福哦,啊哈哈哈哈。原创 2024-05-12 03:44:37 · 350 阅读 · 0 评论 -
学习python,我使用代码悄悄集齐了五福~哎嘿嘿_python实现过年集五福活动(2)
seth(-60) #画笔方向(参数相当于度数)原创 2024-05-12 03:44:01 · 866 阅读 · 0 评论 -
大数据最全【Unityc#专题篇】—基础章题单实践_untiyc#实战,在阿里工作5年了
⭐习题总结专题篇⭐🎶前言🎶(A)枚举🎶(B)一维数组🎶(C)二维数组🎶(D)值,引用类型存储上的区别🎶(E)函数的使用🎶(F)ref和out🎶(G)params🎶(H)重载🎶(I)递归🎶(J)结构体🎶(K)冒泡和选择排序⭐相关文章⭐🅰️题单来自:唐老狮。原创 2024-05-11 19:07:17 · 450 阅读 · 0 评论 -
大数据最全【Three(6),2024年最新2024年互联网大厂大数据开发面经总结
👀🙋♂️📃🚀🥇🌕。原创 2024-05-11 19:06:41 · 911 阅读 · 0 评论 -
大数据最全【SPSS】激素水平项目实战案例(1),2024年最新不同层级的大数据开发开发者的不同行为
在本项目中,由于统计描述时发现因变量呈现偏态分布,因此分 别采用变量变换、秩变换和Cox模型进行了建模分析。性别、年龄对激素水平未发现有影响,其中后者无论是原始年龄,还是年龄分组均无统计学意义。试验组和对照组之间的激素水平存在差异。性别虽然对激素水平没有影响,但是发现组别和性别的交互性对激素水平有影响。可以做进一步分析。原创 2024-05-11 19:06:05 · 609 阅读 · 0 评论 -
大数据最全【Rust指南】use关键字妙用 模块内容拆分_rust use,2024年最新帮你突破瓶颈
//这里并不能使用some_fun()函数,是报错内容。//依然是最后一行可替换前两行。//前两行可用最后一行替代。//打印结果:{1,2}原创 2024-05-11 19:05:29 · 380 阅读 · 0 评论 -
一文学会IDEA中的Maven集成与创建(详细教程)_idea集成本地maven(3)
【2】指定本地仓库路径找到 conf ----> settings.xml 文件,打开该文件进行修改【3】配置阿里云仓库在 settings.xml 中的配置如图所示:【4】配置jdk版本。原创 2024-05-11 05:11:25 · 623 阅读 · 0 评论 -
一文学会IDEA中的Maven集成与创建(详细教程)_idea集成本地maven(2)
2)管理依赖(管理项目中使用的各种jar包)。 依赖:项目中需要使用的其他资源,常见的是jar。比如项目要使用mysql驱动等。原创 2024-05-11 05:10:49 · 557 阅读 · 0 评论 -
一文学会IDEA中的Maven集成与创建(详细教程)_idea集成本地maven(1)
有时候配置后,Maven目录仍无效,此时可以打开File-New Projects Setup,然后看看是否和上面配置的一样,不一样,改为上面的配置即可。【3】点击IDEA中菜单栏中的Tools,在下拉菜单中可以找到安装好的Maven Search工具,后面我们在添加搜索jar文件时可以用到。点击Directory后,打开New Directory对话框,将下图所示的文件及目录全选,全选后,点击enter键即可。然后搜索你需要的 jar 包,选择版本号,点击 copy of Maven 进行复制。原创 2024-05-11 05:10:13 · 846 阅读 · 0 评论 -
一文告诉你游戏服务器的架构到底是什么样,各服务器的职责是什么_游戏服务器架构
1、Skynet 云风开源的基于actor 的开源引擎,脚本语言是lua,有不少公司在用,优势就是上手容易。2、pomelo/pinus Pomelo 是由网易开发的基于 [Node.js] 开发的高性能、分布式游戏服务器框架, 也可作为高实时 Web 应用框架。pinus 是pomelo 的ts 版本,ts的开发效率和调试效率更高,脚本更规整,建议大家选用pinus,前段时间和网易的大佬聊,他们项目现在就在用pinus。3、KBEngine。转载 2024-05-11 05:09:37 · 915 阅读 · 0 评论 -
《离线和实时大数据开发实战》(一)构建大数据开发知识体系图谱(1)
现在,大数据时代对于数据的使用已经不限于离线数据的分析,实时数据正变得越来越重要,而这必须借助专业的流计算工具和框架才能实现。目前,最为流行和使用广泛的是 Spark Streaming 和 Flink。国内外大厂在使用这些开源框架的同时,还结合自身的使用实践对这些流计算框架从不同层面进行改进和创新,如稳定性、可扩展性、性能等。原创 2024-05-10 20:32:47 · 609 阅读 · 0 评论 -
《画解数据结构》三十张彩图,画解二叉搜索树_二叉搜索树程序流图
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!12^{i-1}2i−1。对于任意一个深度为hhh 的二叉树,满二叉树的结点数一定是最多的,所以我们可以拿满二叉树进行计算,它的每一层的结点数为111、222、444原创 2024-05-10 20:32:11 · 725 阅读 · 0 评论 -
《数据中台架构:企业数据化最佳实践》:感受数据中台建设五步法_数据中台架构企业数据化最佳实践 pdf
可以说,数据中台是实现企业全面数据化的一个解决方案,是一套支撑企业全面数据化的架构,会成为企业开展全面数据化的基础设施。一句话概括:“中台为前台而生,专注于为前台赋能,沉淀企业的能力与复用,提升企业的客户响应力。数据中台围绕数据技术开展。除了编程技术、应用开发技术与传统的IT应用技术具有部分的重合,数据中台还有自己的技术体系,比如大数据开发技术、数据仓库建模技术、数据分析体系、数据应用技术体系等。原创 2024-05-10 20:31:35 · 590 阅读 · 0 评论 -
《数据中台架构:企业数据化最佳实践》:感受数据中台建设五步法_数据中台架构企业数据化最佳实践 pdf(2)
数据中台围绕数据技术开展。除了编程技术、应用开发技术与传统的IT应用技术具有部分的重合,数据中台还有自己的技术体系,比如大数据开发技术、数据仓库建模技术、数据分析体系、数据应用技术体系等。原创 2024-05-10 20:30:59 · 694 阅读 · 0 评论