自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(268)
  • 收藏
  • 关注

原创 es 集群开机自动启动_服务器启动时设置es集群自启

添加启动命令#启动es服务#关闭es服务#重启es服务/bin/bash#这里需要填写你自己kibana的安装目录,不一样的话记得修改case $1 instart)#这里的用户需要填写你自己的kibana启动用户,不是heyue的话,需要修改;;stop)# 检查PID文件是否存在,如果存在则杀掉对应的进程thenkillelsefi;;;

2024-06-21 00:45:45 644

原创 elasticsearch 在大数据中能实现哪些功能

对于Elasticsearch,如果要在项目中使用,需要解决如下问题:索引,对于需要搜索的数据,如何建立合适的索引,还需要根据特定的语言使用不同的analyzer等。搜索,Elasticsearch提供了非常强大的搜索功能,如何写出高效的搜索语句?数据源,我们所有的数据是存放到MySQL的,MySQL是唯一数据源,如何将MySQL的数据导入到Elasticsearch?对于1和2,因为我们的数据都是从MySQL生成,index的field是固定的,主要做的工作就是根据业务场景设计好对应的mapping以及s

2024-06-20 14:34:27 322

原创 css高阶技巧(2)_css中禁止字体竖向

图片、表单这些行内块元素的vertical-align属性设置为middle就可以让文字和图片垂直剧中对齐了。给表单添加outline: 0;或者outline: none;样式之后,就可以去掉默认的蓝色边框。(img-gPmrgAnH-4702027583526)]这个小技巧的使用在京东淘宝之类的平台都会使用到哦。这样就可以以省略号的形式展现出来了。鼠标样式(cursor)

2024-06-20 11:49:29 467

原创 SAP ABAP——数据类型(六)【预定义基本数据类型详解】_sap 数据类型(1)

数据类型默认长度有效长度默认值解释说明I440整型F880浮点型P81~160压缩数类型(将两个十进制数字压缩到一个字节)C11~65535‘…’文本型D88‘00000000’日期型(YYYYMMDD)N11~65535‘0…0’数字字符串类型(0~9之间的字符组成的数字字符串)T66‘000000’时间类型(格式:HHMMSS)x11~65535X’0…0’十六进制字段STRING0ANYSPACE。

2024-06-20 01:24:07 973

原创 Java 下数据业务逻辑开发技术 JOOQ 和 SPL_java实现逻辑与sql实现逻辑

JOOQ的结构化数据对象由记录和记录集合组成。记录对象的种类很多,第一类是Record对象,适合字段的数量、类型、名字都是动态生成的情况,Record虽然很灵活但面向对象的程度较低,用法比较麻烦,比如要通过getValue(M)来获得第M个字段。第二类是Record[N]对象,N从1到22,比如Record3,适合字段类型和字段数量已知但不超过22个,而字段名是动态生成的情况,Record[N]灵活性差些但面向对象的程度稍高,用法方便些,比如可以通过valueM取得第M个字段。

2024-06-20 00:20:34 642

原创 最终篇:简洁易懂,初学者挑战学习Python编程30天 (五)_自学入门不在困难,初学者挑战学习python编程30天世上本无鬼

head >< title >首页

2024-05-16 10:11:25 415 1

原创 最流行的软件项目自动构建工具——Maven_版本生成 插件 版本生成 构建工具

Maven的作用:项目构建,管理,jar包下载,现在发现了一个很有趣的功能,下载source并关联sourcemvn compile 下载jar 并编译项目mvn test 执行testmvn dependency:sources 尝试下载source文件mvn eclipse:eclipse 生成eclipse的工程配置文件等等等等,只有当你真正的将maven用起来的时候才会真正体会到maven的作用。在我们的JavaWEB阶段,所有的jar包都是我们下载好复制粘贴到我们的项目里。需要手动创建这个目录。

2024-05-16 10:10:52 458

原创 最新(一)大数据---Hadoop整体介绍(架构层)----(组件、引擎)分,赶紧收藏

可以将一个关系型数据库(例如Mysql、Oracle)中的数据导入到Hadoop(例如HDFS、Hive、Hbase)中,也可以将Hadoop(例如HDFS、Hive、Hbase)中的数据导入到关系型数据库(例如Mysql、Oracle)中。作为实时日志收集系统,支持在日志系统中定制各类数据发送方,用于收集数据,同时,对数据进行简单处理,并写到各种数据接收方(比如文本,HDFS,Hbase等)。,是一个分布式的、面向列的开源数据库,可以认为是hdfs的封装,本质是数据存储、NoSQL数据库。

2024-05-16 10:10:19 391

原创 最新高级大数据实验(1),大数据开发研发岗面试复盘总

现有一份各城市的温度数据文件avgTemperature.txt,数据如下表所示,记录了某段时间范围内各城市每天的温度,文件中每一行数据分别表示城市名和温度,现要求用spark编程计算出各城市的平均气温。(2) 使用map()方法将数据输入数据按制表符进行分割,并转化成(城市,温度)的形式。(4) 使用sortBy()方法对每位客户的总消费金额进行降序排序,取出前50条数据。(4) 使用mapValues()和reduce()方法计算各城市的平均气温。(4) 求每名同学的选修的课程门数;

2024-05-16 10:09:46 439

原创 最全tp6的运行流程+一个完整的tp6请求的流程:_tp6(4),2024年最新不了解这些多线程的基础知识很难学懂大数据开发

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新需要这份系统化资料的朋友,可以戳这里获取义、实战项目、大纲路线、讲解视频,并且后续会持续更新**需要这份系统化资料的朋友,可以戳这里获取。

2024-05-16 02:24:01 381

原创 最全TensorFlow2 手把手教你实现前向传播_tensorflow改写forward(2),大数据开发开发者必看

batch_size = 256 # 一次训练的样本数目learning_rate = 0.001 # 学习率iteration_num = 20 # 迭代次数w1 = tf.Variable(tf.random.truncated_normal([784, 256], stddev=0.1)) # 标准差为0.1的截断正态分布b1 = tf.Variable(tf.zeros([256])) # 初始化为0。

2024-05-16 02:23:28 789

原创 最全StarRocks实战——欢聚集团极速的数据分析能力_starrocks quota,2024年最新大专生三面蚂蚁金服

在这种“既要又要还要”的诉求下,选型很困难。OLAP 常用的技术架构有预计算、MPP、索引。单一技术架构的引擎很难满足需求,因此我们把目标瞄向混合架构引擎:同时具有预计算、MPP 计算、支持索引的引擎。目前市面上这类引擎不多,比较成熟的有 Apache Doris 和 StarRocks。最后选择 StarRocks,原因是 StarRocks 的社区更加活跃,产品的背后还有一支大胆创新的强大技术团队,响应非常及时,我们对 StarRocks 的未来更有信心。

2024-05-16 02:22:56 697

原创 最全Spark大数据技术(Scala)小白教程(一)—,2024年最新2024年大数据开发开发突破20k有哪些有效的路径

Apache Spark 是一个基于内存计算的大数据处理框架,提供了高性能和灵活性,支持多种数据处理模式。Spark 提供了丰富的 API,包括 Spark Core、Spark SQL、Spark Streaming、MLlib(机器学习库)和 GraphX(图计算库),使得用户可以方便地进行数据处理、数据分析和机器学习等任务。

2024-05-16 02:22:23 1121

原创 大数据最新Hadoop-3(2),那些进了大厂的程序员面试前都做了哪些准备

首先进入hadoop所在配置文件目录/usr/local/src/Hadoop-3.3.6/etc/hadoop,在此目录打开终端。hdfs dfs -put words.txt /input/ #把words.txt上传到dfs的input 文件夹中。hdfs dfs -mkdir /input #在hdfs上创建文件夹。修改core-site.xml, vim core-site.xml。hdfs dfs -ls /output #查看结果。修改hdfs-site.xml文件。

2024-05-15 17:35:53 231

原创 大数据最新hadoop(3) 搭建hadoop-HA_hadoop3 ha(1),2024年最新2024大数据开发进阶学习资料

在node01上执行,将node01的公钥发给所有node节点,让node01能直接免密登录到其他node节点。#在node02上执行,将node02的公钥发给所有node节点,让node02能直接免密登录到其他node节点。#将/etc/hostname的文本修改为对应服务器名(master01,node01,node02)#编辑/etc/sysconfig/network-scripts/ifcfg-ens33文件。#将/etc/sysconfig/network文件修改为以下内容。

2024-05-15 17:35:21 273

原创 大数据最新Hadoop hdfs(1),2024年最新跟大数据开发初学者分享几点经验

大数据有以下五个特点:1.数据体量巨大;2.数据形式多样;3.高速性;4.价值密度低;5.商业价值高。

2024-05-15 17:34:48 394

原创 大数据最新Google BigQuery 创始工程师:大数据已“死”(1),一个回答引发热烈讨论

所有的大数据集都是经年累月产生的。但随着时间的推移,计算的需求可能不会发生太大变化,大多数分析都是针对近期的数据进行的。很多时候,当数据仓库的客户从没有分离存储与计算的环境转移到分离的环境时,他们的存储使用量会大幅增长,但他们的计算需求往往不会改变。再举一个具体的例子,2020年~2022年,我在 SingleStore 工作,当时这是一家快速发展的公司,收入可观,而且有成为独角兽企业的潜质。他发现,他投资的最大的 B2B 公司拥有大约 1TB 的数据,而最大的 B2C 公司拥有大约 10TB 的数据。

2024-05-15 17:34:15 238

原创 大数据最全【牛客刷题】每日一题——初始Java语言练习_牛客网java入门题目,2024年最新阿里P7亲自讲解

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新需要这份系统化资料的朋友,可以戳这里获取解析答案:Bjava规定类名首字母必须大写,这里可以直观的看出来Boolean是一个引用类型,不是基本数据类型。java中的基本数据类型都对应一个引用类型,如Float是float的引用类型,Integer是int的引

2024-05-15 14:49:12 378

原创 大数据最全【深度学习】:《PyTorch入门到项目实战(4),字节跳动大数据开发高级工程师

n\times nn×n,核形状为f×ff\times ff×f,那么经过卷积核作用后,得到的输出形状为n−f1×n−f1可以看出,通常情况下输出特征会由于卷积核的作用而减小。而深度神经网络中,由于卷积核的作用,会导致我们的输出过早的变的很小,导致我们无法构建深层的神经网络。本章介绍另外两个影响输出形状的方法,扩充(padding)和步幅(stride)。

2024-05-15 14:48:39 232

原创 大数据最全【深度学习】(四)目标检测(1),值得一读

与RCNN对比,SPP-Net。

2024-05-15 14:48:06 321

原创 大数据最全【毕业季】科班大二拿到满意offer的成长之路_大二拿offer(1),蚂蚁金服大数据开发架构面试题

紧接着听到其他大佬说框架有多么高级,就自己定目标去学习并了解框架。从开始认识SSM框架(

2024-05-15 14:47:32 393

原创 为你心仪的她做一个 “旋转木马“告白相册【零基础纯 CSS3 实现】_前端3d环绕图片

当我们旋转完后想要呈现边框挨边框的环绕效果,需要让每个图片再向外移动(此处可以理解为扩散),要注意的是只有添加了透视才能显示出立体效果,值的大小可以根据需要去设置,此处我设置的是**perspective: 1200px;**注意透视 perspective要加给需要产生透视元素的父元素身上,另外切记此处要先旋转了再移动,否则会达不到理想效果。

2024-05-15 06:24:49 139

原创 为你心仪的她做一个 “旋转木马“告白相册【零基础纯 CSS3 实现】_前端3d环绕图片(4)

才能显示出立体效果,值的大小可以根据需要去设置,此处我设置的是**perspective: 1200px;**注意透视 perspective要加给需要产生透视元素的父元素身上,另外切记此处要先旋转了再移动,否则会达不到理想效果。最主要的还是如何将你的图片们呈现3D环绕布局效果。当我们旋转完后想要呈现边框挨边框的环绕效果,需要让每个图片再向外移动(此处可以理解为扩散),要注意的是只有添加了透视。我共设置了两个动画,一个是控制整体在刷新页面时从左上角移动到中心再保持不动,第二个就是图片整体的旋转动画。

2024-05-15 06:24:13 421

原创 为你心仪的她做一个 “旋转木马“告白相册【零基础纯 CSS3 实现】_前端3d环绕图片(3)

才能显示出立体效果,值的大小可以根据需要去设置,此处我设置的是**perspective: 1200px;**注意透视 perspective要加给需要产生透视元素的父元素身上,另外切记此处要先旋转了再移动,否则会达不到理想效果。最主要的还是如何将你的图片们呈现3D环绕布局效果。当我们旋转完后想要呈现边框挨边框的环绕效果,需要让每个图片再向外移动(此处可以理解为扩散),要注意的是只有添加了透视。我共设置了两个动画,一个是控制整体在刷新页面时从左上角移动到中心再保持不动,第二个就是图片整体的旋转动画。

2024-05-15 06:23:37 257

原创 为你心仪的她做一个 “旋转木马“告白相册【零基础纯 CSS3 实现】_前端3d环绕图片(2)

当我们旋转完后想要呈现边框挨边框的环绕效果,需要让每个图片再向外移动(此处可以理解为扩散),要注意的是只有添加了透视才能显示出立体效果,值的大小可以根据需要去设置,此处我设置的是**perspective: 1200px;**注意透视 perspective要加给需要产生透视元素的父元素身上,另外切记此处要先旋转了再移动,否则会达不到理想效果。

2024-05-15 06:23:01 406

原创 「SQL面试题库」 No_24 查询员工的累计薪水_sql面试题计算每个月的收入(1)

SQL面试题库」是由不是西红柿发起,全员免费参与的SQL学习活动。我每天发布1道SQL面试真题,从简单到困难,涵盖所有SQL知识点,我敢保证只要做完这100道题,不仅能轻松搞定面试,代码能力和工作效率也会有明显提升。

2024-05-14 21:42:54 890

原创 「Python入门」Python代码规范(风格)_python程序通过什么来区分代码块的级别

想要写好python代码,必须了解python相关编码规范,本文主要分享相应的python编码规范。

2024-05-14 21:42:18 1005

原创 「Java 数据结构和算法」:图文详解---中缀表达式转后缀表达式。_中缀表达式转后缀表达式流程图

System.out.println(“栈空,无法显示!”);return;i >= 0;i–){

2024-05-14 21:41:42 808

原创 《离线和实时大数据开发实战》(四)Hive 原理实践_hive为什么不能实时落

例如 ,基于用户 ID 的分桶可以使基于用户的查询非常快。

2024-05-14 21:41:05 966

原创 2024年最新数据接口工程对接BI可视化大屏(四)创建工程(4),彻底帮你搞懂

【代码】2024年最新数据接口工程对接BI可视化大屏(四)创建工程(4),彻底帮你搞懂。

2024-05-14 12:23:09 121

原创 2024年最新数据应用最好的提升圈子:生活案例学习大数据,大厂大数据开发面试总结+详细解答

基于这个难题,当然我并无法完全解决,只是基于我了解到的信息基础,考虑如何帮助专业人士或非专业人士的个人及企业员工来提高数据应用能力,所以经过很长时间的考虑和验证,特意设计了2个付费学习圈子,可能在一定程度上帮助到你。该圈子主要围绕如果快速提升数据应用能力为主题,最好有一定基础,当然很多强决策人员希望了解整体应用思路没有基础也可以,关于内容设计,你加入圈子后也可以提出您的需求建议。关于这个主题,之前公众号连载了一些文章收到了不少的正向反馈,当然最后出现在专门学习圈子的文章我会再做进一步优化,而。

2024-05-14 12:22:33 342

原创 2024年最新数据仓库的基本架构是什么样的?,2024年阿里大数据开发岗面试必问

对于源数据而言,其数据组织形式是多样的,像点击流的数据格式是未经优化的,前台数据库的数据是基于OLTP操作组织优化的,这些可能都不适合分析,而整理成面向主题的组织形式才是真正地利于分析的,比如将点击流日志整理成页面(Page)、访问(Visit或Session)、用户(Visitor)三个主题,这样可以明显提升分析的效率。这里的业务模型指的是基于某些数据分析和决策支持而建立起来的数据模型,比如我之前介绍过的用户评价模型、关联推荐模型、RFM分析模型等,或者是决策支持的线性规划模型、库存模型等;

2024-05-14 12:21:57 757

原创 2024年最新数据仓库建设方案详细:数据平台建设_三库数据平台建设方案,2024年最新面试总结

采用分层整合,灵活配置,横向扩展,纵向贯穿的大数据平台服务能力,其计算框架、存储框架都以容器的方式,可轻松灵活的在线进行装卸,以平滑扩充大数据平台的集成能力。大数据平台能够通过对告警信息的分析,快速定位平台部出现故障的节点,对于因故障无法继续提供服务器的节点进行标记,将平台的作业任务自动分配到其他的节点上运行,同时,大数据平台采用分布式体系结构及无单点故障设计,平台任何节点的宕机都不会影响平台的稳定运行和业务的正常使用。待故障节点恢复正常后,再将该节点纳入平台的资源中,将作业任务分配到恢复后的节点上运行。

2024-05-14 12:21:19 359

原创 2024年最全C语言高级教程-C语言数组(一),连续四年百度大数据开发岗必问面试题

数组是一组数目固定、类型相同的数据项,数组中的数据项称为元素。数组中的元 素都是int、long或其他类型。下面的数组声明非常类似于声明一个含有单一数值的正常 变量,但要在名称后的方括号中放置一个数。方括号中的数字定义了要存放在数组中的元素个数,称为数组维(array dimension)。数组有一个类型,它组合了元素的类型和数组中的元素个数。因此如果两个数组的元素 个数相同、类型也相同,这两个数组的类型就相同。存储在数组中的每个数据项都用相同的名称访问,在这个例子中,该名称就是。

2024-05-14 03:45:31 794

原创 2024年最全C语言基础【程序=算法+数据结构】—(2),2024年最新面试突击版

/定义指向整型数据的指针变量 pointer_1,pointer_2。//把变量a的地址赋给指针变量 pointer_1。//把变量b的地址赋给指针变量 pointer_2。//定义整型变量a,b,并初始化。//输出a[9]~a[0]共10个数组元素。//输出变量a和b的值。//对数组元素a[0]~a[9]赋值。//相当于 int a[4] 整型为4个字节。//输出整型65的字符型。//输出字符A的整型。

2024-05-14 03:44:55 711

原创 2024年最全CSP认证 202409_3第三题防疫大数据,大佬分享开发经验

if siteDic[nst][1]

2024-05-14 03:44:19 520

原创 2024年最全ChatGPT方法论“BORE“_bore分析法,程序员如何应对中年危机

在“BORE”方法中,四个字母分别是四个单词的首字母,B代表Background,O代表Objectives,R代表key Results,E代表Evolve,“BORE"本身也是个英文单词,有“钻孔”的意思,很好记。我们在之前的场景中其实已经为ChatGPT定义了OKR,例如在“应用场景2 起草文档的结构与框架”里,“提供一个试乘体验报告框架模板”就是“O”,而"要涵盖产品体验的不同方面,使用逻辑严密,清楚的语言,有优雅清晰易于理解的结构"则可以看做“KR”。讲到这里,我们复习一下上面所讲的内容。

2024-05-14 03:43:43 581

原创 2024年大数据最全【大数据】Kafka高频面试题(三)_kafka高平面试题(2),整理了3家面试问题:美团+字节+腾讯

acks=1的时候(只保证写入leader成功),如果刚好leader挂了。数据会丢失acks=0的时候,使用异步模式的时候,该模式下kafka无法保证消息,有可能会丢2)brocker如何保证不丢失:acks=-1 : 所有副本都写入成功并确认retries = 一个合理值min.insync.replicas=2 消息至少要被写入到这么多副本才算成功。

2024-05-13 18:57:04 969

原创 2024年大数据最全【吴恩达机器学习笔记】八、应用机器学习的建议_吴机器学习,2024年最新别再说自己不会了

一部分为训练集,一部分为测试集,而我们通常将训练集和测试集按照7:3的比例进行划分,这里要注意,所划分的数据集要是随机的。

2024-05-13 18:56:28 909

原创 2024年大数据最全【刷题记录⑨】Java工程师丨字节面试真题(三)_java刷题,2024年最新大数据开发面试真题解析火爆全网

从上述计算可见选定区间[6],计算值为36, 则程序输出为36。区间内的所有数字都在[0, 100]的范围内;

2024-05-13 18:55:52 375

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除