- 博客(171)
- 收藏
- 关注
RSS订阅原创 最新C++实现的二叉树创建和遍历，超入门邻家小女也懂了_c+(3)，我拿到了梦寐以求的字节跳动和腾讯双offer
struct 结构体类型名 *指针名 =(struct 结构体类型名 *)malloc(sizeof(struct 结构体类型名))struct 结构体类型名 *指针名 = new struct 结构体类型名;//结构体指针并用new申请内存。struct 结构体类型名 *指针名 = &一个结构体的名字;//结构体指针并赋初值。(img-OLMt8yMA-1715809677917)]//结构体指针并用malloc申请内存 使用应包含头文件stdlib.h。struct 结构体类型名 *指针名;
2024-05-16 05:48:19
919
原创 最新Apache celeborn 安装及使用教程_celeborn apache 启动(1)，2024年最新高级大数据开发面试答案
因为在配置文件中已经配置了master 所以启动matster和worker即可。
2024-05-16 05:47:46
351
原创 最新AL遮天传 DL-深度学习模型的训练技巧_al是怎么训练，掌握了这些大数据开发高级工程师必备知识
当使用SGD时, 不同迭代次数时输入到神经网络的数据不同，可能导致某些层输出的分布在不同迭代次数时不同。在训练迭代过程中，以 p (通常为0.5)的概率随即舍弃掉每个隐含层神经元(输出置零)。我们把：训练中，深度神经网络中间节点分布的变化叫做：内部协变量偏移(ICS)。需要调整神经元输出的权重，用来弥补训练中只有一部分被激活的现象。偏置项可以忽略，因为BN的便宜项有相同的效果，因此。对于给定的数据集和任务， 需要选择合适的超参数。不同数据类型(文本，图像，音频)有不同的变换。
2024-05-16 05:47:13
703
原创 大数据最新数据库性能优化的误区！_数据库不合理优化，2024年最新为了跳槽强刷1000道大数据开发真题
有些场景下，针对业务特点和应用类型做操作系统调优是能取到立竿见影的效果，但是大多数时候往往提升并不明显。所以最关键的还是找出瓶颈所在，对症下药。但是从优化角度讲数据库的等待事件、Latch等指标高等等都只是问题的表象，懂得底层细节和内幕固然是好。事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！调整系统参数是非常重要的，但不一定能解决性能问题，否则就不会有去IOE了，问题可能性最大的还是应用设计和开发问题。
2024-05-15 21:00:17
293
原创 大数据最新数据同步工具对比——SeaTunnel 、DataX、Sqoop(1)，2024年最新2024年字节跳动、阿里等大厂大数据开发面试题
Sqoop是一款开源的工具，用于在Hadoop和关系型数据库之间高效地传输数据。它可以将数据从关系型数据库导入到Hadoop的HDFS中，也可以将数据从HDFS导出到关系型数据库。Apache Flume是一个分布式的、可靠的、高可用的服务，用于高效地收集、聚合和移动大量日志数据到集中式数据存储位置。Flink CDC（Change Data Capture）是基于Apache Flink的一个库，用于捕获并处理数据库的变更数据。它可以实时监控数据库的增删改操作，并输出到Flink进行处理。
2024-05-15 20:59:44
364
原创 大数据最新数据仓库——聚集，2024最新腾讯大数据开发高级面试题总结
由于多维数据集首先是一种高性能的数据结构，因此构建汇总多维数据集的聚集几乎没有意义，然而如果原始多维数据集被调整为获得高容量而不是高性能，这样做是有用的。
2024-05-15 20:59:11
331
原创 大数据最新数据仓库——事实表(1)，2024年最新2024最新大数据开发知识体系总结
导出模式是要付出代价的，这种好处的获得是通过将查询和报表阶段的工作负担转嫁到ETL阶段实现的。融合事实表将一个或者多个星型模式中的事实合并为单一的事实表，产生的星型模式可以用于横向钻取。事实表快照在确定的时间间隔中对问题的度量进行抽样，这样就可以容易地研究问题的度量值，而不需要聚集长期的事务历史。状态度量，通常可以从事务历史中构造出来，然而如果事务历史延伸到很远的过去，或者必须计算许多事务的状态，监控状态将是低效的办法。无事实的事实表中的事件能够通过计算行数来聚集，事实表中的任何列也都可以作为计数的基准。
2024-05-15 20:58:38
265
原创 大数据-Hadoop集群搭建（配置免密登录及配置环境）_5、hadoop安装过程需要实现免密登录,且免密登录采用了非对称加密算法,算法涉及一(1)
在 hadoop 用户下，输入命令 ssh-keygen ，连按 3 次回车，之后你会发现，在/home/hadoop/.ssh 目录下生成了一对密钥。vi /etc/udev/rules.d/70-persistent-net.rules，以h1为例，将eth0所在行注释或删除，将eth1改为eth0，其他两台一样。sudo vi /etc/sysconfig/network,修改hostname，SecureCRT下方右键，可以对多个会话一起发命令，比较方便，三台虚拟机一起修改。
2024-05-15 10:10:23
252
原创 大数据 数据挖掘 推荐系统 机器学习相关资源_github 大数据推荐系统(3)
guwendongxlvector懒惰啊我free mindLSRS 2013Google小组。
2024-05-15 10:09:11
349
原创 【云原生 从零开始学Kubernetes】二、使用kubeadm搭建K8S集群_kubeadm --pod-network-cdr(2)
apiserver-advertise-address=192.168.11.139 \ # 当前主机ip–image-repository registry.aliyuncs.com/google_containers \ # 镜像–kubernetes-version v1.18.0 \ # 版本–service-cidr=10.96.0.0/12 \ # 这个参数后的IP地址直接就套用10.96.0.0/12 ,以后安装时也套用即可，不要更改。
2024-05-15 01:31:59
673
原创 【云原生 从零开始学Kubernetes】二、使用kubeadm搭建K8S集群_kubeadm --pod-network-cdr(1)
然后重启docker。
2024-05-15 01:31:23
457
原创 【云原生 从零开始学Kubernetes】三、Kubernetes集群管理工具kubectl
kubectl是Kubernetes集群的命令行工具，通过kubectl能够对集群本身进行管理，并能够在集群上进行容器化应用的安装和部署。
2024-05-15 01:30:47
978
原创 【云原生 从零开始学Kubernetes】三、Kubernetes集群管理工具kubectl(3)
kubectl是Kubernetes集群的命令行工具，通过kubectl能够对集群本身进行管理，并能够在集群上进行容器化应用的安装和部署。
2024-05-15 01:30:11
917
原创 Hadoop安装(比较简单，适合刚入门的小伙伴)_hazop软件安装教程(3)
我们先来看HDFS集群状态，打开浏览器，在地址栏输入http://node1:9870，出现如下界面，就说明启动成功了。下载之后打开这个目录，将 这个文件(也就是虚拟机压缩文件)解压到一个自己想要的目录，最好是没有中文，空格的目录。：node2和node3是基于node1存在的，所以需要关联node1，定位到node1中的这个文件即可。选择SSH连接，按照如下格式即可，三台虚拟机需要创建三次连接，点击接受并保存密码。解压之后发现三个目录，先打开node1，双击该文件。打开node1，找到快照管理器，
2024-05-14 16:09:24
802
原创 Hadoop安装(比较简单，适合刚入门的小伙伴)_hazop软件安装教程(2)
点击NAT设置配置一下网关IP，跟图中一样即可一直确定，就配置完成了。
2024-05-14 16:08:48
509
原创 Hadoop安装(比较简单，适合刚入门的小伙伴)_hazop软件安装教程(1)
打开网络连接 ，双击打开属性找到Internet协议版本4(TCP/IPv4)，双击打开配置成如下即可。
2024-05-14 16:08:12
827
原创 Hadoop增加新节点环境配置（自用）_hadoop集群添加新的节点需要改什么内容
主机名改成hadoop106，点应用IP:192.168.100.106，子网掩码：255.255.255.0，网关：192.168.100.2，DNS：192.168.100.2。9.然后就点开始安装，在这个期间创建root密码123123，由于我们的密码不符合系统安全要求，所以需要点击两次完成。等进度条⾛完，就可以点重启了。此时CentOS7安装完成并启动，等待我们输⼊账户，密码。此时可打开 mobaxterm 新建session 输⼊192.168.100.106 连接。
2024-05-14 16:07:36
319
原创 2024年最全当我亲身面对大数据杀熟的商家，2024年最新2024大数据开发大厂面试知识分享
一行本科期间也卖过电话卡来赚差价，拿卡 0 成本，卡里有 50 元话费，随便我们卖，这么暴利的事情，不干还是人吗。当在我选择购买 apple homepod 的时候，虽然闲鱼和淘宝的图文介绍一摸一样，价格差了有 500 之多，但我还是不忍心在闲鱼买，真的像是把头伸进别人的刀俎里，害，这也许还是平台的力量。但是当时财商为负值，获利居然感觉这是种骗人的行为，毕竟拿卡的钱是 0 元，然后骗人说是 50 元成本，最后把钱都给退了，退了，退了。忿忿不安的时候听到有人能靠这个月入六位数，我去，这钱俺也想赚。
2024-05-14 07:31:20
857
原创 2024年最全干货合集│最好用的 python 库都在这_机器学习中tpdm什么意思(1)，2024年最新阿里技术专家
EC.text_to_be_present_in_element((By.XPATH, ‘//*[@id=“mobile-code-get”]/span’), u’发送’)translator.translate(‘程序员亮仔’, src=‘zh-cn’)tb.add_row([‘程序员亮仔’, 27, 184, 69.5])tb.add_row([‘程序员’, 23, 164, 55])tb.add_row([‘亮仔’, 25, 174, 65])# 判断事件是否为退出事件。# 退出pygame。
2024-05-14 07:30:44
523
原创 2024年最全帮你飞的更高-CSDN超级实习生与C认证_csdn实习生计划(1)，2024年最新2024年阿里大数据开发面试题精选
最近CSDN有联系到我，希望我能成为CSDN的合作伙伴，帮助推广计划。既然是推广，我肯定是需要对我的粉丝们负责的，我首先要说服自己这东西有价值，我才能去推荐。毕竟字母哥哥在IT圈也是稍微有一点点影响力的，羽毛还是要爱惜的。
2024-05-14 07:30:08
748
原创 2024年最全带你初识微服务_微服务耦合性还是很高(4)，大数据最新开源框架
正所谓家有家法、行有行规，微服务也有人家的一套准则，至于准则是什么，这章我们不来细说，我把微服务的服务拆分准则和远程调用的方法放在本专栏的下一篇文章中，这篇文章，风哥仅仅带大家了解下微服务，目的是为了提起大家的学习兴趣，如果这个章节太过繁琐，知识点过多，怕是会劝退很多小伙伴啊😂。 首先，看了上边，相信小伙伴们对微服务有了一个整体上的了解，但是却有着不清晰的概念，接下来，风哥给大家梳理一下。 分布式架构特征：根据业务功能对模块进行拆分，极大限度保证一个功能一个模块，一个模块为一个服务。
2024-05-14 07:29:32
821
原创 2024年大数据最新java面试系列-JDBC常见面试题（附答案）_jdbc面试题(2)，微信小程序的事件处理
当我们为了数据的一致性使用事务时，数据库系统用锁来防止别人访问事务中用到的数据。数据库通过锁来防止脏读，不可重复读(Non-Repeatable Reads)及幻读（Phantom-Read）的问题。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！
2024-05-13 22:43:09
869
原创 2024年大数据最新Java面向对象三大基本特征之多态_面向对象方法中,多态指的是(2)，这些知识你必须拿下
/在向下转型过程中，容易出现类型转换异常ClassCastException，将父类引用转换成了其它的子类对象，所以在转换之前需要对父类引用类型进行判断。//定义一个动物叫的方法。
2024-05-13 22:42:33
283
原创 2024年大数据最新Java面向对象三大基本特征之多态_面向对象方法中,多态指的是(1)，2024年最新2024吊打面试官系列
可以看到在Master类中将Animal类对象作为一个形参，来进行方法的调用；子类：Penguin类。主人类：Master类。主人类：Master类。父类：Animal类。父类：Animal类。
2024-05-13 22:41:58
204
原创 2024年大数据最新Java集合容器面试题（2024最新版）(2)，2024年最新大数据开发基础面试题2024
Hash，一般翻译为“散列”，也有直接音译为“哈希”的，这就是把任意长度的输入通过散列算法，变换成固定长度的输出，该输出就是散列值（哈希值）；这种转换是一种压缩映射，也就是，散列值的空间通常远小于输入的空间，不同的输入可能会散列成相同的输出，所以不可能从散列值来唯一的确定输入值。简单的说就是一种将任意长度的消息压缩到某一固定长度的消息摘要的函数。所有散列函数都有如下一个基本特性**：根据同一散列函数计算出的散列值如果不同，那么输入值肯定也不同。
2024-05-13 22:41:21
833
原创 淘宝数据可视化大屏案例(Hadoop实验)_hadoop数据分析可视化案例(1)
2.准备环境，Hadoop集群，需要hdfs，hive，Fiume，sqoop等插件，需要提前自己安装，使用12月数据做一个分析。2.2 使用vi命令，新建一个file_hive.properties文件，把下面的数据插入到里面。该文件用于监听的作用，自动就会在家目录下面，然后我们需要创建几个文件夹，就是下图我备注的那些字段。注意这里修改的是hive文件下面的，也就是第一个文件，不是第二个flume！经过大量的测试，我自己写了一个sq语句，也可以达到以上的效果。优化代码类型（思路类似）
2024-05-12 19:46:17
736
原创 浅谈大数据建模的主要技术：维度建模_大数据平台数据 建模 设计(2)
实际上，我们通过和业务方、需求方交谈，或者阅读报表、图表等，可以很容易地识别度量。但是，单单谈论度量，是没有意义的。度量和环境这两个概念构成了维度建模的基础。而所有维度建模也正是通过对度量和及其上下文和环境的详细设计来实现的。
2024-05-12 19:45:41
721
原创 浅谈大数据建模的主要技术：维度建模_大数据平台数据 建模 设计(1)
实际上，我们通过和业务方、需求方交谈，或者阅读报表、图表等，可以很容易地识别度量。
2024-05-12 19:45:05
591
原创 没想到 Kafka 还会这样问，学会这些带你轻松搞定大厂面试！_follower参加读写吗
关于消息队列更深入的一些知识，大家可以看这里------关于消息队列的使用。关于 Kafka 和传统消息队列有何不同，在上一篇博客中已经做出解答，这里我就不再赘述。一般情况下，Kafka应用在大数据日志处理或对实时性（少量延迟），可靠性（少量丢数据）要求稍低的场景使用。
2024-05-12 19:44:29
761
原创 大数据最新聊聊数据仓库中维度表设计的二三事_维度建模 维度表之间的关系，字节面试官
比如对于商品的描述信息，也许业务人员对此并不敏感，或者认为无关紧要，这种情况可以直接覆盖。但是对于商品所属的类目发生变化，则需要认真考虑， 因为这涉及归类这个商品的销售活动到哪个类目一一是全部归到新类目，还是全部归到旧类目？变化前归到旧类目，还是变化后归到新类目？这实际上也涉及了下面要分享的缓慢变化维的几种处理办法。
2024-05-12 02:36:47
642
原创 大数据最新聊聊我在腾讯和字节工作感受_程序员鱼皮，2024年最新开发岗面试自我介绍
腾讯是早餐免费，晚餐可以刷夜宵券抵扣（一般都用不完）。虽然小礼物感觉没有字节跳动多，但公司内经常搞各式各样的小活动，参与就有奖励，比如多到爆炸的文化衫，我记得当时有个活动 1 天送 1 件文化衫，我直接拿了 5 件当睡衣。。。此外，腾讯的员工福利和关怀真的没得说，茶水间、健身房、生日礼、关爱讲堂、周年礼等超过 50 个特殊福利，还有前段时间网上传遍的最高 90w 免息购房贷款，从入司、日常出行到终身大事，都为你保驾护航，的确能减少不少压力。
2024-05-12 02:36:11
615
原创 大数据最新耗时n年，38页《数据仓库知识体系(5)，2024年最新2024年“金三银四”来袭
那么基础库和主题库的建设就是在对业务理解的基础上，基于易存储、易管理、易使用的原则抽像数据存储结构，说白了，就是基于一定的原则设计数据库表结构，然后再根据数据资源清单设计数据采集清洗流程，将整洁干净的数据存储到数据库或数据仓库中。在后台，是一致性维度的产生、保存和分发的场所。：元数据管理是对基础库和主题库中的数据项属性的管理，同时，将数据项的业务含义与数据项进行了关联，便于业务人员也能够理解数据库中的数据字段含义，并且，元数据是后面提到的自动化数据共享、数据交换和商业智能（BI）的基础。
2024-05-12 02:35:35
693
原创 大数据最新群集【LNMP+SSL+nfs+负载均衡及高可用】_lnmp高可用，干货整理
root@lb1 conf.d]# scp -rp root@192.168.1.7:/etc/nginx/ssl_key /etc/nginx/ //复制证书。[root@web2 nginx]# scp -rp root@192.168.1.7:/etc/nginx/ssl_key /etc/nginx //复制证书。[root@web2 nginx]# mount -t nfs 192.168.1.11:/wordpress/ /wordpress //挂载论坛目录。
2024-05-12 02:34:58
1022
原创 大数据最全Kafka生产者分区_第3关 kafka 生产者分区 (三) 头歌(2)，2024年最新2024年大数据开发常见面试题目
生产环境中，我们往往需要更加自由的分区需求，我们可以自定义分区器。需求：在上面的根据key分区案例中，我们发现与我们知道的hash分区结果不同。那么我们就实现一个。3．实现步骤：① 定义类，实现Partitioner接口② 重写partition()方法代码实现：/\*\*\* 1. 实现接口Partitioner\* 2. 实现3个方法:partition,close,configure\* 3. 编写partition方法,返回分区号\*//\*\*
2024-05-11 17:56:59
508
原创 大数据最全kafka学习笔记(4)，2024年最新实战讲述大数据跨平台框架应用
Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等。
2024-05-11 17:56:23
894
原创 大数据最全kafka学习(1)，2024年最新2024最新腾讯大数据开发面试分享
发布者发布一条消息，该消息通过主题传递给所有的订阅者，在一条消息广播之后才订阅的用户则是收不到该条消息的。在发布 - 订阅模型中，如果只有一个订阅者，那它和队列模型就基本是一样的了。所以说，发布 - 订阅模型在功能层面上是可以兼容队列模型的。发布订阅模型（Pub-Sub） 使用。作为消息通信载体，类似于。
2024-05-11 17:55:47
757
1
原创 大数据最全Kafka入门到实战-第二弹，【金九银十】
义、实战项目、大纲路线、讲解视频，并且后续会持续更新**执行完会有一个test.sink.txt文件,也可以通过下边的命令查看数据。
2024-05-11 17:55:11
357
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人