bigdata产品狗-CSDN博客

原创 FineBI如何设置能安装自定义驱动

INSERT INTO FINE_CONF_ENTITY VALUES('SystemConfig.driverUpload','false')的话直接改成true。，修改db.script文件，添加如下内容。2.右键图标打开安装目录寻找。接下来重新启动，设置驱动就好啦。1.先停止FineBI。

2024-06-29 20:42:15 186

redo log是InnoDB引擎层的日志，用来记录事务操作引起数据的变化，记录的是数据页的物理修改。乐观锁（ Optimistic Locking ）相对悲观锁而言，乐观锁假设认为数据一般情况下不会造成冲突，所以在数据进行提交更新的时候，才会正式对数据的冲突与否进行检测，如果发现冲突了，则让返回用户错误的信息，让用户决定如何去做。排他锁又称为写锁，简称X锁，顾名思义，排他锁就是不能与其他所并存，如一个事务获取了一个数据行的排他锁，其他事务就不能再获取该行的其他锁，包括共享锁和排他锁。

2024-06-05 22:42:11 419

原创数仓分层Hadoop大数据

源数据层(ODS) : 将业务系统中数据导入的数据仓库中不会对数据做任何的处理, 作为一张临时表数据。数据仓库层(DW) : 对源数据层中数据进行数据的清洗工作(将不规则的数据转换为规则的数据),数据仓库大致分为3层，分别为ODS-DW-APP(DA-ADS)层。数据应用层(ADS) : 将数据的结果进行保存, 展示处理。

2024-04-15 23:44:41 101 1

原创大数据hadoop MR中MapTask

4) 将这些数据缓存到环形缓存区中, 环形缓冲区默认的大小是100M , 有一个临界值0.8, 当达到这个临界值的时候, 会启动一个溢写的线程, 将80%的数据写出一个本地的临时的文件中, 剩余20%还可以并行的存储数据当溢写的线程执行完成后, 剩余的80%空间也是重复的利用, 达到循环使用的过程,3) 执行分区的逻辑: (自定义的分区逻辑, 默认的分区逻辑), 主要的目的, 就是为了给key2进行打分区号标识。5) 在执行溢写时, 会对溢写的数据进行排序操作, 如果此时有规约, 也会执行规约。

2024-04-15 23:43:04 206 1

原创大数据面试题：Hadoop HDFS数据读取流程

2) namenode在接收到请求后, 要判断: 权限文件是否已经存在不管判断哪个, 只要不符合, 都会报错,如果都符合, 会视情况返回部分或者全部的block的列表地址 (datanode地址)3) client接收到block的列表地址后, 并发的连接各个block的地址, 读取数据, 在读取完成后, 会进行校验(判断是否全部读取完整)5) 将各个block按照顺序将所有block拼接在一起, 组合成一个文件。1)client请求namenode, 执行读取数据的请求。

2024-04-15 23:41:46 108 1

原创 hadoop面试题，3.X中，HDFS的数据写入流程

7) client就开始发送数据, 数据是以 package(数据包 64kb) 当第一台接收后, 然后第一台在发送给第二台, 第二台发送给第三台还会建立应答体系, 每一台接收数据后, 都需要给应答体系做一个响应。6) client收到服务器列表后, 先获取其中的第一台, 与之关联, 然后由一台和第二台关联, 第二台与第三台关联建立整个 pipeline管道体系。8) 当第一个block发送完成后, client会在再次请求第二个block应该存储在那些datanode服务器列表中再次从第六步开始执行。

2024-04-15 23:38:15 129 1

原创 python小游戏足球游戏，鸡兔同笼，星星倒三角，计算器，猴子吃桃

1 足球游戏，共有左中右三个方向用于射门或者扑救动作，玩家直接输入方向射门，电脑随机挑选方向扑救，如果方向相同，那么电脑得分， - 如方向相反，那么玩家得分。用户可以重复输入两个数字和一个运算符来执行基本的算术运算（加法、减法、乘法、除法），直到用户选择退出。2.鸡兔同笼共94只脚，35个头，鸡兔各有多少只？

2024-01-28 09:07:00 370 1

原创学生管理系统开发

最终效果需要呈现以下部分----学生管理系统 v1.0----1.添加学生的信息 =>add student()2.删除学生的信息 =>del_student()3.修改学生的信息 =>edit_student()4.查询学生的信息 =>...5.遍历所有学生的信息(选做-保存数据到文件)6.退出系统。

2024-01-26 23:38:59 340 1

原创 python中的列表推导式

【代码】python中的列表推导式。

2024-01-26 19:58:34 426 1

原创点名系统与split 与join

split(分隔符号):使用分割符号对字符串进行切割，返回一个列表，列表中的每个元素就是分隔符两边的数据。replace(old,new):把字符串中的关键词进行替换。join(列表容器)：把一个列表拼接为字符串'''

2024-01-26 19:47:55 346 1

原创 python中random猜拳，1-100累加和，break,continue

【代码】python中random猜拳，1-100累加和，break,continue。

2024-01-26 19:17:20 362 1

原创贝叶斯算法-多项式-两段代码实现分类预测

TF-IDF实际上是：TF * IDF。主要思想是：如果某个词或短语在一篇文章中出现的频率高（即TF高），并且在其他文章中很少出现（即IDF高），则认为此词或者短语具有很好的类别区分能力，适合用来分类。- 在信息检索中，tf-idf是一种统计方法，用以评估一个单词在一个文档集合或语料库中的重要程度。数据使用fetch_20newsgroups中的数据，包含了20个主题的18000个新闻组的帖子。- 加载20类新闻数据，并进行样本分割。- 使用模型进行文章分类。- 什么是TF-IDF。

2024-01-07 21:34:54 333 1

原创贝叶斯算法-高斯模型

朴素贝叶斯（ N a i v e B a y e s i a n a l g o r i t h m ）是有监督学习的一种分类算法，它基于 “ 贝叶斯定理” 实现，该原理的提出人是英国著名数学家托马斯· 贝叶斯。贝叶斯定理是基于概率论和统计学的相关知识实现的，因此在正式学习“ 朴素贝叶斯算法” 前，我们有必要先认识“ 贝叶斯定理”。实际上贝叶斯定理就是求解后验概率的过程，而核心方法是通过似然度预测后验概率，通过不断提高似然度，自然也就达到了提高后验概率的目的。

2024-01-07 21:31:18 303 1

原创无监督模型K- means重要参数介绍

n_clusters是KMeans中的k，表示着我们告诉模型我们要分几类。这是KMeans当中唯一一个必填的参数，默认为8 类，但通常我们的聚类结果会是一个小于8的结果。- 当我们拿到一个数据集，如果可能的话，我们希望能够通过绘图先观察一下这个数据集的数据分布，以此来为我们聚类时输入的n_clusters做一个参考。- 其实我们不必使用所有的数据来寻找质心，少量的数据就可以帮助我们确定质心了。- 当我们数据量非常大的时候，我们可以使用部分数据来帮助我们确认质心。- labels_:表示样本聚类的结果。

2024-01-07 21:18:08 943 1

原创算法模型是如何实现人脸识别的

本期分享的知识是用算法模型进行人脸识别。- 人脸识别任务- 400张共计40个人的人脸照片。- 使用人脸照片作为样本的特征，人脸的名字作为标签数据。

2024-01-07 20:39:07 392 1

原创销售分析项目

项目需求- 对一家日用品销售数据进行 “人、货、场”分析，并给出提升销量的针对性建议。- 人：对客户进行价值分析。分析客户类型与销售贡献比、基于RFM模型的用户行为分析。- 货：商品分析。了解在售商品结构（品类，价格带，折扣带）找出优势/爆款商品、劣势/待优化商品。- 场：对统计周期内的运营情况进行分析。- 市场布局分析：对全球不同分店盈利情况进行分析，各国盈利情况进行分析。- 促销活动分析- 盈利情况分析：根据一些盈利指标（销售额、利润额、利润率、销售量）对盈利情况进行分析；

2024-01-07 18:50:11 1131 1

2301_78108453的博客