- 博客(138)
- 收藏
- 关注
RSS订阅原创 大数据测试学习笔记之基准测试HiBench_hibench worldcount
一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！Machine Learning基准。Websearch基准。Streaming基准。
2024-05-01 03:55:16
373
原创 大数据测试之ETL测试入门_etl的测试能力
ETL测试是为了确保从源到目的地数据经过业务转换完成后是准确的。同时它还涉及数据的验证，即从源到目的地数据各个不同阶段验证数据。ETL是Extract-Transform-Load的缩写。
2024-05-01 03:54:12
547
原创 大数据测试之ETL测试入门_etl的测试能力(1)
ETL测试是为了确保从源到目的地数据经过业务转换完成后是准确的。同时它还涉及数据的验证，即从源到目的地数据各个不同阶段验证数据。ETL是Extract-Transform-Load的缩写。
2024-05-01 03:53:41
437
原创 【Python零基础快速入门系列 10】类的设计哲学：自然法则的具现(3)
下面代码中的__update_price就是私有方法，从dir的输出来看，__update_price也被python改名了，改为_dish__update_price了。python支持类动态扩展属性，该属性仅属于该类，该类之前和之后创建的对象均会拥有该类属性。在实际开发中，对象的某些属性或方法可能只希望在对象内部使用，而不希望在外部被访问到，将没有必要展示的属性隐藏到类的内部。python支持类在创建实例对象动态扩展方法，该属性仅属于该对象，不属于类，其它对象也不存在。定义方法：双下划线+变量名。
2024-04-30 08:50:06
324
原创 【Python零基础快速入门系列 10】类的设计哲学：自然法则的具现(1)
下面代码中的__update_price就是私有方法，从dir的输出来看，__update_price也被python改名了，改为_dish__update_price了。python支持类动态扩展属性，该属性仅属于该类，该类之前和之后创建的对象均会拥有该类属性。在实际开发中，对象的某些属性或方法可能只希望在对象内部使用，而不希望在外部被访问到，将没有必要展示的属性隐藏到类的内部。python支持类在创建实例对象动态扩展方法，该属性仅属于该对象，不属于类，其它对象也不存在。类的方法用来描述对象的行为。
2024-04-30 08:49:03
580
原创 【Python零基础快速入门系列 09】高级程序员绝世心法——模块化之函数封装_程序中模块的封装
”"参数x为默认参数，目的是没有参数传入时，返回一个[0]“”"return x“”"参数x为默认参数，目的是没有参数传入时，返回一个[0]“”"x = [0]return x“”"函数注释：乘法的实现Args:x (_type_): 乘数y (_type_): 被乘数Returns:_type_: 乘积“”"z = x * yreturn z“”"函数注释：乘法的实现Args:x (_type_): 乘数。
2024-04-30 08:48:32
459
原创 【Python数据结构与算法】（五）排序算法（上
上一章介绍了基本的查找方法，其中，在介绍二分查找时，我们假定列表是一个有序的，那么如果是无序的呢？我们首先需要对其进行排序。排序：将一组无序的记录序列调整为有序的记录序列。python中内置的排序函数是sort()。
2024-04-30 08:47:27
540
原创 Git命令学习-基本操作
修改尚未加入提交（使用 “git add” 和/或 “git commit -a”）（使用 “git restore --staged …（使用 “git restore --staged …（使用 “git restore --staged …（使用 “git restore …（使用 “git restore …（使用 --cached 保留本地文件，或用 -f 强制删除）（使用 --cached 保留本地文件，或用 -f 强制删除）” 以包含要提交的内容）
2024-04-29 23:43:58
714
原创 git入门（必看）
这会执行与上一条命令相同的操作，但目标目录名变为了 mydocs。Git 支持多种数据传输协议。上面的例子使用的是 https:// 协议，不过你也可以使用 git:// 协议或者使用 SSH 传输协议，比如 user@server:path/to/repo.git。为了真正理解 Git 处理分支的方式，我们需要回顾一下 Git 是如何保存数据的。前面我们了解到，Git 保存的不是文件的变化或者差异，而是一系列不同时刻的 快照。
2024-04-29 23:41:44
590
原创 Git从入门到项目实战，一篇文章吃透Git_git管理项目经验
版本控制多，在我们平时开发过程中有很多协同问题，比如软件代码的一致性、软件内容的冗余、软件过程的事物性、软件开发过程中的并发性、软件源代码的安全性，以及软件的整合等问题，在我们的生活和笔记中用一个版本控制器会大大提高我们的效率。
2024-04-29 23:41:13
862
原创 深度学习（三）—— 神经元与神经网络_神经网络神经元
tt 为神经元的输出使用数学公式表示就是：tfWTAbt=f(WTA+b)可见，。1943 年，McCulloch 和 Pitts 将上述情形抽象为上图所示的简单模型，这就是一直沿用至今的。把许多这样的神经元按照一定的层次结构连接起来，就得到了神经网络。
2024-04-29 03:51:33
338
原创 深度学习之卷积神经网络CNN及tensorflow代码实现示例_简单卷积神经网络代码
在人工的全连接神经网络中，每相邻两层之间的每个神经元之间都是有边相连的。当输入层的特征维度变得很高时，这时全连接网络需要训练的参数就会增大很多，计算速度就会变得很慢，例如一张黑白的 28×28 28×28 的手写数字图片，输入层的神经元就有784个，如下图所示：若在中间只使用一层隐藏层，参数 w w 就有784×15 = 11760 多个；若输入的是 28×28 28×28 带有颜色的RGB格式的手写数字图片，输入神经元就有 28×28×3=2352 28×28×3 = 2352 个……。
2024-04-29 03:50:30
216
原创 深度学习---三好学生各成绩所占权重问题（3）_c++评三好学生代码
之前设计的神经网络模型中，把学生的德育、智育、体育3项分数分别对应x1、x2、x3这了个输入层的节点，这样本身没有问题，但是假设又增加了一个艺术分数， 那么就需要在输入层增加一个x4节点，在隐藏层对应的也要增加一个n4节点。其中tf.Variable函数的第一个参数还是定义这个可变参数的初始值，由于x是一个形态为[3]的三维向量，w也需要相应地是一个形态为[3]的三维向量，而我们用。,这是表示变量x的形态的，它的取值是“[3]”， 表示输入占位符x的数据将是一个有3个数字的数组，也就是一个三维向量。
2024-04-29 03:49:59
257
原创 深入解析大数据体系中的ETL工作原理及常见组件
在当今数字化时代，大数据处理已经成为了企业成功的重要组成部分。而在大数据处理中，ETL（Extract, Transform, Load）是至关重要的一环，它负责将数据从不同的来源抽取出来，经过必要的转换和加工，最终加载到目标数据仓库或数据湖中。**
2024-04-29 03:48:55
315
原创 凯哥带你从零学大数据系列之Java篇---第二十四章 JVM优化_类的所有字段和方法字节码,以及一些特殊方法如构造方法、接口代码也在这里定义。
System.out.println("TOTAL_MEMORY = " + totalMemory + “（字节）、” + (totalMemory / (double)1024 / 1024) + “MB”);System.out.println("MAX_MEMORY = " + maxMemory + “（字节）、” + (maxMemory / (double)1024 / 1024) + “MB”);// 发现默认的情况下分配的内存是总内存的“1 / 4”、而初始化的内存为“1 / 64”
2024-04-28 14:44:36
590
原创 写给开发者的软件架构实战：基于架构的软件设计方法及应用
软件架构（Softons）、以及这些元素和关系的外部可视化（external properties）。它是软件系统整体构想和设计的模型，是一个系统的高层次设计，也是系统的蓝图。
2024-04-28 14:43:33
714
原创 写代码也有本手俗手之分，而我们要善于发现妙手！_本手妙手俗手 编程
print(*(k for k,v in dic.items() if v==count)) # 键值最小的所有键。dic = {n:nums.count(n) for n in nums} # 以 数字:次数 为键值对组成字典。nums = eval(input()) # 题目要求输入用半角逗号分隔的，只要用eval()函数即可。print(f’折扣率：{discount(n)}\n实际消费金额：{total:.2f}')n = int(input(‘购买数量：’))print(‘折扣率测试：’)
2024-04-28 14:43:02
632
原创 冗余双写方案下数据一致性问题解决及延申问题处理方案
(img-8z0KtU48-1714286532642)](img-jmBEkJ5Q-1714286532642)]* 如果还是用雪花算法，则容易C端和B端不一致，所以才用编号递增+1的方式。* 如果短链码重复，则调用这个方法。* url前缀的编号递增1。* 判断短链域名是否合法。* 查询短链码是否存在。* 判断组名是否合法。
2024-04-28 14:42:32
525
原创 【小程序实战系列】电商平台源码及功能实现_import { fetchhome } from ‘
navigationBarTitleText”: “首页”,message: ‘点击加入购物车’,
2024-04-28 09:27:37
418
原创 【实时数仓篇】（04）利用 Flink 实现实时状态复用场景_flink 流复用
场景一：job的operator变化（sql修改），checkpoint无法自动恢复，savepoint恢复机制无法满足，比如增加group by 和 join。设置过大，资源消耗大。是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！TT 类似于Kafka ，选用 TT ，是因为既可以做离线计算的数据源，也可以做实时计算的数据源。架构的亮点：connector 实现了离线计算的数据和实时计算的互通。
2024-04-28 09:26:34
362
原创 【实时数仓篇】（04）利用 Flink 实现实时状态复用场景_flink 流复用(3)
我是「云祁」，一枚热爱技术、会写诗的大数据开发猿。昵称来源于王安石诗中一句。
2024-04-28 09:26:03
344
原创 Hadoop安装(比较简单，适合刚入门的小伙伴)_hazop软件安装教程(2)
找到Internet协议版本4(TCP/IPv4)，双击打开配置成如下即可。
2024-04-27 23:54:58
745
原创 Hadoop大数据集群搭建（超详细）_hadoop集群搭建
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）同样通过mobaxterm的上的SFTP功能（或其他工具）上传到/export/software目录下，然后解压到/export/servers目录下。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。在hadoop01上执行。
2024-04-27 23:53:56
559
原创 Hadoop大数据集群搭建（超详细）_hadoop集群搭建(1)
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。Hadoop的JAVA_HOME版本设置未更改，例如未去掉注释等，三台虚拟机全都改好后重启hdfs和yarn。执行该程序（参考下文中可能遇到的问题，问题1、2为必现问题，建议直接修改）
2024-04-27 23:53:24
826
原创 大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day11】——Hbase5(2)
•创建全局索引，会自动构建一张索引表•索引表结构–Rowkey：索引字段+原表的rowkey–列：占位置x•特点：如果查询字段或者查询条件不是索引字段，就不会走索引•应用：适合于读多写少•创建覆盖索引，会自动构建一张索引表•索引表结构–Rowkey：索引字段+原表的rowkey–列：将include中的列放入索引表•特点–如果查询字段或者查询条件不是索引字段，就不会走索引–如果查询的字段在索引表中，直接从索引表返回结果。
2024-04-27 11:55:11
745
原创 俺把所有粉丝显示在地图上啦~【详细教程+完整源码】_查找给定ip地址的粉丝
li_name = [] # 存储博客名blogUrl = [] # 存储博客链接id = 0i = 0if i == 0: # 如果是第一页的粉丝数据else:try:# 获取粉丝博客名#̲ 获取粉丝博客链接…blogUrl’)# 获取粉丝博客idprint(id)except:breaki += 1print(f’第{i}页粉丝数据获取成功！')
2024-04-27 09:53:48
945
原创 【HTML③】JavaScript基础、使用JavaScript制作网页特效、使用前端库及UI框架快速开发_javascript网站制作
(2)string类型(字符、字符串)(3)boolean逻辑类型(true,false)使用typeof（变量）函数可以检测一个变量的数据类型b.变量的声明及使用由于JS是一个弱类型的语言，在JS中没有明确的数据类型，所有在声明变量时不需要指定数据类型(Java等编程语言在使用时需要指定具体类型的)JS通过var关键字来声明变量(var关键字可以省略)var name = “强哥”；document.write(“姓名:”+name+“年龄:”+age);
2024-04-27 05:59:10
883
原创 Java入门基础第2天《java jdk下载与安装教程》_jdb下载后怎么安装
我们在安装 JDK 之前，首先要到 Oracle 网站获取 JDK 安装包。JDK 安装包被集成在 Java SE 中，因此下载 JavaSE 就可以了。1.下载之后，双击之后安装JDK.，傻瓜式操作点击下一步。2.如图，简单介绍下列列表中选择安装的可选功能（版本不一样，中文版请忽略此介绍）Development Tools 开发工具Source Code 源代码public JRE 公共JRE更改安装路径（不建议安装到c盘——系统盘），再次点击下一步。
2024-04-27 02:09:05
334
原创 CSS基础12-canvas_canvas css
ctx.translate(x,y) 方法重新映射画布上的 (0,0) 位置。ctx.restore() 返回之前保存过的路径状态和属性。ctx.save() 保存当前环境的状态。可以把当前绘制环境进行保存到缓存中。
2024-04-27 00:14:39
724
原创 鸿蒙HarmonyOS实战-Stage模型（卡片数据交互）_return formbindingdata(1)
scheduledUpdateTime”: “10:30”, // 设置卡片的定点刷新的时刻。// 在卡片页面触发message事件时，下载一个网络图片，并将网络图片内容传递给卡片页面显示。// 建议下载能快速下载完成的小文件，如在5秒内未下载完成，则此次网络图片无法刷新至卡片页面上。// 假设在当前卡片应用的tmp目录下有一个本地图片：head.PNG。// 在添加卡片时，打开一个本地图片并将图片内容传递给卡片页面显示。
2024-04-21 06:19:10
945
原创 鸿蒙HarmonyOS实战-Stage模型（信息传递载体Want）_want的基本概念、用途和类型
onClick(this.explicitStartAbility) // explicitStartAbility见下面示例代码。(img-miuWBNc9-1713651508611)]表示目标Ability的类别信息（如浏览器、视频播放器）表示调用方要执行的通用操作（如查看、分享、应用详情）同理新建calleeAbility。1、module.json5配置。新建callerAbility。
2024-04-21 06:18:39
916
原创 鸿蒙HarmonyOS实战-Stage模型（信息传递载体Want）_want标签匹配规则
onClick(this.explicitStartAbility) // explicitStartAbility见下面示例代码。| 不为空 | 不完全包含调用方传入的entities | 失败 || 不为空 | 包含调用方传入的entities | 成功 |表示目标Ability的类别信息（如浏览器、视频播放器）表示调用方要执行的通用操作（如查看、分享、应用详情）| 不为空 | 为空 | 失败 |同理新建calleeAbility。1、module.json5配置。新建callerAbility。
2024-04-21 06:17:05
811
原创 鸿蒙HarmonyOS实战-Stage模型（UIAbility组件）_error module-abilities-srcentry ‘(4)
在HarmonyOS中，globalThis可以用来访问当前运行环境中的全局对象，可以是浏览器环境中的window对象，也可以是Node.js环境中的global对象。6、在AbilityA的页面再次回到前台时，其获取到的globalThis.context表示的为AbilityB的UIAbilityContext，而不是AbilityA的UIAbilityContext，在AbilityA的页面中使用则会出错。// 这时候globalThis中的context是AbilityB的context。
2024-04-21 06:16:01
834
原创 鸿蒙HarmonyOS实战-Stage模型（UIAbility组件）_error module-abilities-srcentry ‘(3)
HarmonyOS中的Stage模型是一种基于UIAbility组件的应用程序架构。UIAbility是HarmonyOS系统中用于构建用户界面的基本组件之一。它负责处理应用程序界面的显示和交互。在Stage模型中，每个应用程序都有一个或多个Stage。Stage是一个独立的界面容器，可以包含多个UIAbility。每个UIAbility代表了应用程序中的一个界面页面，可以独立展示、交互和管理数据。UIAbility可以实现不同的功能，比如展示静态信息、接受用户输入、进行数据处理等。
2024-04-21 06:15:30
794
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人