- 博客(1430)
- 资源 (11)
- 收藏
- 关注
RSS订阅转载 采用哈希映射让大页不再需要连续物理内存！
在本文的实现中，VA可以被映射到1个有56个slot的bucket和6个有8个slot的bucket，h=104，只需要7位来表示每个子页的物理地址。每个4KB子页都是独立分配的，但是会保证他们的物理地址会被限制在一定的范围内，以降低物理地址编码的长度。另一方面，TLB的能耗已经非常高（3-13%），如果为其设置更多的关联组或者更深的层次结构，势必会增加它的能耗。在现有的TLB架构中，可以实现a=logp/logh = 4，即在不带来任何负面影响，不需求连续物理内存的前提下，实现4倍的TLB覆盖率提升。
2024-01-08 08:54:46
103
转载 SeaTunnel 超大数据量数据集成平台简介
主流的大数据处理引擎 SeaTunnel 都支持：包括多个版本的 Flink，Spark，以及 SeaTunnel 自己的引擎 SeaTunnel Engine。SeaTunnel 的执行流程如上图所示，最上面是 SeaTunnel 内部 SQL 和API 的定义，基于这些定义生成连接器，然后将连接器和 Job 提交到对应的引擎上进行处理，最终数据通过Sink写入目标端。我们希望支持数据源的数量更多，数据同步的性能更快，在易用性方面更好用，从这三方面不断迭代优化，以满足更多的用户需求。
2023-12-25 14:41:39
863
原创 pycharm手动安装包
以TTS包为例，找到下载并解压的包中的2个文件，一个名称一个info结尾。在pycharm中terminal执行，找到下载解压包中的依赖文件。2.手动解压，找到文件放到pycharm对应项目的lib文件夹中。4.可能需要安装该包对应的依赖。3.放到项目的lib文件夹中。
2023-12-11 17:09:25
561
转载 数据库流水线发布data Ops--Bytebase
在本文中，我们首先向读者展示了 Bytebase 的安装部署过程，以及其查询和更改的基本功能。接着，我们体验了 Bytebase 1.14.0 最新版本所带来的 ChatSQL 功能，该功能基于 OpenAI，能够根据我们的问题或需求生成相应的 SQL 语句。最后，我们实践了 Bytebase 的 GitOps 功能，通过结合版本控制系统，可以跟踪数据库结构的变化，方便我们对数据库变更进行审查、协作和回滚操作。
2023-12-11 13:35:32
159
原创 python中dataframe，df中挑选几列生成新df
不知道怎么搞的时候真是费劲，搜到了一看王德发这么简单!ps: 后边是两个 中括号 [[ '列名']]
2023-12-01 15:29:00
634
转载 python实现列转行--pivot_table函数
Pandas>>pivot_table()函数列转行index：必选参数，用来指定行索引。如果用数组做行索引，数据必须等长。 columns：必选参数，用来指定列索引。 values：可选参数，用来做集合的值。默认是显示所有的值。 aggfunc：聚合函数， pivot_table后新dataframe的值都会通过aggfunc进行运算。在pivot_table会将多重值调用aggfunc函数后放在相应的位置上。默认的aggfunc函数为求平均。 fill_value：填充NA值。默认不填充
2023-11-30 10:45:58
321
转载 机器学习---聚类算法
我们知道，分类问题是机器学习中最常见的一类问题，它的目标是确定一个物体所属的类别。例如，我们要判定一个水果是苹果、杏，还是桃。解决这类问题的办法是先给一些各种类型的水果让算法学习，然后根据学习得到的经验对一个水果的类型做出判定。这就像一个幼儿园的小朋友，老师先拿各种水果教他们，告诉每种水果是什么样子的，接下来这些孩子就会认这些类型的水果了。这种做法称为有监督学习，它有训练和预测两个过程，在训练阶段，我们用大量的样本进行学习，得到一个判定水果类型的模型。
2023-11-29 13:46:26
88
转载 MySQL性能优化
在进行优化讲解之前，先请大家记住不要听信你看到的关于优化的“绝对真理”，而应该是在实际的业务场景下通过测试来验证你关于执行计划以及响应时间的假设。给大家提供一些优化方面的方向和思路，而具体业务场景的不同，使用的MySQL服务版本不同，都会使得优化方案的制定也不同。MySQL凭借着出色的性能、低廉的成本、丰富的资源，已经成为绝大多数互联网公司的首选关系型数据库。
2023-11-22 15:04:47
84
原创 miniconda安装
在选择为谁安装的时候建议选择just me（这会让你构建的虚拟环境默认保存在安装路径的envs下，否则默认保存地址为C:\Users\User.conda\envs，更改默认地址较为麻烦，原文链接：https://blog.csdn.net/weixin_40438421/article/details/130474033。ps: 最后一句conda config --set show_channel_urls yes 一定要执行。记得选择一下安装路径，然后一直next到安装结束，如果看到版本号即ok。
2023-11-09 15:24:26
115
原创 python读取Excel到mysql
data1 = pd.read_excel("C:/work/20230818***/数据导入.xlsx",dtype={0:"int", 2:"str", 3:"str"},parse_dates=[4,5])data1 = pd.read_excel("C:/work/20230818***/数据导入.xlsx",dtype={0:"int", 2:"str", 3:"str"},parse_dates=[4,5])设置特定类型，和指定日期类型。
2023-10-27 18:01:37
425
原创 mysql新建用户
ps: GRANT SELECT 可以换成 insert 、update、或者all。create user '账号名'@'%' identified by '密码';GRANT SELECT ON 数据库名.表名 TO '账号名'@'%';ps: @'%' 中的 % 表示任意地点都可以登录。ps: @'%' 中的 % 表示任意地点都可以登录。分为两步，新建用户和赋权。
2023-10-27 16:03:55
149
原创 java后端调用接口Basic auth认证
headers.set("Authorization", "Basic " + Base64.getUrlEncoder().encodeToString(("用户名" + ":" + "密码").getBytes()));log.info("返回结果：{}" ,result.getBody().toJSONString());log.warn("查询失败,url={}",url);//传递参数，这里解析了传进来的JSON类型的手机号，并作为参数传给调用的接口。log.info("手机号为空！
2023-10-20 11:00:31
1265
原创 java中fastJSON解析复合
/然后要取数组的第几个元素，即jsonObject.getJSONArray("data").//data是个array，所以用getJSONArray，即jsonObject.getJSONObject：取JSON对象时候用，返回JSON对象。getJSONArray：取数组时候用，返回JSON对象。getString：获取标签对应的值，返回字符串。//再获取basicInfo 的JSON对象，即。//解析JSON获取link对应的值。//首先先把字符串变成JSON对象。比如：下边的JSON。
2023-10-20 10:59:17
132
转载 Hudi集成Spark之并发控制-并行写入
针对写入操作（upsert、insert等）利用乐观并发控制来启用多个writer将数据写到同一个表中，Hudi支持文件级的乐观一致性，即对于发生在同一个表中的任何2个提交（写入），如果它们没有写入正在更改的重叠文件，则允许两个写入都成功。基于前面DeltaStreamer的例子，使用Delta Streamer消费kafka的数据写入到hudi中，这次加上并发写的参数。（4）zk下产生了对应的目录，/multiwriter_test下的目录，为代码里指定的lock_key。3）查看zk是否产生新的目录。
2023-09-27 09:40:11
157
转载 设置YOLO-V8的参数
Boxes对象可用于索引、操作边界框，并将其转换为不同的格式。Box格式转换结果是缓存的，这意味着每个对象只计算一次，并且这些值将在将来的调用中重复使用。YOLOv8可以处理很多类型的识别，比如：图片、视频、还有YouTube的网页连接，强不强！、NumPy数组、Torch张量、CSV文件、视频、目录、通配符、YouTube视频和视频流。表格✅指示了每个输入源是否可以在流模式下使用，并给出了每个输入源使用流模式的示例参数。设置预测参数，可以满足我们不同的需求。：用于操作边界框的属性和方法的对象。
2023-09-27 08:45:50
4503
13
原创 图像识别-YOLO V8安装部署-window-CPU-Pycharm
PyTorch 无疑是现在最成功的深度学习训练框架之一，是各种顶会顶刊论文实验的大热门。比起其他的框架，PyTorch 最大的卖点是它对动态网络的支持，比其他需要构建静态网络的框架拥有更低的学习成本。PyTorch 源码 Readme 中还专门为此做了一张动态图：对研究员而言， PyTorch 能极大地提高想 idea、做实验、发论文的效率，是训练框架中的豪杰，但是它不适合部署。
2023-09-20 15:25:46
1247
6
原创 fineReport11.0.4版本新建数据链接
把驱动放到 目录下：FineReport_11.0\webapps\webroot\WEB-INF\lib。点下驱动，选择新上传的，然后 右上角 保存。ps：表中如果没有该条数据，需要新增一条。对应驱动可以在官网下载，百度搜下有教程。
2023-09-20 13:54:04
284
转载 python报错：TypeError: missing 1 required positional argument: ‘self‘
python类调用类方法时候，没有实例化类。（在类后边加个括号即可）对象的声明需要括号。而类的声明括号可有可无。
2023-09-20 11:18:49
5734
原创 linux定时重启tomcat
首先编辑一个文件然后输入：/bin/bashecho "[info][$(date +'%F %H:%M:%S')]正在监控tomcat，路径：$tomcatPath"thenecho "[info][$(date +'%F %H:%M:%S')]tomcat进程为：$pid"echo "[info][$(date +'%F %H:%M:%S')]tomcat已经启动，准备使用shutdown命令关闭..."sleep 5then。
2023-09-14 13:32:04
264
转载 精确率、召回率、准确率的区别
例子：假设我们手上有60个正样本，40个负样本，我们要找出所有的正样本，系统查找出50个，其中只有40个是真正的正样本，计算上述各指标。TP: 将正类预测为正类数 40。FN: 将正类预测为负类数 20。FP: 将负类预测为正类数 10。TN: 将负类预测为负类数 30。参考：（已修改原文中错误）
2023-09-13 13:43:51
136
转载 python搭建HTTP服务器并外网访问 - 内网穿透
至此，我们成功的使用python建立一个简单的服务器页面，并且通过cpolar为其创建了一条能够穿透内网屏障的数据隧道，将这个python网页发布到公共互联网上。其实，只要知道网页（或软件）的输出端口号，我们都可以使用cpolar穿透内网，让我们在公共互联网上访问到本地的网页（或软件）。Python快速搭建简单的HTTP服务器，并发布公网访问。
2023-09-13 09:11:30
239
转载 python中遍历dataframe
在数据分析的过程中，往往需要用到的类型，因为这个类型就像EXCEL表格一样，便于我们个中连接、计算、统计等操作。在数据分析的过程中，避免不了的要对数据进行遍历，那么，DataFrame如何遍历呢？之前，小白每次使用时都是Google或百度，想想，还是总结一下~小白经常用到的有三种方式，如下：首先，先读入一个DataFrame。
2023-08-28 15:16:32
566
原创 finereport中自定义图表提示
i++) {value += ''+"●"+points[i].seriesName+':'+points[i].value+"人";
2023-08-08 16:09:29
578
2
原创 finereportV11部署
V11.0.4本文介绍在 Linux 系统中使用 Tomcat 部署包的方法。注：相比于传统部署架构，容器化部署具有隔离性、可移植性、灵活性、可伸缩性和可控性等优点，可大幅降低企业的维护成本和资源成本。部署新项目-FineReport。
2023-07-21 10:18:49
1553
原创 Excel中Vlookup
原因:公式中第二个参数，选择的范围小了，范围需要包括所有需要拿回的列。2.第二个参数，要选择全部范围(包括被查找列，以及查找内容)3.第四个参数，False是精准匹配，TRUE是模糊匹配。4.现在一个单元格写好函数，然后拖动复制单元格公式即可。2.第三个参数用column（）函数，第三列不要锁定。1.按F4，锁定第一个和第二个参数。问题描述:只能拿回一列。
2023-07-20 14:27:21
358
转载 python解析JSON文本
json.load()：将一个存储在文件中的json对象（str）转化为相对应的python对象json.loads()：将一个json对象（str）转化为相对应的python对象json.dump()：将python的对象转化为对应的json对象（str),并存放在文件中json.dumps()： 将python的对象转化为对应的json对象（str)
2023-07-19 19:42:41
1595
转载 从 Apache Doris 到 SelectDB，从开源数仓走向下一代云原生数仓的演进
数仓或大数据中面临的非结构化、半结构化数据越来越多，而 SelectDB 高效原生地支持了半结构化数据的高效存储和检索分析，在半结构化数据的灵活高效存储方面，支持了Array、JSONB、Map 等复合数据类型，支持灵活快速的 schame 变更，最重要的是支持动态 schema 表，可以自动识别数据的字段和类型、自动扩展新字段、动态扩展表结构。对于常见的各种数据源和数据集成工具，Doris 都提供了开箱即用的对接能力，包括 Flink、Spark、Kafka 等，进一步实现了对海量数据的存储与分析。
2023-07-04 13:10:10
604
转载 pycharm设置全局搜索
这种搜索的名字叫做"find in path"，和默认的win10输入法切换简繁体的快捷键冲突。这是全局字符串搜索的界面，上面有很多更精细的设置，比如忽略大小写，正则匹配，改变匹配范围等，这里不再详细介绍。例如我添加了一个ctrl+shift+g的自定义快捷键，以免和win10系统冲突。ctrl+f也可以搜索本页的字符串，ctrl+f搜索当前界面是很多软件都有的功能。如果键盘带数字键盘，用Ctrl + 数字键盘的点，也可以。
2023-07-04 11:22:03
846
转载 Hudi学习6：安装和基本操作
Hudi数据集的组织目录结构与Hive表示非常相似，一份数据集对应这一个根目录。数据集被打散为多个分区，分区字段以文件夹形式存在，该文件夹包含该分区的所有文件。■在根目录下，每个分区都有唯一的分区路径，每个分区数据存储在多个文件中。■每个文件都有惟一的fileId和生成文件的commit所标识。如果发生更新操作时，多个文件共享相同的fileId，但会有不同的commit。■每条记录由记录的key值进行标识并映射到一个fileId。
2023-06-30 10:49:50
2900
kafka_2.12-3.2.0kafkakakakakakakakakakakakaka
2022-08-05
httpclient-4.3.1.jar httpcore-4.4.13.jar commons-logging-1.2.jar
2022-04-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人