自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

编程只是爱好,交易才是生活。

  • 博客(131)
  • 收藏
  • 关注

原创 数据库存储引擎详解

一本书的目录可以提高查询效率,同理数据库中设置索引可以缩小扫描范围,提高检索效率。

2024-04-25 08:49:28 791

原创 数据库构建中的三范式设计(附SQL实例说明)

总结:多对多,三张表,关系表,两外键;一对多,两张表,多的表,加外键;一对一,外键唯一。

2024-04-24 18:44:44 908 1

原创 SQL列级约束与表级约束思考记录(附SQL语句说明)

以MySQL中的表级约束与列级约束举例,虽然实现的功能相同,都是为了保证数据的完整性,但它们在定义位置、适用范围、是否允许命名以及在某些特定约束类型的使用上有所区别。

2024-04-24 08:49:20 657

原创 激活虚拟环境.ps1“因为在此系统上禁止运行脚本”解决办法

Django激活虚拟环境时遇到的,已解决,作以收录,希望能帮到大家。

2024-04-23 14:32:22 962

原创 前端页面简化导航栏写法

基于HTML、CSS和JavaScript(使用Fetch API或jQuery的Ajax)实现导航栏的基本框架。元素、CSS用于样式布局,以及JavaScript实现导航栏的响应式折叠和链接点击效果。:可以添加滚动监听、激活状态指示、下拉菜单等功能,提升导航栏的易用性。/* 添加一些基本样式,您可以根据需要调整或引入外部CSS文件 */:根据需要调整媒体查询的断点,以适应不同屏幕尺寸和设备类型。:根据实际网站结构和需求,添加或修改链接项和对应的URL。在这个例子中,我们使用HTML5的。

2024-04-23 08:54:21 1315 1

原创 解决Django中调页面时出现“Did you forget to register or load this tag”报错

django渲染模板时会将大括号中的变量替换为循环调用变量,最后显示的是传递的值,用{% %}包起来的叫做模板标签。

2024-04-22 08:01:08 559

原创 将数据库中的数据接入Echarts图表

编写SQL查询语句,从数据库中提取需要展示在ECharts图表中的数据,确保查询结果与ECharts图表所需的数据结构相匹配(json格式居多)

2024-04-22 07:35:41 2913

原创 Python远程将文本、音频等数据写入Mysql或Redis附上云策略

将文本、音频等数据存入MySQL或Redis,附上云存储代码。

2024-04-14 10:27:33 799

原创 实现(图像、视频等)数据上云存储

实现数据上云存储,附代码

2024-04-14 10:21:29 1563

原创 Python将传感器采集的数据写入Mysql

对于非结构化数据,使用适合存储此类数据的字段类型,如JSON字段。对于结构化数据,使用列名和对应的值。

2024-04-14 10:10:09 1872

原创 Python将相机图像采集的数据写入Redis

非结构化数据(如图像文件)由于Redis本身并不直接支持大对象存储,因此通常需要先将它们存储到文件系统或其他存储服务(如云存储)

2024-04-14 09:27:46 1234

原创 Python远程将数据写入Mysql

通过连接对象创建一个游标对象,然后使用游标执行INSERT、UPDATE、DELETE等写操作语句

2024-04-13 09:50:06 1022

原创 对SQL主键优化策略收录

综上所述,优化SQL主键涉及主键类型的选取、索引的有效利用、数据插入策略、分区与分片技术、查询与JOIN优化,以及数据库配置与维护等多个层面。

2024-04-12 22:26:16 698

原创 大批量插入数据到MySQL六种策略

如果数据需要按批次插入,并且数据库支持事务(如InnoDB引擎),可以将一批数据的插入操作放在一个事务中。通常,批量大小可以根据实际情况调整,在数百到数千行之间较为常见。综上所述,根据具体情况,合理组合使用上述六种策略,可以有效地大批量插入数据到MySQL数据库,同时保持良好的性能和资源利用率,这样可以避免在插入过程中频繁更新索引,显著加快插入速度,但请注意,这会暂时影响查询性能。在插入大量数据之前,暂时禁用非唯一索引的更新(对于InnoDB,可以使用。语句插入多行数据,而不是为每一行数据单独执行一次。

2024-04-12 21:58:15 1739

原创 Linux环境下安装redis踩坑zmalloc.h:50:31收录(附解决方法)

【代码】Linux环境下安装redis踩坑zmalloc.h:50:31收录(附解决方法)

2024-04-07 17:14:21 271

原创 Matlab-报错griddedInterpolant解决方法分享

interp1函数的用法: yi=interp1 (x,Y,xi):返回插值向量yi,每一元素对应于参量xi,同时由向量X与Y的内插值决定。

2023-04-24 22:01:15 2259

原创 Hive小额数据处理(模拟数据已给出)

涉及知识面:Hive的表查询,转化,模糊匹配,函数处理流程

2022-06-08 18:37:47 894

原创 Python情人节表白女神代码(修订版)

又是一年一度的网络情人节来临之际,博主为大家来排忧解难喽

2022-05-17 17:01:25 3693 6

原创 Hive文件格式与压缩

概念与实操相结合介绍Hive文件格式及压缩的实现方法

2022-04-24 09:59:27 978

原创 Hive表的高级查询操作

介绍Hive中GROUP BY、ORDER BY和SORT BY、DISTRIBUTE BY和CLUSTER BY,以及JOIN的使用方法。

2022-04-14 20:11:40 2453

原创 Hive表的基础查询操作

通过实操流程重点阐述表的基本查询、连接查询方法。

2022-04-12 17:17:24 8395

原创 Hive视图与索引操作

介绍Hive视图与索引的使用方法。

2022-04-08 10:55:45 2192

原创 Hive处理数据基本操作流程

Hive数据处理的详细流程

2022-03-31 16:16:39 4547

原创 Hive的分区与分桶操作

通过对原始股票数据表操作,分别做分区和桶的操作,介绍分区与分桶的作用与实现方法。

2022-03-29 11:02:46 2910

原创 Spark开发环境搭建(提供实验平台)

文中涉及的操作建立在已有 Hadoop 环境的基础上,点击文中直达链接跳转至实验平台配备的环境即可,无需自行搭建环境

2022-03-20 21:05:09 3255

原创 一劳永逸解决Hive执行insert命令调用MR任务报错问题

一劳永逸_解决Hive执行insert指令集调用MapReduce任务的报错问题

2022-03-11 21:53:12 5835 12

原创 替换Hive自带的derby数据库为Mysql问题汇总

本地Hive环境搭建 替换自带的derby数据库为Mysql问题解决

2022-03-10 22:09:01 359

原创 Web页面hadoop的8088端口拒绝通过19888端口查看History

Web页面hadoop的8088端口拒绝通过19888端口查看History日志

2022-03-10 21:33:36 2967

原创 Hive 的 DDL 操作库和表(提供实验平台)

文中涉及的 Hive 语句执行建立在已有 Hadoop 环境的基础上,点击文中直达链接跳转至实验平台配备的环境启动即可,无需自行搭建环境

2022-03-09 17:19:39 3606

原创 本地连接Oracle远程服务报[08006],[17002] IO错误详解

[08006][17002] IO 错误: The Network Adapter could not establish the connection java.net.ConnectException: Connection timed out: connect. 详解

2022-02-26 12:54:32 12839 3

原创 IDEA远程连接Oracle数据库流程详解(附纠错方法)

IDEA远程连接Oracle数据库流程详解(附纠错详解)

2022-02-26 12:44:16 10799 3

原创 解决外网无法访问HDFS文件系统②

本地HDFS的javaAPI访问云服务器之上的Hadoop

2022-02-01 17:26:12 3239

原创 ifcfg-ens33文件解释(固定IP远程访问)

虚拟IP固定,实现无缝衔接访问

2022-01-29 14:37:07 11701

原创 Hive安装配置详解(提供实验平台)

文中涉及的 Hive 配置建立在已有 Hadoop 环境的基础上,进入实验平台提供的环境启动即可无需自行搭建

2022-01-19 10:47:20 15214 6

原创 解决外网无法访问HDFS文件系统①

本地HDFS调用API访问云服务器Hadoop问题解决

2021-12-29 13:39:33 2638

原创 eclispe远程连接hadoop集群报错解决

Invalid Hadoop Runtime specified; please click 'Configure Hadoop install directory' or fill in library location input field

2021-12-07 22:12:26 2087

原创 hadoop报错INFO ipc.Client: Retrying connect to server解决

INFO ipc.Client: Retrying connect to server: xxx

2021-12-06 18:31:13 10639 8

原创 Spark读取日志文件集中文乱码解决方法

Spark读取日志中文乱码解决方法问题展示����一般来说,这个问题多出现于GBK与UTF-8编码互相转换时。众所周知,GBK编码是windows系统的编码格式,而UTF-8是linux系统的编码格式,而且Git等开源软件也都使用UTF-8编码,所以简单了解这种编码问题就是一件十分必要的事情。乱码切入“����”“锟斤拷”"手持两把锟斤拷,口中疾呼烫烫烫,脚踏千朵屯屯屯,笑看万物锘锘锘”先来段梗,娱乐一下,给出百科的解释,给各位科普一下这里先分析下乱码原因,因为spark没有自己读取文

2021-11-30 17:40:57 3829

原创 HanLP在IDEA中的配置及使用

HanLP在IDEA中的配置及使用HanLP介绍HanLP是一款面向生产环境的自然语言处理工具包。中文分词中有众多分词工具,如jieba、hanlp、盘古分词器、庖丁解牛分词等;其中庖丁解牛分词仅仅支持java,分词是HanLP最基础的功能,HanLP实现了许多种分词算法,每个分词器都支持特定的配置。接下来我将介绍如何配置Hanlp来开启自然语言处理之旅,每个工具包都是一个非常强大的算法集合。具有如下功能:中文分词 词性标注 命名实体识别 依存句法分析 语义依存分析 新词发现 关键词短语提取

2021-11-30 12:12:10 3014 2

原创 集群操作对ssh及scp命令报错问题解决归纳

问题描述集群环境模拟时,做hadoop动态节点上下线时,在主节点上为新的从节点使用scp命令发送文件时遇到的问题,报错如下,翻阅各类帖子,得以解决,以作记录报错精摘Please contact your system administrator. Add correct host key in /Users//.ssh/known_hosts*出现原因度娘给的有些许含糊不清,我个人做个精简转述给各位,由于做动态节点上下线的服务器是未经配置的新节点,导致Ta的内网服务器使用ssh方式内网登录新节

2021-11-22 20:57:04 1646

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除