橙汁啤-CSDN博客

原创简单粗暴-安装detectron2

步骤：进入detectron2解压包（该文件夹下含有setup.py），在空白出右键->终端打开->激活你相应的虚拟环境->输入：python setup.py build develop。文件路径地址：detectron2\detectron2\layers\csrc\nms_rotated\nms_rotated_cuda.cu。下载压缩包zip，并解压备用：https://github.com/facebookresearch/detectron2。

2024-06-24 16:57:04 1627

原创 DLL load failed while importing lib: 找不到指定的模块。（已解决）

原因：软件包在conda环境中，并非在pycharm环境中。解决方案：从下往上找，找到 from . 的上一个软件包，如图框中的包。进入Anaconda Prompt中，运行：pip uninstall shapely 将该包删除掉，然后再回到pycharm命令端中运行：pip install shapely。

2024-06-13 10:51:05 551

原创 WARNING: pip is configured with locations that require TLS/SSL

在pycharm中运行pip下载软件包遇到该问题：WARNING: pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available。到https://slproweb.com/products/Win32OpenSSL.html下载winopenssl即可。转载：https://www.cnblogs.com/123456www/p/12584701.html。

2024-06-13 10:23:32 388

原创简单粗暴配置：CUDA、CUDNN、Torch及多CUDA管理

CUDNN官方链接： https://developer.download.nvidia.cn/compute/cudnn/redist/cudnn/windows-x86_64/CUDA下载链接：https://developer.nvidia.com/cuda-toolkit-archive。Torch 官网链接：https://pytorch.org/get-started/locally/Win+R打开命令行，输入cmd，在终端输入：nvidia-smi。将下载后的文件复制到相应的文件夹中即可。

2024-06-12 10:56:52 1244

原创 pycharm下载和配置Anaconda环境

官网下载： https://www.jetbrains.com/pycharm/download/#section=windows。Pycharm community Edition是免费的。选择python->自定义环境->选择路径。打开pycharm->继续->不发送。此处的路径根据自己的安装的路径进行调整。安装目录有需要的可以自己更改。出现下面部分说明已经创建好了。

2024-06-11 17:48:01 280

原创 anaconda安装和环境配置

清华镜像地址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/官网链接：https://www.anaconda.com/download/success。打开环境变量：此电脑->属性->高级系统设置->环境变量->点击Path->添加路径。出现conda不是内部命令说明没有给安装的时候没有给conda配置环境。其中python36是环境的名称，python=3.6为版本。根据自己的需求选择相对应的即可。此处的勾选根据自己的需求来即可；

2024-06-11 16:43:28 6480

原创 yolov8训练自己数据集时出现loss值为nan。

具体原因目前暂未寻找到。

2024-05-22 16:06:56 606

原创 Python开发之一（前端开发之HTML、CSS、Bootstap、Javascript、JQuery）

文章目录一、Flask网页开发1.1创建一个名为web1.py的python文件1.2 templates目录创建文件index.html二、html标签2.1 编码2.2title < head >2.3 标题< h>2.4 div和span2.5超链接1.在index.xml文件中补充。2.修改web1.py文件3.添加get_self.html4.效果2.6图片1.格式2.图片大小3.本地图片的存放效果小结标签嵌套：创建商品列表效果图2.7列表2.7.1无序列表2.7.2有序列

2024-04-01 22:02:08 3842

原创 MySQL进阶篇

存储引擎就是存储数据、建立索引、更新/查询数据等技术的实现方式。存储引擎是基于表的，所以存储引擎也可被称为表类型。InnoDB是一种兼顾高可靠性和高性能的通用存储引擎。索引（index）是帮助MySQL高效获取数据的数据结构(有序)。哈希索引就是采用一定的hash算法，将键值换算成新的hash值，映射到对应的槽位上，然后存储在hash表中。（拉链法）慢查询日志记录了所有执行时间超过指定参数（long_query_time，单位：秒，默认10秒）的所有SQL语句的日志。

2024-03-28 10:35:39 808

原创 MySQL基础

用来定义数据库对象(数据库，表，字段)***语句可以大小写格式：select * from emp where idcard like ‘%X’;事务：是一组操作的集合，它是一个不可分割的工作单位，事务把所有的操作作一个整体一起向系统提交或撤销操作请求，即这些操作要么同时成功，要么同时失败。*注意：MySQL的事务是自动提交的，执行一条DML语句后，会立即隐式的提交事务。

2024-03-18 19:52:59 996

原创 hbase rowkey设计原则

Row Key是用来检索记录的主键，访问Hbase Table中的行有三种：1.通过单个Row key访问2.通过Row key的Range访问3.全表扫描访问。

2024-03-12 06:43:44 331

原创 HBase分布式数据库的原理和架构

二二、

2024-03-12 05:38:53 191

原创医药电商大数据实践

建立医药电商大数据分析平台采集医药电商的数据、分析电商平台数据、可视化电商平台数据。可以根据医药产品销售和库存管理来提高销售率等等。1.流量分析：根据每日、每月、年度分析用户的行为数据，如浏览量、访客数、访问次数、平均访问深度等等2.经营状态分析。根据月度或年度对销售状态进行统计，统计指标包括下单金额，下单客户，下单量等等3.大数据可视化系统系统以离线批处理方式，推送采集结果数据给大数据分析平台。

2024-03-11 21:57:58 208

原创解决eclipse上启动不了tomcat问题

网上搜的方法基本都不行，改Maven配置和重建项目等等都解决不了。问题如下。

2024-03-10 07:58:30 957

原创基于LSTM算法中文歌词生成

基于LSTM的歌词生成器。首先，从预训练的GloVe词向量中加载词汇表和词向量，然后使用这些词向量构建一个嵌入矩阵。接着定义了一个LSTM模型，该模型包含一个嵌入层、一个LSTM层和一个全连接层。在训练过程中，模型使用交叉熵损失函数和Adam优化器进行参数更新。最后，通过输入一段歌词的开头，模型可以生成指定长度的歌词。该模型包括一个嵌入层（Embedding），一个LSTM层和一个全连接层（Linear）

2024-03-09 05:36:40 727

原创基于YOLOV8检测和OCR识别的车牌识别

基于YOLOv8和OCR的车牌号码识别是一种结合了目标检测和光学字符识别技术的车牌识别方法。YOLOv8（You Only Look Once version 8）是一种实时目标检测算法，可以快速准确地检测图像中的物体，如车辆、行人等。OCR（Optical Character Recognition）是一种光学字符识别技术，可以将图像中的文本转换为计算机可编辑的文本数据。

2024-03-09 05:36:07 5024 3

原创基于GAN对抗网进行图像修复

定义了初始化函数init_weights，用于初始化卷积层、反卷积层和批归一化层的权重。同时，还定义梯度更新函数set_params，用于设置模型参数是否需要梯度更新。ResDown模块用于下采样操作，它包含三个卷积层和一个激活函数。输入x经过卷积和批归一化操作得到特征图x，然后通过上采样得到特征图skip。最后将特征图x与特征图skip相加，并经过激活函数得到输出特征图。ResUp模块用于上采样操作，它也包含三个卷积层和一个激活函数。输入x经过上采样得到特征图x，然后通过卷积和批归一化操作得到特征图x。

2024-03-09 05:34:09 2123 6

原创 hbase:meta,,1 is not online on slave2,16020,1709754205754，且http://master:16010登上去确实有相关的内容

启动了hbase自带的Zookeeper和启动了自己安装的Zookeeper。，因为hbase是搭建在Zookeeper上的，启动hbase时会自动启动zookeeper。找到hbase-env.sh补充以下内容，关闭hbase自带的zookeeper。

2024-03-07 05:04:03 289

原创 Zookeeper案例

步骤：右键此项目 > Build Path > Configure Build Path > 在 Java Build Path 的 Libraries 栏下点击 Add External JARs > 导入jar包 > 点击 Apply and Close 即可。在Eclipse导入slf4j.api-1.6.1.jar和zookeeper-3.4.10.jar。步骤：右键此项目 > Export > java > Runnable jar file>#java -jar [文件路径]

2024-03-06 21:23:31 446 1

原创 Hive Beeline 配置

Beeline作为Hive的客户端工具，它支持两种模式：嵌入式模式（embedded mode）和远程模式（remote mode）。在嵌入式模式下，Beeline可以直接在HiveServer2的JVM中运行HiveQL脚本，而在远程模式下，Beeline可以在其他机器上运行并通过网络连接到HiveServer2。Beeline的主要特点包括基于JDBC：Beeline是一个基于SQLLine CLI的JDBC客户端，这意味着它可以通过JDBC连接到HiveServer2，并执行SQL语句或文件。

2024-03-05 00:55:49 1022 1

原创 zookerper的应用之二：Spark HA

查看Spark集群信息，http://master:8088，主节点master状态为Standby，子节点Slave1状态为Active。

2024-03-01 15:14:08 257 1

原创 zookerper的应用之一：ResourceManager HA

注意：启动时出现org.apache.hadoop.yarn.server.resourcemanager.recovery .ZKRMStateStore not found的错误，请看：https://editor.csdn.net/md/?对于slave1子节点yarn.resourcemanager.ha.id的参数需要改成rm2，对于其他节点就直接删除该配置即可。关闭master的ResourceManager，浏览器在http://master:8088/会显示无法访问该网页。

2024-03-01 14:13:08 496 1

原创 yarn配置出问题：org.apache.hadoop.yarn.server.resourcemanager.recovery .ZKRMStateStore not found

原因：yarn-site.xml配置时出现了多余的换行符。

2024-03-01 01:57:20 160 1

原创 Zookeeper集群部署

上传zookeeper-3.4.9.tar.gz安装包到 opt目录，解压并重新命名为zookeeper。

2024-02-29 00:20:48 340

原创 Hive安装与配置与mysql的安装

此时需要查看下配置是否出错，在确认无误下。可能是JDBC版本与mysql版本不匹配了。可查看此文章：https://editor.csdn.net/md/?在Hadoop-2.7.3环境上部署Hive数据仓库，安装Hive需要apache-hive-2.1.1-bin.tar.gz软件包，在相关目录下解压软件包。注意：此处可能会遇到问题：Failed to get schema version。格式：yum -y remove [SQL名]格式：mv [原来的名字] [修改后的名字]

2024-02-26 23:32:01 1610 1

原创初始化元数据库时需要的问题：Failed to get schema version.

将下载的安装包解压后，将解压包中的mysql-connector-java-8.0.20.jar转移到hive/lib下，重启mysql后再启动初始化元数据库：schematool -dbType mysql -initSchema 即可。linux中mySQL版本为5.7与JDBC版本5.1不合适，换成JDBC版本为8.0.20的即可。

2024-02-26 22:45:07 1185 2

原创 linux启动网络是失败

ping: www.baidu.com:出现以下问题。重启网路遇到如下问题，检查过网络配置没问题。重启了下网络问题解决了。

2024-02-26 03:13:52 599 1

原创启动hive --service metastore & [1] 5563 bash: hive: 未找到命令.

启动hive时遇到以下问题主要是环境配置出错了。查看以下配置是否出错。

2024-02-25 01:02:03 798 1

原创 Spark集群部署

在Hadoop-2.7.3上部署Spark集群，需要scala-2.11.12.tgz和spark-2.4.0-bin-hadoop2.7.tgz软件包。在相关目录下解压软件包。在spark的conf目录下修改slaves.template文件。注意该文件也可以被命名为workers.template。并将文件命名成salves/workers。SPark交互主要有PYSpark，PYSpark支持python语言。脚本可以直接在交互窗口运行。注意等号右边是安装scala、spark的路径。

2024-02-15 14:24:45 461 1

原创启动spark遇到没有那个文件或目录

master: mv: 无法将"/opt/spark-2.4.0-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-master.out.4" 移动至"/opt/spark-2.4.0-bin-hadoop2.7/logs/spark-root-org.apache.spark.deploy.worker.Worker-1-master.out.5": 没有那个文件或目录。解决方法：slaves文件中的内容改成。

2024-02-15 01:47:27 603 1

原创开启模块 DiskEarly 的操作失败。未能启动虚拟机。

解决办法：打开你存放虚拟机系统硬盘的所在文件夹，搜索文件夹：*.lck。将含有.lck结尾的。问题：开启模块 DiskEarly 的操作失败。原因：电脑蓝屏可能导致虚拟机开不起来。

2024-02-15 00:50:09 1560 1

原创 HBase过滤器

Get和Scan都支持过滤器，这些类提供的接口不能对行键、列名和列值进行过滤，但过滤器可以实现。过滤器的接口为Filter。所有的过滤器都在服务器端生效，防止过滤掉的数据被传到客户端；用户可以在客户端代码实现过滤的功能，但会影响系统性能。

2024-02-13 06:00:00 392 1

原创 HBase Shell操作命令

它是系统级别的命名空间，通常包含HBase自身的元数据和系统表。这些系统表存储了HBase集群的结构和配置信息，对于HBase的运行和管理至关重要。例如，HBase中的hbase:meta表就位于这个命名空间中，它保存了所有用户表的元数据，包括表名、列族信息以及每个表的RegionServer位置等。当用户在HBase中创建表而没有指定命名空间时，表会被创建在default命名空间中。这个命名空间是为用户自定义表设计的，用户可以在这个命名空间中创建、管理和查询自己的数据表。增加department列族。

2024-02-12 21:51:58 674 1

qq_46345319的博客