- 博客(38)
- 资源 (1)
- 问答 (21)
- 收藏
- 关注
RSS订阅原创 Sqoop部署和基本操作
这个命令会将 HDFS 目录 /path/to/hdfs/newdata 中的新数据与 /path/to/hdfs/existingdata 中的现有数据合并，并将结果存储在 /path/to/hdfs/mergeddata 目录中。这个命令会将 HDFS 目录 /path/to/hdfs/data 中的数据导出到 MySQL 数据库中的 tablename 表。这个命令会将 MySQL 数据库中的 tablename 表导入到 HDFS 的 /path/to/hdfs/target 目录。
2024-09-04 15:48:18
965
原创 Apache Pig
一般而言，pig的函数分为4种类型过滤函数计算函数加载函数存储函数过滤函数@Override// 如果tuple为空，返回false// 获取当前员工的薪水，假设薪水字段为整数类型// 确保索引0对应的是薪水字段// 判断薪水是否大于等于3000return sal!继承自FilterFunc。FilterFunc是Apache Pig中的一个接口，用于定义过滤函数。重写exec方法Tuple一个Tuple通常对应于表中的一行数据。
2024-09-04 15:10:17
658
原创 Hive的数据模型
和内部表类似，在元数据的组织上相同，区别仅在于数据保存在HDFS中，Hive不会将其转移到数据仓库的目录内（/user/hive/warehouse），而是与这个数据建立一个链接，并且允许创建分区，当删除一个外部表时，仅删除链接。数据存储于hdfs的/input/emp_part_external目录下，并且此表已经设置了分区。每个表在hive中都有一个对应的目录存储数据，当删除此表时，元数据和数据都将会被删除。对数据进行哈希取值，存储在不同的文件中，类似于hash分区。load语句，可以导入csv文件。
2024-08-28 16:33:33
377
原创 Hive的体系架构、安装
本地模式的mysql将搭建于本地，远程模式则是搭建于远程mysql。根据如下文件自行编写hive-site.xml。这两个模式需要搭建mysql数据库进行支持。
2024-08-28 08:20:55
658
原创 Hadoop的HA配置与实现（ZooKeeper）
将112的tmp目录复制到113上（113为备用的主节点）和dfs.namenode.http-address.
2024-08-26 16:26:51
1087
1
原创 ZooKeeper体系架构、安装、HA
简介ZooKeeper是一个开源的分布式应用程序协调服务，是Google的Chubby的开源实现，是Hadoop和HBase等分布式系统的重要组件。通过提供配置维护、域名服务、分布式同步、组服务等功能，帮助开发人员构建可靠的分布式系统，提供一致性、可靠性和高可用性的服务。体系架构Server：节点Follower和Leader：节点状态（主从节点）Client：运行于节点之上的客户端数据同步：每个节点中的数据将会在其他节点中进行保存备份。
2024-08-25 20:51:07
714
原创 HBase原理和操作
当MemStore中的数据量达到设定的阈值时（如默认128MB），会触发Flush操作，将数据写入到HDFS上的HFile文件中。HFile是HBase中用于存储数据的文件格式，数据在HFile中按照RowKey排序。随着数据的不断写入，HFile文件的数量会逐渐增加。除了元数据信息外，Zookeeper还负责维护HBase集群的状态信息，这些信息对于集群的稳定运行和高效管理非常关键。HBase的元数据信息是HBase集群运行所必需的关键数据，它存储在Zookeeper的"/hbase"目录下。
2024-08-22 07:16:19
1045
原创 HBase体系架构与环境搭建
NoSQL是一种不同于关系数据库的数据库管理系统设计方式，是对非关系型数据库的统称。它不依赖于业务逻辑来存储有关联的数据，而是以键值对、列族、文档、图形等非关系模型的形式进行数据存储。
2024-08-18 14:52:26
1074
原创 Mapreduce_Distinct数据去重
实现方法：Map阶段输出的信息K2为想要去重的内容，利用Reduce阶段的聚合特点，对K2进行聚合，去重。在两阶段中，V2，V3，V4为Null。输入如下的数据，统计其中的地址信息，并对输出的地址信息进行去重。
2024-08-15 16:01:37
376
原创 MapReduce原理和操作
在MapReduce中，通过指定分区，可以将同一个分区的数据发送到同一个Reduce任务进行处理。例如，为了进行数据统计，可以将一批类似的数据发送到同一个Reduce任务中，以便在该任务中统计相同类型的数据，从而实现数据分区和统计。简单来说，就是将相同类型或有共性的数据送到一起去处理。Combiner本质上是一个“迷你Reduce”过程，它继承自Reducer类，并在Map任务之后、Reduce任务之前运行。Combiner的作用是对每个Map任务的输出进行局部汇总，以减少传输到Reduce任务的数据量。
2024-08-15 11:24:46
1048
原创 Mapreduce_WordcountCombiner Combiner案例
Combiner和Reduce是相同的处理逻辑，此任务将用于计算单词数量。
2024-08-15 09:21:00
189
原创 Mapreduce_csv_averageCSV文件计算平均值
employee_noheader.csv（没做关于首行的处理，运行时请自行删除）查询每个部门的平均工资，最后输出。
2024-08-12 16:20:51
360
原创 Mapreduce_wordcount自定义单词计数
数据处理过程加载jar包以上为需要的jar包路径，将其导入至idea中Map// K1 V1 K2 V2 的数据类型//Context标识上下文，比如上一节的输入以及下一节的输出，一个JOB可能存在多个MAP和多个REDUCE@Override//获取数据，v1是输入//逻辑：分词//v2是一个集合的形式//k2和k1的数据类型是相同的，表示一个具体的分类//这是对下文的编写，即输出// K2 V2Reduce// 集合V3@Override//求和。
2024-08-12 15:31:38
445
原创 HDFS 原理和操作
启动Hadoop后，通过以下网址，对NameNode和SecondaryNameNode进行访问，网址内部记载了详细信息（具体请自行查看，网址内容为 虚拟机IP/+端口）SecondaryNameNode端口：50090。只写了几个常用的，具体用法请自行搜索。NameNode端口：50070。Idea创建相关工程并引用库。引用库（jar包的位置）test2的参数配置。
2024-08-10 16:58:09
551
原创 Hadoop免密登录
保存路径：.ssh/authorized_keys。7. 本地机器使用私钥进行解密，获取登录密码。使用jps进行测试，结果表明登录测试完成。2. 将本地机器的公钥添加到目标机器上。4. 目标机器随机产生一个登录密码。5. 目标机器使用A的公钥进行加密。6. 将加密后的密码返回给本地机器。8. 本地机器使用登录密码进行登录。3. 目标机器接收公钥并保存。
2024-08-06 19:22:50
422
原创 Hadoop分布模式
1.，这个文件是hadoop配置环境变量的脚本，包含了设置 Hadoop 运行所需环境变量的命令，比如 Java 的安装路径（JAVA_HOME）、Hadoop 的安装路径（HADOOP_HOME）等。#The java implementation to use.是写当前Java环境变量的，在此处增加当前Java环境1. 准备测试数据路径：/root/temp/data.txt2.测试用例。
2024-08-06 14:41:58
794
原创 idea创建vue项目
修改idea属性，以管理员身份运行（快捷方式，exe文件都可以）2.git提交时格式化代码（我没安装git，所以不选，一般都选）2.加入到package.json（我选这个，方便查看配置）**1.**第三个，自定义创建。1.保存文件时格式化代码。保存为预设，方便下次建立。
2024-04-18 16:32:58
291
原创 本地pycharm调用服务器资源
3.目标安装相关软件包（正常的conda操作，没有Linux和windows系统的区别）对了，请忽视上面的同步文件不同的问题，我只是展示了步骤，没有具体的执行。这里选择Conda环境，因为，我们配置的环境是属于Anaconda的。这边没有记录，服务器平台一般会有相关的教程和说明文档。1.安装anaconda，NVIDIA驱动等相关软件。配置相关的anaconda，NVIDIA驱动。完成之后，测试连接，确定能连上，之后确定即可。运行文件，箭头输出了服务的显卡资源，成功。选择现有，找到你自己的服务器。
2023-12-24 15:53:25
477
1
原创 yolov8安装+运行
值得说明的是，v8作为一个工程化代码，不同于v5，你可以依据模块自己创建一个train.py。详细参数可以看下这个yaml配置文件（里面包含了训练，预测，测试等等的所有参数）train.py(我在内部放了一些平时可能用到的超参数，按个人需求修改)predict（内部包含了相关的超参数，这个可以根据需要修改）train（内部包含了相关的超参数，这个可以根据需要修改）val（内部包含了相关的超参数，这个可以根据需要修改）内部文件和v5的一样，复制过来即可，注意改下路径名。数据集文件和之前一样，改个路径即可。
2023-12-13 17:09:02
650
原创 Android studio安装 版本：2022.3.1.21
安装标准，标准还是自定义，选择第二个（内容全部安装，选择第二个只是为了修改安装路径）即将安装下载的内容，因此直接下一步即可，这边注意下安装路径，不要带有空格。全部选择accept，然后点finish。暂时没有什么特殊的，直接下一步即可。由于没有相关配置，选第二个。
2023-11-23 16:30:05
309
原创 yolo v5代码解析笔记（detect部分）
下面代码对img-size进行修改判断，首先，待检测图像的大小不一，对于YOLOv5网络而言，传入的检测图像resize为640。总体代码大致分为3个部分，main（）函数和执行入口，保存参数配置的parse_opt()函数，画框保存等操作的run（）函数。此函数用于定义相关参数，如权重文件，待检测图片/视频，传入网络的图片大小等等，参数较多，不分别说明了。32的倍数，此点需要进一步学习，待修改），为避免失真，因此需要对传入的图像提前进行修改大小。3.结果保存的路径设置（默认为创建，有心思可以修改）
2023-11-09 16:07:32
334
原创 yolo v5识别
若还是不行，则有可能是cuda节点被占用，修改device（这种情况一般不会发生，毕竟这个参数是切换显卡）yolo v5支持的数据集为txt格式的标签，所以选择VOC格式和ML格式的需要进行转化。txt：存放txt格式的标签（运行xml_to_txt.py文件后生成txt标签）运行xml_to_txt.py，此时txt文件夹中将会出现转化好的标签。在进行完格式转化后，我们还需要对数据集进行划分，训练集，验证集等等。找到这几个模型yolov5l，m，n，x，s。模型之间的区别如下图，大概就是训练效果和速度。
2023-09-20 18:58:31
112
原创 yolov5环境配置
在requirements.txt文件中可以看到项目的环境要求。即可（这串代码意思是，下载requirements下的包）conda新建环境，python版本为3.8。运行成功后会出现这两个检测好的图片。我安装的是torch1.8.1。注意cuda版本号一致。运行detect.py。
2023-09-16 15:24:50
267
原创 pycharm调用anaconda环境
之前已经在anaconda中安装好环境，因此直接选择即可。这些是已经建好的环境，选择对应的即可。按序号操作，选择下面那个。
2023-09-09 10:48:49
105
原创 pytorch指定版本安装
找到下载位置，但注意下，我的conda不能进入其他的盘，因此将文件移入C盘。下载完成后，打开conda，激活对应的环境。提示：CTRL+F可以用于页面搜索。在conda中创建环境，输入即可。
2023-09-09 10:30:02
2682
2
原创 Anaconda安装
1是Python需要，2是conda自带脚本，3是jupyter notebook动态库, 4是使用C with python的时候。默认使用的python版本，由于版本更新，目前推荐的是py3.10（打√）完成后清除包缓存，在不损害功能前提下，恢复一些磁盘空间（打√）有了Anaconda就不装python了。看情况，给你介绍什么的，不熟悉就点点瞅瞅。默认的python 3.10安装完成。（开手机热点去下载，比较快一点）检查是否正确安装anaconda。anaconda 安装完成。这里修改，选择所有人。
2023-06-24 14:49:24
112
原创 卸载Anaconda
一定要用管理员身份打开Anaconda Prompt。没有找到相关的注册表信息QAQ，但还是清理了。不放心，在安装的盘里面检查一下。可能原因：没有加入环境变量。选中，删除，没什么特别的。
2023-06-24 09:51:19
49
原创 腾讯云Linux系统上配置MySQL
莫名其妙的，配了好几次才成功写点自己踩过的坑。。。。自己配了两次，第一次没成功，感觉整个服务器被搞得一团糟，一气之下，直接重装系统。。。所以这个时候我的服务器上干干净净的什么都没有。安装数据库的时候，没想那么多，版本什么的，可能学的太少了，还不需要注意这个。安装的MySQL8.0首先，下载安装包wget http://repo.mysql.com/mysql57-community-release-el7-8.noarch.rpm安装 sudo rpm -ivh mysql57-com
2021-04-29 18:59:50
123
原创 cv2报错：The function is notimplemented. Rebuild the library with Windows, GTK+ 2.x or Carbon support
import cv2 as cvsrc = cv.imread('C:/Users/Lenovo/Desktop/jjw.jpg')cv.namedWindow('input_image', cv.WINDOW_AUTOSIZE)cv.imshow('input_image', src)cv.waitKey(0)cv.destroyAllWindows()这一部分是代码，我用的是pycharm去编写cv。安装是直接在pycharm里面下的查了下，好像是这个包的问题。。。没搞懂为什么。。
2021-04-17 15:44:43
495
原创 软考复习(二)
接上一次的内容继续复习传送门数据表示类型原码反码补码正整数转二进制，加上符号位0=原码=原码负整数转二进制，加上符号位1数值位取反反码的末位+1正小数转二进制，加上符号位0=原码=原码负小数转二进制，加上符号位1数值位取反反码的末位+1定点数：小数点位置固定不变（位于最低有效数值之后，或最高有效数值之前两种可能）校验码海明码：数据位是n位，校验位是k位，则n与k必须满足：2的K次方减1大于等于n加K存储系统内存：用来存放
2021-04-17 15:15:26
64
原创 软考复习(一)
1.传值和传址的区别传值：把A的数值传到B，改变B，A不会跟着变，B存的是跟A一样的值；传址：把A的地址传到B，改变B，A同时跟着变，B存的只是A的地址。一、计算机系统知识硬件组成：运算器，控制器，存储器，输入设备，输出设备，共5种运算器：组成：算术逻辑单元，累加寄存器，数据缓冲寄存器，状态条件寄存器等基本作用：对数据加工处理，完成计算机的各种算数和逻辑运算部件功能：算术逻辑单元（ALU）：处理数据，实现对数据的算术运算和逻辑运算累加寄存器（AC）：当ALU执行算术或逻辑运算时，为其
2021-04-15 16:38:32
142
图书管理系统（适用于大一大二的课设，C语言，链表）
2020-05-29
YOLOV5报关于git的错误？
2023-09-19
机器学习--交叉验证法
2023-07-26
关于darknet.sln打开报错的问题(没有CUDA x.x.props文件)
2021-09-18
机器学习怎么导出最终的结果呀？
2021-09-04
tivaware不能注册。。。求一个库
2021-06-24
在linux的服务器上部署的网页怎么连接到后台数据库？
2021-06-05
jdbc一定要驱动包么？
2021-06-05
有没有什么能简单的开发网页前端的软件
2021-06-04
Eclipse的工程目录看不懂了。。。。？
2021-04-13
想做一个网页，需要租服务器，这个应该怎么选呢？？？
2021-04-08
使用eclipse创建maven工程，没有工程选项
2021-03-30
win10系统变量不能修改，已经取得管理员权限，该怎么处理
2021-03-29
jdbc的连接。。。
2021-02-27
怎么在表单的提交按钮中加功能？
2021-02-15
select做一个下拉框，然后怎么传出选择的数据呀？
2021-02-03
String id=request.getParameter("id")？
2021-01-31
应该学习那些编程语言来完成这个app？
2020-10-12
安卓intent不会用，求帮忙。。。？
2020-10-09
程序运行正确，就想问下solve方法的最后一行三目运算符的意思，解释一下这一行？
2020-09-30
实例化对象为什么出错ya？
2020-09-25
数组下标越界该怎么修改？
2020-09-21
怎么修改让这两个按钮覆盖这一行
2020-09-05
用Android studio 做了一个计算器，但最后为什么打不开呀？
2020-08-25
TA创建的收藏夹 TA关注的收藏夹
TA关注的人