- 博客(28)
- 收藏
- 关注
RSS订阅原创 岭师大数据技术原理与应用-第二章-环境部署-软工版
这一篇会带大家写部署环境的环境变量，配置文档，还有一些库包的清理删除问题；尽量让大家在部署的过程中更加舒适
2024-03-30 21:40:35
783
原创 岭师大数据技术原理与应用-第一章--环境搭建-软工版
这一篇将会给大家介绍一下一些关于工具的使用、jdk 的自定义安装、免密登录的配置、网卡文件的配置等等，经过上一篇的了解，大家应该不会怀疑我写出来的不够详细吧，但是有一些问题可能大家会遇上，但是我这边是没有的，所以有的话请大家私信我或者私信老师或者上网搜索，有问题欢迎一起讨论，篇幅较长，座椅目录我就放在下面，大家可以自行选取。
2024-03-28 08:47:21
650
1
原创 岭师大数据技术原理与应用-序章-软工版
这一篇主要给软工的兄弟姐妹介绍一下本门课程需要的一些组件和下载的方式，以及系统的安装，可能大家已经安装好了，也可能有些覆盖不到的地方，也请大家多多包涵；还是希望这篇文章能够帮助到大家一些地方的。如果大家学习过程中有什么问题可以一起交流，能联系到我的话，在下也很乐意为大家排忧解难。
2024-03-28 01:05:15
811
原创 第一篇——大数据环境部署前置条件
例如，Maven、Gradle 和 Eclipse 等工具会自动使用配置的环境变量来定位 JDK，并确保项目在正确的 JDK 版本下构建和运行。在配置环境变量时，我们一般配置的是用户级别的环境变量，也就是说这个环境变量单单只对我们配置的这个用户是有效的，对于其他用户并没有效果。比较两者的优劣性是一个复杂的问题，因为它们有不同的设计目标和适用场景，所以我们只进行一些最初始的比较，这并不能作为衡量二者好坏的依据，请大家根据实际情况进行选择使用。变量存在，但在大多数情况下，它们不需要在环境变量中进行额外的配置。
2023-07-12 20:40:29
287
原创 Ubuntu 16.04 —— Hive 3.1.2 安装
下载安装比较简单，最后配置文件部分不一定需要使用MySQL根据大家自己具体情况进行分析并且修改。这篇文章有一些短，因为在安装上的确也没有什么需要特别说明的，但是生产环境中需要根据不同的情况对配置文件进行不同的调整，这里只给一个简单的例子供大家进行参考。
2023-05-19 09:20:55
428
原创 Ubuntu 16.04 —— MongoDB 4.4 安装
MongoDB 是一个流行的开源文档数据存储和NoSQL数据库管理系统。MongoDB 使用面向文档的数据模型来存储数据，采用BSON（二进制JSON）格式，每个文档代表一个实体或对象，文档中可以包含嵌套的字段和值。MongoDB 适用于处理各种数据类型，例如非结构化、分层和半结构化数据。MongoDB 使用JSON风格的查询语言和可扩展的数据模型，可以轻松扩展数据库而不需要修改模式。MongoDB 的索引引擎是高效的，并且可以用来支持文本搜索和地理空间查询。
2023-05-16 22:58:47
1027
原创 HBase2.2.2编程实践
解决WARN [main] util.NativeCodeLoader (NativeCodeLoader.java:(62)) - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2023-04-26 18:00:25
490
原创 Ubuntu 16.04 安装 HBase2.2.2
解决SLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/usr/local/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J: Found binding in [jar:file:/usr/local/hbase/lib/clie
2023-04-21 19:43:25
1083
1
原创 HDFS编程实践(Hadoop3.1.3)
Hadoop 分布式文件系统是Hadoop核心组件之一。介绍Linux操作系统中关于HDFS文件操作的常用Shell命令，利用Web界面查看和管理Hadoop文件系统，以及利用Hadoop提供的Java API进行基本的文件操作。解决File hdfs://localhost:9000/user/hadoop does not exist解决Call From Master/10.13.236,141 to localhost:9000 failed on connection exception:
2023-04-16 15:49:17
3305
6
原创 Ubuntu 16.04——Hadoop集群安装配置
hadoop 集群安装配置分为两个部分，一个部分是主节点（Master）和 从节点（Slave），两个部分需要完成的配置有一定的不同；总的来说，Master 所需要做的会比 Slave 会多一些。下面会演示两个部分需要做的事情；由于各台主机情况会有所不同，所以在报错的时候也会有一些的不一样，所以该文章仅供参考。
2023-04-14 12:45:49
2139
原创 CentOS-7 下载安装并配置Java-19 （包含卸载和安装）
CentOS-7 下载安装并配置Java-19，卸载、下载安装教程。其他java版本其实也是适用的，只是换个地址而已。
2023-03-16 21:30:27
4523
3
原创 CentOS-7 配置 SSH 远程登录
本篇文章主要是对于CentOS-7-Minimal的SSH远程登录的一些配置进行说明，都是小编的一些拙见，有什么说的不对的望海涵
2023-03-15 19:17:18
17671
6
原创 Vmware虚拟机Ubuntu的ssh远程登陆--笔记
首先，先检查网络是否畅通，通常方法是 ping 4.2.2.2，但是，因为在 Ubuntu 中，ping 4.2.2.2 可能查不出别的网络问题，具体表现为：ping 4.2.2.2 能连通，但是 ping baidu.com 无法响应。主要还是解决最后一个问题，一般来说，只要源没问题，那么就可以进行 ssh 下载配置了，所以接下来我们进行添加源的操作，这里我用命令行进行操作。安装 ssh 的服务，然后再用上面的命令检查一下，可能安装不了，具体问题具体分析，既然我已经解决了，那么如果有问题，咱私聊。
2023-03-14 15:56:35
1565
原创 Python语言基础——Python 语法特点
学习 Python 需要了解它的语法特点，如注释规则、代码缩进、编码规范等。下面将对学习 Python 时首先需要了解的语法特点进行进行详细介绍。
2023-02-04 23:28:18
684
原创 【字符串操作与应用】广东药科大学实验指导（实验5-字符串操作与应用）
1、 熟悉Python语言中字符串的表示方法及其常见操作类型。2、 掌握字符串操作的主要函数和方法的应用，能利用这些知识解决常见的程序设计问题。
2022-11-02 16:25:12
1692
2
原创 【计算机科学前沿】第七章答案 2022 - 文本分析
我们通过调用to_matrix函数来将 tf-idf 特征转换为文档-词矩阵我们使用topic_model函数来构建主题模型训练好模型之后，我们可以直接通过 模型.tmatrix 获得主题模型的词频矩阵 T，通过 模型.wmatrix 获得主题模型的主题比重矩阵 W。至此，我们已经获得了词频矩阵 T 和主题比重矩阵 W，以及一个训练好的主题模型，接下来我们尝试为每个主题提取高频词。
2022-10-27 17:01:01
1633
2
原创 【计算机科学前沿】第六章答案 2022 - 计算机视觉
神经网络以图像作为输入，通过内部运算后直接输出分类结果。因此我们不需要对图像提取特征，直接构建神经网络，再使用数据集对其进行训练即可。我们在工具包中提供了 NNClassifier 函数，用于构建一个基于卷积神经网络的分类器模型。函数名中的 NN 代表神经网络，是 Neural Network 的缩写，Classifier 代表分类器。该函数的使用方法如下：神经网络分类器 = NNClassifier(backbone=网络结构, ncls=类别数)ncls:代表类别数目，因为我们的数据集包含十类图像，
2022-10-27 16:56:27
1731
原创 【计算机科学前沿】第五章答案 2022 - 图像处理
计算机中，图像数据常常为一个 numpy 数组。例如，上一节中的 img_gray 就是一个 numpy 数组，你可以使用 type(img_gray) 来找到它的 type。我们可以使用 img_gray.shape 打印出它的形状，而 printMat2D()函数帮助我们观察img_gray 内部的像素值。
2022-10-27 16:51:07
2037
原创 【计算机科学前沿】第四章答案 2022 - 人工神经网络
model是我们定义的神经网络，我们可以直接调用网络的训练功能，在网络中传入的参数有：网络输入层的输入值f_train用变量data表示、期望得到的输出值l_train用变量label表示，网络的学习率、网络使用的损失函数以及网络使用的优化方法都已经预先定义好了。然后，网络便会自动学习商区坐标与商区类别之间的关系，在训练完成后我们的模型便具有了根据商区坐标信息得到商区类别的能力。
2022-10-27 16:44:54
821
原创 【计算机科学前沿】第三章答案 2022 - 机器学习
在教材中我们已经知道 KMeans 是一种无监督分类法，并不需要对数据集进行划分。 这里直接使用聚类模型中的 train 函数对整个数据集的特征进行训练。为了观察模型的训练效果，我们将训练模型聚类结果与原有的类别标签进行统计比较，并绘制柱状图。 此处我们依然使用 fig() + plot(..., type=...) 语法，并指定 type 参数为 'cluster_statistics'。
2022-10-27 16:41:22
2252
原创 【计算机科学前沿】第二章答案 2022 - 传感器与控制
在这门课程里，你将要频繁地使用go函数来控制小车。go函数填写参数的用法是：go(左轮功率，右轮功率，持续时长)你的小车可以分别控制左右驱动轮进行运动。左右轮功率的参数范围在-100到100之间，0意味着轮子以0%的功率静止不动，100意味着轮子以100%（最高）马
2022-10-27 16:36:20
1757
原创 Python学习 1.3 —— 实例一：温度转换
温度刻画的两种不同体系该问题中计算部分的理解和确定由于尚且处于入门阶段，所以我们采用理解1 直接将温度值进行转换表示放在温度最后，F 表示华氏度，C 表示摄氏度82F表示华氏82度，28C表示摄氏28度根据华氏和摄氏温度定义，利用转换公式如下：其中，C 表示摄氏度，F 表示华氏度下面先把代码给大家，虽然可能会有很多都是看不懂的，但没有关系，细节在后面都会跟大家一一说清楚的上述代码希望大家都能自己运行一下，加深一下对代码的印象，若是可以，希望大家能思考一下能否实现运行一次实现多次转换温度或是一次转换多个温
2022-07-13 23:24:35
9093
原创 Python 学习 1.2 —— Python 开发环境配置
我们需要使用 Python 的解释器才能够运行 Python 程序，所以我们首要步骤就是下载 Python 的解释器。以下都以 Windows 版本为例（对于 Mac OS 同样适用）：使用者可根据自身情况进行点击下图中橙色方框括住的两个链接，选择 Python 3 或者 Python 2 的解释器进行下载若有不兼容问题的可继续往下滑寻找并选择适合自己的版本下载好后就可以打开安装程序了，因为我已经安装好了，所以具体的过程可能会有一些差距，大概基本的就是一般默认。...
2022-07-12 02:19:45
617
原创 Python 学习 1.1 —— 程序设计基本方法
对数据的操作，表现为数据计算、输入输出处理和结果存储等根据一系列指令自动地、可预测地完成操作者的意图计算机的发展参照摩尔定律，表现为指数方式计算机发展历史上最重要的预测法则程序设计是计算机可编程性的体现程序设计语言是一种用于交互（交流）的人造语言编程语言种类很多，但生命力强劲的却不多程序语言的执行方式有两种，分别为：源代码和目标代码采用某种编程语言编写的计算机程序，人类可读。例如：result = 2 + 3计算机可直接执行，人类不可读（专家除外）例如：11010010 00111011将源代码一次性转
2022-07-08 01:46:41
311
原创 Python电影爬虫，用Excel存储并进行数据可视化分析
先查看网页中的数据是属于哪种类型，例如：text、json等。由图中可以发现这边的数据是 json 类型的然后我们分析各排行榜中的url有何不同：这边我列举了3个排行榜的url出来，观察很容易发现其中的对应关系是一种字典的对应，即每个分类名字（type_name）都有自己对应的数字（type）对应。所以我就将其记录下来用一个字典进行存储：电影分类对应关系表下表是我查看并统计的，表比较长可以直接跳过有了上述准备之后，就可以开写爬虫了。因为我已经写好了，所以就直接给出来。（2）编写请求中使用的相
2022-06-22 21:41:12
4126
16
空空如也
cat: Your endpoint configuration is wrong
2023-03-30
TA创建的收藏夹 TA关注的收藏夹
TA关注的人