- 博客(166)
- 收藏
- 关注
RSS订阅原创 【Hadoop大数据技术】——Sqoop数据迁移（学习笔记）
在实际开发中，有时候需要将HDFS或Hive上的数据导出到传统关系型数据库中（如MySQL、Oracle等），或者将传统关系型数据库中的数据导入到HDFS或Hive上，如果通过人工手动进行数据迁移的话，就会显得非常麻烦。为此，可使用Apache提供的Sqoop工具进行数据迁移。
2024-04-20 00:25:20
1407
1
原创 Ubuntu 22.04 开机后在登陆界面循环问题解决
Ubuntu开机后在登录界面，即使输入正确的用户名和密码，3秒后也会重新跳到登录界面，无法进入系统，一直循环登录。
2024-04-19 16:12:56
699
原创 【Hadoop大数据技术】——Azkaban工作流管理器（学习笔记）
在前面HDFS分布式文件系统中，我们使用Linux自带的Crontab（定时任务工具）来定时调度任务，但是当业务规模变大并且需要可视化监控任务执行的时候，Crontab就已经不能满足这些需求了。为此，针对多任务，可视化调度的管理需求，工作流管理器便应运而生。
2024-04-16 13:00:13
972
原创 【技能拾遗】——Markdown+Typora/VSCode与LaTeX的使用
**Markdown** 是一种轻量型标记语言，是一种语法. 以 `.md` 结尾的文本文件就是 Markdown 文件。 相较于 **Word**，它更加像是 **HTML** 语言或是 $\LaTeX$，并不是最淳朴的那种"所见即所得"。 它处处透露着一种极简主义。 高效简洁清晰的同时，又很简单。 看起来舒服，语法简单，尤其在处理纯文本上有很大的优势。 它相较于 **Word**，兼容性非常高，可以跨平台使用，不用担心奇奇怪怪的版本兼容问题。它可以让你不再纠结什么字体，什么样式，什么排版。而且逻辑清
2024-04-16 11:22:44
867
原创 【Hadoop大数据技术】——Flume日志采集系统（学习笔记）
在大数据系统的开发中，数据收集工作无疑是开发者首要解决的一个难题，但由于生产数据的源头丰富多样，其中包含网站日志数据、后台监控数据、用户浏览网页数据等，数据工程师要想将它们分门别类的采集到HDFS系统中，就可以使用Apache Flume（数据采集）系统。
2024-04-12 21:01:24
1461
原创 【网络安全技术】——恶意代码与防范（学习笔记）
由于计算机网络所固有的结构松散、系统开放、主机和终端具有多样性等特点，致使网络易受病毒、黑客、恶意软件和其他不良行为的破坏或影响。针对这些安全隐患，应该对计算机网络进行全方位的安全防范，以保障网络系统的正常运行，其中恶意代码的防范是最为普遍和有效的一种安全措施。本章所提到的恶意代码是指人为编制或设置的、对网络或系统安全存在威胁或潜在威胁的计算机代码，主要包括计算机病毒、特洛伊木马、计算机蠕虫、后门、间谍软件等。
2024-04-12 08:23:45
1289
4
原创 【网络安全技术】——漏洞扫描（学习笔记）
随着技术的不断进步，漏洞的发掘水平和速度在快速提高，与此同时，漏洞的利用技术也在不断发展，尤其是利用安全漏洞的网络攻击事件频繁发生，正在遭遇一场前所未有的漏洞危机。
2024-04-10 13:06:45
1101
原创 【网络安全技术】——网络安全设备（学习笔记）
网络防火墙（简称为“防火墙”）是计算机网络安全管理中应用最早和技术发展最快的安全产品之一。随着互联应用的迅猛发展，各种安全问题和安全隐患日渐突出。防火墙及相关安全技术能够最大可能地解决各类安全问题，堵塞已知的安全漏洞，并提供相应的安全预警和安全态势分析，为用户提供可信赖的网络应用区域。目前，基于防火墙的各类安全技术和产品伴随着网络攻击带来的威胁不断推陈出新，具体表现为：一是防火墙技术已不再仅仅局限于单一的防火墙产品，同时已集成到操作系统、杀病毒软件、路由器、交换机等各类网络产品中；二是基于防火墙技术，先后出
2024-04-10 11:00:50
973
原创 【网络安全技术】——VPN技术及应用（学习笔记）
近年来，随着全球信息化建设的快速发展，对网络基础设施的功能和可延伸性提出了新的要求。例如，一些跨地区组织的各分支机构之间需要进行远距离的互联；一些单位的员工需要远程接入内部网络进行移动办公。为了解决各分支机构局域网之间的互联问题，早期只能通过直接铺设网络线路或租用运营商的专线，不但成本高，而且实现困难。对于移动办公用户来说，早期一般采用拨号方式接入到内部网络，在需要支付较高的通信费用的同时，还要考虑到通信的安全问题。VPN技术可以在公共网络（如Internet）中为用户建立专用的通道，为局域网之间的远程互联
2024-04-08 10:10:51
1422
1
原创 【软件工程导论】——面向对象与UML（学习笔记）
面向对象是以问题空间中出现的物体为中心进行模型化的一种技术。建立模型是软件工程中最常使用的技术之一。无论软件分析或软件设计，都需要建立模型。UML 就是OO 软件工程使用的统一建模语言。它是一种图形化的语言，主要用图形方式来表示。
2024-04-01 23:47:00
1041
原创 【Hadoop大数据技术】——Hive数据仓库（学习笔记）
Hive起源于Facebook，Facebook公司有着大量的日志数据，而Hadoop是实现了MapReduce模式开源的分布式并行计算的框架，可轻松处理大规模数据。然而MapReduce程序对熟悉Java语言的工程师来说容易开发，但对于其他语言使用者则难度较大。因此Facebook开发团队想设计一种使用SQL语言对日志数据查询分析的工具，而Hive就诞生于此，只要懂SQL语言，就能够胜任大数据分析方面的工作，还节省了开发人员的学习成本。
2024-03-30 15:20:49
1413
原创 【网络安全技术】——密码技术基础与身份认证技术（学习笔记）
加密技术是目前网络安全的基础。数据加密技术是指对在网络中所发送的明文消息用加密密钥加密成密文进行传送，接收方用解密密钥进行解密再现明文消息，从而保证传输过程中密文信息即使被泄漏，在无密钥的情况下仍是安全保密的。目前，数据加密技术已被普遍应用于计算机网络信息的安全管理中。计算机系统和计算机网络系统是一个虚拟的数字世界。在这个虚拟数字世界中，包括用户身份的一切信息都是用0和1组成的特定数据来表示，计算机只能识别用户的数字身份，所以，对用户的授权也是针对用户数字身份进行的。
2024-03-29 21:40:30
1124
原创 【网络安全技术】——Kali Linux环境部署
📖 前言：Kali 是一个基于 Debian 的 Linux 发行版。它的目标就是为了简单：在一个实用的工具包里尽可能多的包含渗透和审计工具。Kali 实现了这个目标。大多数做安全测试的开源工具都被囊括在内。
2024-03-27 15:09:35
915
原创 【Hadoop大数据技术】——Hadoop高可用集群（学习笔记）
Hadoop设计之初，在架构设计和应用性能方面存在很多不如人意的地方，如HDFS和YARN集群的主节点只能有一个，如果主节点宕机无法使用，那么将导致HDFS或YARN集群无法使用，针对上述问题，Hadoop在后续的版本更新中做出了改进和完善，用户可以为HDFS和YARN集群添加备用的主节点，这样即使主节点宕机无法使用，备用的主节点也可以代替原有的主节点来维持HDFS和YARN集群能够正常运行，这就是所谓的Hadoop高可用集群。
2024-03-21 23:50:42
1278
原创 【Hadoop大数据技术】——ZooKeeper分布式协调服务（学习笔记）
ZooKeeper是一个开源的分布式协调服务，它是Google Chubby的开源实现，其设计目标是将那些复杂且容易出错的分布式应用封装起来，构成一个高效可靠的原语集，并以一系列简单易用的接口提供给用户使用。
2024-03-21 21:44:33
825
原创 【Hadoop大数据技术】——MapReduce分布式计算框架（学习笔记）
MapReduce是Hadoop系统核心组件之一，它是一种可用于大数据并行处理的计算模型、框架和平台，主要解决海量数据的计算问题，是目前分布式计算模型中应用较为广泛的一种。
2024-03-16 17:46:57
1385
原创 【Hadoop大数据技术】——MapReduce经典案例实战（倒排索引、数据去重、TopN）
MapReduce是一种分布式并行编程模型，是Hadoop核心子项目之一。
2024-03-16 13:36:01
1542
原创 【软件工程导论】——软工学绪论及传统软件工程（学习笔记）
随着软件产业的发展，计算机应用逐步渗透到社会生活的各个角落，使各行各业都发生了很大的变化。这同时也促使人们对软件的品种、数量、功能和质量等提出了越来越高的要求。然而，软件的规模越大、越复杂，软件开发越显得力不从心。于是，业界开始重视软件开发过程、方法、工具和环境的研究，软件工程应运而生。
2024-03-08 11:12:49
984
原创 【Hadoop大数据技术】——HDFS分布式文件系统（学习笔记）
在NameNode内部是以元数据的形式，维护着两个文件，分别是FsImage镜像文件和EditLog日志文件。其中，FsImage镜像文件用于存储整个文件系统命名空间的信息，EditLog日志文件用于持久化记录文件系统元数据发生的变化。当NameNode启动的时候，FsImage镜像文件就会被加载到内存中，然后对内存里的数据执行记录的操作，以确保内存所保留的数据处于最新的状态，这样就加快了元数据的读取和更新操作。。
2024-03-07 14:44:40
1725
原创 【Hadoop大数据技术】——Hadoop概述与搭建环境（学习笔记）
随着大数据时代的到来，大数据已经在金融、交通、物流等各个行业领域得到广泛应用。而Hadoop就是一个用于处理海量数据的框架，它既可以为海量数据提供可靠的存储；也可以为海量数据提供高效的处理。
2024-03-05 13:21:04
1614
原创 【技能拾遗】——如何寻找/制作电子书
📖 前言：无纸化学习已经越来越流行了，尤其是这几年大家上网课，把厚厚的课本和笔记装进pad里面，其便利性想必大家都深有感受。但是还有不少同学不知道该如何去找正规教材的PDF版本，下面就以我这两年的无纸化学习经验来与大家分享下~
2024-01-11 17:21:16
1032
1
原创 【操作系统】——期末复习（冲刺篇）
📖 前言：快考试了，做篇期末总结，都是重点与必考点。标☆的重点看！题型：简答题（每章一道）（40分）；程序设计题（P-V操作）、计算题（作业调度）、综合应用题（页面置换、银行家算法、磁盘调度的磁头路径）（共5道60分）
2024-01-02 00:10:32
2264
原创 【信息安全原理】——入侵检测与网络欺骗（学习笔记）
在网络安全防护领域，防火墙是保护网络安全的一种最常用的设备。网络管理员希望通过在网络边界合理使用防火墙，屏蔽源于外网的各类网络攻击。但是，防火墙由于自身的种种限制，并不能阻止所有攻击行为。入侵检测（intrusion detection）通过实时收集和分析计算机网络或系统中的各种信息，来检查是否出现违反安全策略的行为和遭到攻击的迹象，进而达到预防、阻止攻击的目的，是防火墙的有力补充。而网络欺骗则是在网络中设置用来引诱入侵者的目标，将入侵者引向这些错误的目标来保护真正的系统，同时监控、记录、识别、分析入侵者的
2023-12-27 22:31:00
1294
原创 【信息安全原理】——拒绝服务攻击及防御（学习笔记）
拒绝服务攻击（Denial of Service, DoS）是一种应用广泛、难以防范、严重威胁网络安全（破坏可用性）的攻击方式。本章主要介绍DoS的基本概念、攻击原理及防御措施。
2023-12-27 16:35:14
1528
原创 【信息安全原理】——Web应用安全（学习笔记）
Web是互联网上最为典型的应用模式，几乎涉及人们生活的各个方面，因此其安全问题备受关注。本章我们首先聚焦Web应用本身的安全问题，包括：Web应用体系的脆弱性分析，典型Web应用安全漏洞攻击（SQL注入、XSS、Cookie欺骗、CSRF、目录遍历、操作系统命令注入、HTTP消息头注入等）及其防范措施，然后简要介绍安全的HTTP协议HTTPS。
2023-12-27 00:45:42
1624
原创 【信息安全原理】——电子邮件安全（学习笔记）
电子邮件（Email）是因特网上被广泛使用的一种网络应用，即使在互联网高度发达的今天，人们有了大量的诸如微信、QQ等社交软件来交换信息，但它仍然是个人和商务活动中一种重要的信息交换工具。本章介绍电子邮件安全，主要包括电子邮件安全问题分析、安全电子邮件标准PGP、WebMail安全威胁及防范，最后介绍垃圾邮件的防范。
2023-12-26 23:33:53
1297
原创 【Java语言设计】——期末复习（冲刺篇）
📖 前言：快考试了，做篇期末总结，都是重点与必考点。题型：判断题、单选题、程序综合题（阅读程序并填空）、改错题、代码评价题、英语专业阅读题（如给出某函数的开发文档（英文）用法解释要求翻译为中文）、编程设计题（继承、接口、多态）
2023-12-19 17:46:16
1536
原创 【无线网络技术】——无线广域网（学习笔记）
无线广域网(WWAN)是指覆盖**全国或全球**范围内的无线网络，提供更大范围内的无线接入，与无线个域网、无线局域网和无线城域网相比，它更加强调的是**快速移动性**。典型的无线广域网：蜂窝移动通信系统和卫星通信系统。
2023-12-08 11:51:06
1437
原创 【无线网络技术】——无线城域网（学习笔记）
无线城域网（WMAN）是指在地域上覆盖城市及其郊区范围的分布节点之间传输信息的本地分配无线网络。能实现语音、数据、图像、多媒体、IP等多业务的接入服务。其覆盖范围的典型值为3~5km，点到点链路的覆盖可以高达几十千米，可以提供支持QoS的能力和具有一定范围移动性的共享接入能力。MMDS、LMDS和WiMAX等技术属于城域网范畴。
2023-12-07 23:33:07
1513
原创 【无线网络技术】——无线个域网（学习笔记）
手机、PC机、电视等消费类产品非常普及，人们希望有一种短距离、低成本、小功耗的无线通信方式，实现不同功能单一设备的互联，提供小范围内设备的自组网机制，并通过一定的安全接口完成**自组小网与广域大网**的互通。 无线个人区域网(Wireless Personal Area Network，WPAN，简称无线个域网)技术就是一种满足上述应用需求的**小范围无线连接、微小网自主组网**的通信技术。
2023-12-07 22:42:17
1492
原创 【无线网络技术】——无线局域网（学习笔记）
本章首先介绍无线局域网的基本概念，然后详细介绍IEEE 802.11的基本工作原理，侧重于媒体访问控制和一跳范围内的通信技术。
2023-12-07 13:38:33
2981
原创 【信息安全原理】——DNS安全（学习笔记）
DNS是因特网运行的最重要的基础设施，因此也成为黑客的最主要攻击目标。DNS通信双方由于缺乏数据来源真实性和完整性的认证机制，系统无法确认数据发送方是否是合法的发送方，也无法验证数据报是否被篡改，攻击者很容易实现源地址和数据内容的欺骗，由此引发越来越多的网络安全问题。本篇首先简要介绍DNS的基本内容，然后详细分析DNS面临的安全威胁，最后介绍DNS安全扩展 DNSSEC。
2023-11-24 01:10:23
1839
原创 【无线网络技术】——无线传输技术基础（学习笔记）
等式中的第三部分是由第二部分导出的，它利用了理想的全向天线自由空间损耗式子中定义的天线增益和有效面积之间的关系。任一接收信号都是由传输信号构成，这些传输信号可能会被传输系统所产生的各种失真修改，还包括了在传输端和接收端之间的某些地方插入的不希望有的。要减少这种损耗，在有较大降水量的地区，或者是将路径的长度变短，或者是使用低频带。(1)为了实现有效的传输，可能需要较高的频率。在待发送的数据后面添加1位奇偶校验位，使整个数据（包括所添加的校验位在内）中“1”的个数为奇数（奇校验）或偶数（偶校验）。
2023-11-14 17:11:58
1775
原创 【信息安全原理】——传输层安全（学习笔记）
为保证网络应用，特别是应用广泛的Web应用数据传输的安全性（机密性、完整性和真实性），可以在多个网络层次上采取安全措施。本篇主要介绍传输层提供应用数据安全传输服务的协议，包括：安全套接字层（SSL)、传输层安全协议（TLS）以及SSL/TLS VPN。
2023-11-12 11:31:46
803
原创 【信息安全原理】——IP及路由安全（学习笔记）
网络层的IP协议以及基于IP的路由协议是因特网的核心，它确保用户数据能够从源端经过网络中的一个或多个路由节点正确地到达目的端。IP 及路由安全对因持网的安全、可靠运行有着重要意义。本章首先介绍IPv4协议及其安全性，然后重点介绍增强IP层安全的IPse协议，包括IPsec安全策略、IPsec运行模式、AH协议、ESP协议、网络密钥交换、SA组合以及IPsec的应用等；最后，分别介绍IPv6协议和路由协议的安全性。
2023-11-03 12:46:21
1324
原创 基于ensp的园区网络搭建综合实验
运用到的技术有：1、虚拟局域网（VLAN）2、开放式最短路径优先（OSPF）3、访问控制列表（ACL）4、网络地址转换协议（NAT）5、链路聚合（E-trunk）6、生成树协议（STP）7、多业务传送平台协议(MSTP)8、虚拟路由冗余协议（VRRP）
2023-10-09 12:54:17
5151
4
原创 VScode远程连接Linux入门
📖 简介：Visual Studio Code简称VS Code，是一款跨平台的、免费且开源的现代轻量级代码，支持几乎主流开发语言的语法高亮、智能代码补全、自定义快捷键、括号匹配和颜色区分、代码片段提示、代码对比等特性，也拥有对git的开箱即用的支持。同时，它还支持插件扩展，通过丰富的插件，用户能获得更多高效的功能。
2023-09-15 16:08:16
339
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人