大数据安全及计算机基本原理
文章平均质量分 83
大数据安全及计算机基本原理
bmyyyyyy
来一JAY个
展开
-
【大数据集群搭建-CDH-(4)CDH部署前的环境准备】CDH版本进行大数据集群各组件环境部署-(4)CDH部署前的环境准备
(2)另一方面在特殊场景下方便运维童鞋进行降级处理,比如类似于淘宝双十一这类大促活动,某个核心业务预期会有很大的流量涌入,为了保证核心业务的平稳,在资源共享的情况下只能牺牲其他非核心业务,在和非核心业务方充分交流沟通的基础上限制这些业务的资源使用,在流量极限的时候甚至可以直接停掉这些非核心业务。除此之外,还要考虑数据的不断增长,根据历史数据推算,每年用户量增长1倍,明年一年(或未来三年,根据公司财力来进行规划)内数据将达到3000G,加上1500G历史数据,共需存储4500G。原创 2023-02-22 14:05:07 · 812 阅读 · 0 评论 -
【大数据集群搭建-CDH-(2)ClouderManager相关介绍】CDH版本进行大数据集群各组件环境部署-(2)ClouderManager相关介绍
Server:是CM的核心,提供了统一的UI展现,和API借口,方便用户和CDH进行交互,并且进行监控和诊断Clients:管理者通过可视化界面对ClouderaManager进行管理API:Server提供了一些借口,可以让开发人员进行自定义的开发,来进行控制ServerClouderaRepository:一些大数据的组件如hive,spark等,可以直接通过这个云端进行安装ManagementService:提供监控,报警,报告功能的一些服务。原创 2023-02-22 11:43:31 · 1173 阅读 · 0 评论 -
【大数据集群搭建-CDH-(3)VMware-Linux磁盘扩容】CDH版本进行大数据集群各组件环境部署-(3)VMware-Linux磁盘扩容
【代码】【大数据集群搭建-CDH-(3)VMware-Linux磁盘扩容】CDH版本进行大数据集群各组件环境部署-(3)VMware-Linux磁盘扩容。原创 2023-02-22 12:01:36 · 388 阅读 · 0 评论 -
【大数据集群搭建-CDH-(5)CDH环境搭建】CDH版本进行大数据集群各组件环境部署-(5)CDH环境搭建
默认的方式下linux会把文件访问的时间atime做记录,文件系统在文件被访问、创建、修改等的时候记录下了文件的一些时间戳,比如:文件创建时间、最近一次修改时间和最近一次访问时间;如果提示ERROR JDBC Driver com.mysql.jdbc.Driver not found,需要上传mysql驱动包jar到/opt/cloudera/cm/lib目录下。因为系统运行的时候要访问大量文件,如果能减少一些动作(比如减少时间戳的记录次数等)将会显著提高磁盘 IO 的效率、提升文件系统的性能。原创 2023-02-22 15:51:20 · 995 阅读 · 0 评论 -
【大数据集群搭建-CDH-(1)虚拟机基础环境配置】CDH版本进行大数据集群各组件环境部署-(1)虚拟机基础环境配置
安装vim,telnet,ifconfig,根据情况进行安装。最后通过客户端进行连接三台虚拟机,然后就可以使用了。【大数据集群搭建-CDH-(1)虚拟机基础环境配置】CDH版本进行大数据集群各组件环境部署-(1)虚拟机基础环境配置原创 2023-02-22 11:28:16 · 554 阅读 · 0 评论 -
【大数据集群搭建-Apache】Apache版本进行大数据集群各组件环境部署
将es的安装包下载并上传到5gcsp-bigdata-svr1服务器的/export/software路径下,然后进行解压,使用itcast用户来执行以下操作,将es安装包上传到5gcsp-bigdata-svr1服务器,并使用es用户执行以下命令解压。将hive-2.1.0/jdbc/目录下的hive-jdbc-2.1.0-standalone.jar 拷贝到hive-2.1.0/lib/目录。链接:https://pan.baidu.com/s/154nyt3GBOTon_shvJ_DUlg。原创 2023-02-21 15:13:02 · 1019 阅读 · 0 评论 -
【大数据集群搭建-Apache】Apache版本大数据组件启动命令
注意这里所有的组件安装目录都为,大家执行的时候更改到自己的安装路径即可。【大数据集群搭建-Apache】Apache版本大数据组件启动命令原创 2023-03-07 16:18:24 · 446 阅读 · 0 评论 -
【计算机基本原理-数据结构】八大数据结构分类
哈希表,也叫散列表,是根据关键码和值 (key和value) 直接进行访问的数据结构,通过key和value来映射到集合中的一个位置,这样就可以很快找到集合中的对应元素。二叉树是一种比较有用的折中方案,它添加,删除元素都很快,并且在查找方面也有很多的算法优化,所以,二叉树既有链表的好处,也有数组的好处,是两者的优化方案,在处理大批量的动态数据方面非常有用。的存储结构,数据元素的逻辑顺序是通过链表的指针地址实现,每个元素包含两个结点,一个是存储元素的数据域(内存空间),另一个是指向下一个结点地址的指针域。原创 2023-04-24 17:57:16 · 842 阅读 · 0 评论 -
【计算机基本原理-数据结构】数据结构中树的详解
我们知道,实际应用当中,我们经常使用的是查找和排序操作,这在我们的各种管理系统、数据库系统、操作系统等当中,十分常用。数组:数组的下标寻址十分迅速,但计算机的内存是有限的,故数组的长度也是有限的,实际应用当中的数据往往十分庞大;而且无序数组的查找最坏情况需要遍历整个数组;后来人们提出了二分查找,二分查找要求数组的构造一定有序,二分法查找解决了普通数组查找复杂度过高的问题。任何一种数组无法解决的问题就是插入、删除操作比较复杂,因此,在一个增删查改比较频繁的数据结构中,数组不会被优先考虑。普通链表。原创 2023-04-26 17:03:07 · 1513 阅读 · 0 评论 -
【大数据安全-Kerberos】Kerberos常见问题及解决方案
javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)]可以用来帮助诊断 Kerberos 相关问题的原因并实施解决方案的指南。原创 2023-04-04 17:24:42 · 8818 阅读 · 2 评论 -
【大数据安全-Kerberos】Kerberos相关命令
【代码】【大数据安全-Kerberos】Kerberos相关命令。原创 2023-03-31 17:01:29 · 712 阅读 · 0 评论 -
【大数据安全-Kerberos】Kerberos-Windows本地认证
1、Windows 本地的 krb5.ini 文件不能直接使用 krb5.conf 文件更名替换,否则会出现文件格式的问题导致 MIT Kerberos 客户端无法正常启动。2、在生成 keytab 文件时需要加上参数,否则会导致 kinit 时密码错误。3、在 Windows 本地安装了 Java 环境后,由于 Java 里也有 kinit、klist 等命令,所以需要在 Path 环境变量里面,将 Kerberos 的环境变量位置调整到Java环境变量的前面。原创 2023-03-31 16:36:21 · 1934 阅读 · 0 评论 -
【大数据安全-Kerberos】一篇文章搞定Kerberos认证
同样地,TGS 将发送两条信息给客户端: 其中一条是 HTTP Ticket,由 HTTP 服务的密钥进行加密;客户端通过 kinit USERNAME 或其他方式,将客户端 ID,目标 HTTP 服务 ID,网络地址(可能是多个机器的 IP 地址列表,如果想在任何机器上使用,则可能为空),以及 TGT 有效期的寿命等信息发送给 Authentication Service。其中一条信息被称为 TGT ,由 TGS 的密钥加密,客户端无法解密,包含客户端 ID, TGS Session Key 等信息。原创 2023-03-28 14:27:59 · 1609 阅读 · 0 评论 -
【大数据安全-集群压测】集群的磁盘IO与网络IO测试
【大数据安全-集群压测】集群的磁盘IO与网络IO测试。测量的工具,可以测试。原创 2023-03-10 18:08:51 · 321 阅读 · 0 评论