![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据工具
文章平均质量分 80
000X000
这个作者很懒,什么都没留下…
展开
-
记VMware网络适配器里的自定义特定虚拟网络一直加载问题解决办法
VMware网络适配器里的自定义特定虚拟网络一直加载问题原创 2024-07-12 14:09:09 · 370 阅读 · 0 评论 -
数据库连接工具Chat2DB介绍
数据库连接工具Chat2DB介绍原创 2023-09-16 19:23:06 · 1225 阅读 · 0 评论 -
Flink CDC-2.3版本概述
Flink CDC-2.3版本概述原创 2022-12-05 10:13:40 · 2978 阅读 · 0 评论 -
数据治理之数据质量
数据治理之数据质量原创 2022-07-08 11:54:51 · 1783 阅读 · 0 评论 -
大数据常用采集工具
1、FlumeFlume作为Hadoop的组件,是由Cloudera专门研发的分布式日志收集系统。尤其近几年随着Flume的不断完善,用户在开发过程中使用的便利性得到很大的改善,Flume现已成为Apache Top项目之一。Flume提供了从Console(控制台)、RPC(Thrift-RPC)、Text(文件)、Tail(UNIX Tail)、Syslog、Exec(命令执行)等数据源上收集数据的能力。Flume采用了多Master的方式。为了保证配置数据的一致性,Flume引入了ZooK原创 2022-03-16 10:49:35 · 1523 阅读 · 0 评论 -
Pandas之DataFrame详解
二维数据,Series容器,既有行索引,又有列索引1. 创建DataFrame1.1 通过list 创建DataFrame需要指定 data,index 行,columns 列指定data和index/columns是list类型或者 np.arangedf1 = pd.DataFrame(data=[[1, 2, 3], [11, 12, 13]], index=['r_1', 'r_2'], columns=['A', 'B', 'C'])df2 = pd.Da...原创 2021-04-09 14:53:10 · 6246 阅读 · 1 评论 -
CDH6.3.2之Kerberos安全认证
问题导读:1、Kerberos认证原理是什么?2、Kerberos如何部署?3、CDH集群如何启用Kerberos?4、如何在Kerberos安全环境使用HFDS?01 PARTKerberos简介 Kerberos是一种计算机网络授权协议,用来在非安全网络中,对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构,并且能够进行相互认证,即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、...原创 2020-11-12 14:55:21 · 2131 阅读 · 3 评论 -
大数据基础
1、HDFS:1.HDFS为什么不适合存储大量小文件?答:1.大量文件的元数据占用NameNode大量内存空间 2.磁盘寻道时间超过读取时间-------------------------------------------------------------------------------------------------------------------------------------------------------------------------2.HDF...原创 2020-10-10 14:26:02 · 246 阅读 · 1 评论 -
全球大数据工具汇总简介
1、 Talend Open Studio 是第一家针对的数据集成工具市场的ETL(数据的提取Extract、传输Transform、载入Load)开源软件供应商。Talend的下载量已超过200万人次,其开源软件提供了数据整合功能。其用户包括美国国际集团(AIG)、康卡斯特、电子港湾、通用电气、三星、Ticketmaster和韦里逊等企业组织。 2、DYSON 探...原创 2019-05-29 21:06:05 · 473 阅读 · 0 评论