- 博客(8)
- 收藏
- 关注
RSS订阅原创 初识布隆过滤器
布隆过滤器1. 概述布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。如果想判断一个元素是不是在一个集合里，一般想到的是将集合中所有元素保存起来，然后通过比较确定。链表、树、散列表（又叫哈希表，Hash table）等等数据结构都是这种思路。但是随着集合中元素的增加，我...
2021-08-20 15:57:21
150
1
原创 HbaseAPI详细代码
给大家详细介绍一个常用HBASEAPI废话不多说 ,代码如下! * 创建结构表 * createtable();static void createtable() throws IOException { Configuration conf = new Configuration(); conf.set("hbase....
2020-01-06 21:32:42
245
原创 CDH分布式环境的搭建
目标：搭建基于CDH的分布式集群安装环境服务部署规划 服务器IP 192.168.52.100 192.168.52.110 192.168.52.120 HDFS NameNode SecondaryNa...
2019-11-19 10:10:12
407
原创 CDH版本Hadoop重新编译
为什么要编译Hadoop由于CDH的所有安装包版本都给出了对应的软件版本，一般情况下是不需要自己进行编译的，但是由于CDH给出的Hadoop的安装包没有提供带C程序访问的接口，所以我们在使用本地库（本地库可以用来做压缩，以及支持C程序等等）的时候就会出问题，好了废话不多说，接下来看如何编译由于后续课程需要使用snappy进行压缩数据，而CDH给出的Hadoop的安装包没有提供带C程序访问的...
2019-11-19 09:57:54
292
原创 大数据为什么那么快?它怎么就那么快?他凭什么那么快?
传统数据与大数据处理方式对比纵向扩展：表示在需要处理更多负载时通过提高单个系统处理能力的方法来解决问题。最简单的情况就是为应用系统提供更为强大的硬件。例如如果数据库所在的服务器实例只有2G内存、低配CPU、小容量硬盘，进而导致了数据库不能高效地运行，那么我们就可以通过将该服务器的内存扩展至8G、更换大容量硬盘或者更换高性能服务器来解决这个问题横向扩展是将服务分割为众多的子服务并...
2019-11-19 09:52:47
793
原创 初识大数据 小孩子都懂的大数据
1、大数据概述传统数据处理介绍目标： 了解大数据到来之前，传统数据的通用处理模式。数据来源:1、企业内部管理系统 ,如员工考勤（打卡）记录。 2、客户管理系统（CRM）数据特征： 1、数据增长速度比较缓慢，种类单一。 2、数据量为GB级别，数据量较小。数据处理方式：1、数据保存在数据库中。处理时以处理器为中心，...
2019-11-19 09:47:48
891
原创 镜像挂载 yum源的制作
服务器如果联网就会有很大风险被攻击 ,所以需要制作yum源,因为系统自带的安装包提供了很多常用的安装包. 在需要的时候只需要本地安装即可,极大的避免了被攻击的风险.步入正题!!!方法一着重检查第三步记得我们上节课的分享 用 lsblk -f (老师不离开) 检查这里的sr0就是系统的镜像 看到它没有挂载目录 那么我们就把它挂载到创建好的目录 这里我用/mn...
2019-10-21 20:50:48
873
原创 Linux磁盘添加分区格式化及其操作
第一步 了解磁盘分区原理一个硬盘可以分为多个区 用户不能直接操作硬件,需要让硬件和系统目录建立映射关系(挂载)才可以操作 第二步 查看系统分区挂载情况 lsblk -f (记忆:老师不离开)第三步 添加硬盘右键目标虚拟机 -> 设置 -> 硬盘 -> 添加 ->创建新的虚拟磁盘 ->指定大小 ->完成...
2019-10-17 16:15:43
483
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人