![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
BigData
皮蛋double
这个作者很懒,什么都没留下…
展开
-
redis-String场景
redis-String场景概述场景场景-session场景-uuid场景-小文件场景-限流器概述redis的String类型可以存字符串,也可以数字,字符串可以理解,数字这个比较另类,他是当使用计算函数的时候会把字符串转成数字,默认是字符串类型。场景字符串的场景,就是存,取,计算,按照这3个进行组合。场景-session网站、管理后台凡是有登录的都要解决的问题:登录有效期如果在数据库中设置,还要用公式end-start做判断,还是麻烦,使用下面TTL就比较方便了。同一账号不允许多人登录原创 2020-05-24 12:03:54 · 329 阅读 · 0 评论 -
学redis先搞懂为什么要用它?
概述通过带入问题来搞明白为什么用要redis预热1、为什么文件查找内容比数据库查找要慢?早期内容都存放在本文中,我们都是直接文本搜索,之后数据都放在数据库中大家都用数据库搜索,都说数据库查数据快,为什么呢?,带着疑问我们看下对比:这里核心词 全量文件:一次要加载整个文件,没听说过打开一半搜索文件的吧。数据库:使用3连击,第1击:数据切块最小为4k,2连接索引读块,3连击内存建立B+T树。举例:以下是数据库的查找路线,比较简陋大致能看懂哈几个注意点:以下查找速度可以在最少的数据原创 2020-05-23 16:15:12 · 592 阅读 · 0 评论 -
Hbase shell常用操作
开启HBase Shell进入hbase[root@k3s-a-1 hbase-2.1.9]# ./bin/hbase shell2020-05-20 02:59:54,378 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicableHBase ShellUse "help" to原创 2020-05-22 11:33:50 · 256 阅读 · 0 评论 -
HBase架构解析
概述Hbase是存大数据的,之前也用过,一直没好好的梳理下整个原理,通过网上搜索和阿里大学的免费课程,总结了一下,希望对大家有所帮助,理论都是无聊的,希望大家能耐下心来一起成长。架构说明client就是你的代码,顺序是这样的:1、先访问zookeeper,获取region Server地址。2、Client再去访问Rregion Server,这里要注意client要和Region server的网络一定要通,还有一点如果Region Server是域名,你那在client上也要做个host解析。原创 2020-05-22 11:22:43 · 219 阅读 · 0 评论 -
Mysql常用4大架构案例
Mysql常用架构案例4大经典架构Mysql-keeplive架构Mysql-MMM架构Mysql-Heatbeat/SAN架构Mysql-Heatbeat/DRBD架构总结4大经典架构mysql不是分布式存储,所以对于大数据量的存储使用其他数据库进行扩展,怎么部署网上一大堆,这里只是说下这些架构的区别,提供一个参考方案。Mysql-keeplive架构DB1,DB2看做一台mysql,利用2台mysql master上的keeplive的vip地址暴露给Web Server进行数据读写。这里要说原创 2020-05-16 09:33:13 · 1244 阅读 · 0 评论 -
hdfs文件系统基础笔记
架构设计HDFS是一个主从(Master/Slave)架构主从是都工作,主备是一个工作。由一个NameNode和一些DataNode组成DataNode建议数量5000以下。面向文件包含,文件数据(data)和文件元数据(metadata)NameNode负责存储和管理文件元数据,并维护了一个层次型的文件目录树DataNode负责存储文件数据(block快),并提供block的读写DataNode与NameNode维持心跳,并汇报字持有的block信息Client和NameN原创 2020-06-06 22:44:38 · 217 阅读 · 0 评论 -
hadoop伪分布式配置
参数参考网址 https://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml设置免密#这里说下,这个是以当前hostname做的免密,所以先要改hostname,hostsssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys设置环境变量export JA原创 2020-06-06 22:35:08 · 220 阅读 · 0 评论