- 博客(15)
- 收藏
- 关注
RSS订阅原创 HBase行键设计
HBase的行键按照字典顺序排序，这样的设计优化了扫描。但是这样的设计可能会导致hotspotting问题，大量的客户端（读写）请求可能集中在一个或者几个region server上，造成一个或者几个机器的压力过大，在同一个region server上的其他region会收到影响，影响集群效率。为了防止出现hotspotting，在设计行键的时候，应该使得数据尽量同时往多个region上写而不是一个。常用方法：1，salting指的是将随机数放在rowkey的起始处，即给每一个rowkey随机指定
2022-02-21 16:13:37
1938
原创 Hadoop 常见参数
yarn.nodemanager.log.retain-seconds：日志保留时间。如果日志聚合被激活，这个时间可以忽略。mapreduce.task.userlog.limit.kb：设置日志文件的最大阈值，默认为0，表示没有上限。mapreduce.map.log.levelmapreduce.reduce.log.levelmapreduce.job.ubertask.enable...
2021-12-10 16:22:16
1732
原创 HadoopHDFS
使用场景hdfs适合超大文件的存储，指的是几百M，几百G甚至几百T的文件。由于namenode将文件系统的元数据存储在内存中，因此文件系统所能存储的文件总数受限于namenode的内存容量。每个文件、目录和数据块的存储信息大约占用150字节，如果有一百万个文件、每个文件一个数据块，大约需要300M的内存。一般概念HDFS有block的概念，默认是128M。HDFS的块比磁盘块（一般512字节）大，可以最小化寻址开销。但是参数不应该设置过大，MapReduce任务通常一次只处理一个块中的数据，如果任务
2021-12-10 10:55:00
1542
原创 hadoop mapreduce
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2021-12-09 17:56:13
246
原创 maven-shade-plugin
maven-shade-plugin：官方对此plugin的描述：shade:shade is bound to the package phase and is used to create a shaded jar.通俗理解为在package阶段打包出一个需要使用的大包。使用的时候通常用于：1，将需要的jar包的依赖也打进来最终的shaded大包中，因为默认的打包不会包含jar包的依赖。2，进行重命名，特定添加、特定排除等。结构：<project> ... <b
2021-01-05 11:12:42
324
原创 Tomcat日志异常（端口占用）但正常启动
Tomcat日志异常，但正常启动Tomcat在启动时，从日志中发现了异常，但是并未影响服务启动。导致的后果可能是，其他端认为服务端正常，但是实际上并无法调用。Catalina日志显示：虽然中途有address already in use的日志，表示端口被占用，但是仍旧继续执行了Initialization process。排查发现，connector端口确实被占用，此时应该让程序启动失败。Tomcat源代码中，在启动过程中如果org.apache.catalina.startup.EXIT_
2020-09-23 15:47:45
463
原创 vmware tools无效
环境：vmware15+ubuntu18问题现象：vmware tools，没有效果。想要使用的复制操作，虚拟机界面大小自适配等都无法使用。操作过程：1，之前使用的时候点击了vmware的安装vmware tools，就傻瓜式一键安装，然后全部搞定，这次安装-取消安装-重新安装，尝试了很多次，都没有效果。2，尝试将CD/DVD改成使用物理驱动器，无效。（这一步操作似乎有风险，网上论坛有人说这一步改完之后虚拟机无法再打开，我没有遇到这这个问题）。3，看见图1。4，图2是简单查询的结果，vm
2020-07-20 10:22:38
5071
1
转载 hbase： DataNode,namenode
发现一个讲解帖子，记录：https://www.cnblogs.com/wxplmm/p/7239342.html
2020-06-29 14:04:54
367
转载 Java对象
java对象结构：对象头，对象实际数据，对齐填充。markwork:用于存储对象自身的运行时数据，如哈希码（HashCode）、GC分代年龄、锁状态标志、线程持有的锁、偏向线程ID、偏向时间戳等，这部分数据的长度在32位和64位的虚拟机（未开启压缩指针）中分别为32bit和64bit，官方称它为“MarkWord”。klass对象头的另外一部分是klass类型指针，即对象指向它的类元数据的指针，虚拟机通过这个指针来确定这个对象是哪个类的实例.数组长度（只有数组对象有）如果对象是一个数组, 那在对.
2020-06-23 15:24:01
301
原创 kerberos+zookeeper无法删除节点问题
开启了kerberos的环境，在zookeeper上有kafka的相关节点，无法删除。进入zookeeper client，查看acl权限：[zk: ] getAcl /brokers/topics/***'world,'anyone: r'sasl,'kafka: cdrwa[zk: ] getAcl /brokers/topics//**'world,'anyone: cdrwakafka的配置：KafkaServer {com.sun.security.auth.module.
2020-06-22 10:21:16
1328
原创 读书笔记：从Paxos到Zookeeper 分布式一致性原理与实践
ACID和四种隔离级别回顾：ACID1，原子性 Atomic：事务必须是一个原子的操作序列单元。事务中包含的各项操作在一次执行中，只能出现以下两个状态之一：*要么全部成功*要么全部失败事务中任何一个小操作的失败，都会导致整个事务的事变，已经被执行的操作会被撤销并且回滚，只有所有的操作都成功，事务才是成功。2，一致性 Consistency：事务的执行不能破坏数据库数据的完整性和一致性。理解为：前后都是有意义的数据。3，隔离性 Isolation：在并发环境中，事务的执行是相互隔离的。不同
2020-06-19 20:26:23
157
原创 zookeeper ACL
zookeeper以树状结构保存，znode是zookeeper的基本单元。zookeeper控制权限的手段是ACL（access control list），访问控制列表。权限有五种：cdrwa.c:create,对子节点Create 操作。d:delete，允许对子节点Delete 操作r:read，允许对本节点GetChildren 和GetData 操作w:write，允许对本节点SetData 操作a:admin，允许对本节点setAcl 操作添加权限的方式：world：默认方
2020-06-17 15:28:07
242
原创 /dev/mapper/centos-root空间不足，新增磁盘并对root扩容。
虚拟机/dev/mapper/centos-root满了，剩余空间20K……需要扩容。从网上帖子看大部分是将/dev/mapper/home的空间分给/root，结果df -lh直接傻眼了，可能是之前手动配置的。并没有/dev/mapper/home。VMware直接修改磁盘空间，失败，不能做到。故尝试加磁盘，然后将新加的空间分给/dev/mapper/centos。并且不能是将老磁盘内容备份然后复制到新磁盘上，因为新磁盘的空间也受限。1，首先加一块100G的磁盘。这个从VMware编辑中直接加就行。
2020-05-28 15:18:10
7293
8
原创 hbase笔记
这里写自定义目录标题一个hregionserver管理多个region和一个hlog，hregion：有多少个列族就有多少个store，store中有一个memstore和一个或者多个hfile。WAL：write ahead log，存着一些临时数据，供恢复。put操作，首先数据会被写入WAL，然后写入memstore中，memstore达到大小时，会进行flush，写入磁盘（即写成一个hfile）。数据三个备份：当数据被写到HDFS的时候，一份数据拷贝在本地，然后备份到二级节点，然后备份进入叔节
2020-05-19 15:47:48
317
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人