- 博客(18)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Java命令行工具 -- jps
功能jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令，简单实用，非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。原理jdk中的jps命令可以显示当前运行的java进程以及相关参数，它的实现机制如下： java程序在启动以后，会在java.io.tmp...
2018-07-28 15:03:11
266
原创 Hbase 计数器
实验环境hadoop版本：2.6.5master：192.168.0.160slave1：192.168.0.161hbase版本：1.2计数器计数器，见名知意它的作用就是计数，一般用于实时统计。比如广告点击量等。 Hbase中也提供了计数器的功能。它能高效的应对高并发的场景。同时保证原子性。 Hbase也有另外一种机制可以将列当作计数器。否则，如果用户需要对一行数据加锁，...
2018-07-24 16:27:49
668
原创 Hbase master HA使用
实验环境master：192.168.0.160slave1：192.168.0.161zookeeper：192.168.0.161hadoop版本：2.6.5主机操作系统：ubuntu-16.04Hbase HA实现原理HMaster HA不需要额外的配置，HBase中可以启动多个HMaster，通过Zookeeper的Master Election机制保证总有一个Mas...
2018-07-23 11:43:09
3133
6
原创 Hbase shell常见命令
1.启动shell bin/hbase shell 2.创建表 create ‘test’, ‘info’: test 为表名， info 为列簇名 3.查看所有的表： list 4.添加数据：put ‘test’，’0001’，’info:username’, ‘henry’ 5. 查看表相关信息： descibe ‘test’...
2018-07-22 17:55:44
523
原创 hive 数据类型
数字类型TINYINT (1-byte signed integer, from -128 to 127)SMALLINT (2-byte signed integer, from -32,768 to 32,767)INT/INTEGER (4-byte signed integer, from -2,147,483,648 to 2,147,483,647)BIGINT (8-by...
2018-07-21 15:00:07
377
原创 HDFS快照与配额
实验环境hadoop版本：2.6.5快照HDFS快照（snapshot）是对文件系统子树在给定时刻的一个只读副本。由于不并不真正复制数据，因此快照非常高效，它们简单的记录每个文件的元数据和块列表，这对于重构快照时刻的文件系统内容已经足够了。快照一般用于数据备份。 在HDFS中快照功能默认关闭。开启快照$ hdfs dfs -lsr /test #test目录为实验目录...
2018-07-14 16:26:48
515
原创 hive 环境搭建
实验环境安装在安装hive前，需要了解hive部署的三种模式：内嵌模式 内嵌模式的元数据采用hive自带的derby来存储。由于derby只支持同时一个用户访问所以生产环境下一般不推荐使用。本地数据库模式 hive元数据保存在本地数据库中。远程数据库模式 hive元数据保存在远程数据库中。本文讲解第三种部署方式，数据采用mysql。1.搭建hadoop...
2018-07-13 01:51:01
245
原创 JVM内存分区与垃圾回收算法
概述java 中对象的回收是由jvm自动完成的，其工作区域是堆。一个通用的垃圾回收器应该需要考虑以下两个问题：对象存活的判定，即什么样的对象需要被回收。回收算法，即怎么回收。本文主要讨论对象存活的判定，实现对象存活判定的方式主要有两种：引用计数法和可达性分析。引用计数法引用计数算法基本原理： 给对象中添加一个引用计数器，每当有一个地方引用它时，计数器值就加1；当引用失...
2018-07-11 23:48:19
397
原创 Redis数据库篇 -- 慢查询
实验环境操作系统: ubuntu-16.04-x64redis版本: 4.0.9慢查询Redis 的慢查询日志功能用于记录执行时间超过给定时长的命令请求， 用户可以通过这个功能产生的日志来监视和优化查询速度。配置参数与慢查询相关的配置参数有两项：slowlog-log-slower-than 慢查询的预设阈值，单位为微妙，默认为10000即10ms。当一条命令的执行...
2018-07-07 03:28:31
484
原创 mysql基础教程 -- 事务
事务数据库事务（简称：事务）是数据库管理系统执行过程中的一个逻辑单位，由一个有限的数据库操作序列构成。 一般来说数据库事务由以下四个特点：原子性（Atomicity）：事务作为一个整体被执行，包含在其中的对数据库的操作要么全部被执行，要么都不执行。一致性（Consistency）：事务应确保数据库的状态从一个一致状态转变为另一个一致状态。一致状态的含义是数据库中的数据应满足完整性约束...
2018-07-07 00:01:38
348
转载 zookeeper 实现master选举
概述Master选举是一个在分布式系统中非常常见的应用场景。在分布式系统中Master往往用来协调集群中其他系统单元，具有对分布式系统状态变更的决定权。例如，在一些读写分离的应用场景中，客户端的写请求往往是由Master来处理的；而在另一些场景中，Master则常常负责处理一些复杂的逻辑，并将处理结果同步给集群中的其他单元。思路在zookeeper中实现Master选举可以利用其强...
2018-07-05 23:33:46
437
原创 Java CountDownLatch使用
概述CountDownLatch是一个同步工具类，它允许一个或多个线程一直等待，直到其他线程的操作执行完后再执行。它的实现原理通过一个计数器来实现的，计数器的初始值为线程的数量。每当一个线程完成了自己的任务后，计数器的值就会减1。当计数器值到达0时，它表示所有的线程已经完成了任务，然后在闭锁上等待的线程就可以恢复执行任务。CountDownLatch类位于java.util.concurr...
2018-07-05 15:02:32
1153
原创 Java CyclicBarrier使用
概述CyclicBarrier (周期障碍)类可以帮助同步，它允许一组线程等待整个线程组到达公共屏障点，所有被阻塞的线程才能继续执行。CyclicBarrier好比一扇门，默认情况下关闭状态，堵住了线程执行的道路，直到所有线程都就位，门才打开，让所有线程一起通过。 CyclicBarrier类位于java.util.concurrent包下，CyclicBarrier提供2个构造器：...
2018-07-05 12:28:28
430
原创 Redis日常命令总结
日常命令总结测试命令：ping 删除key: del 查看所有的key: keys * , 同时关注scan 判断key是否存在：exist 查看key类型：type 重命名key: rename key1 key2 随机返回一个key: randomkey 查看服务器信息： info实时监控请求信息：monitor 关闭redis: shutdown清空数据库： f...
2018-07-01 01:45:27
347
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人