- 博客(4349)
- 收藏
- 关注
RSS订阅转载 master.HMaster: Failed to become active master
报错内容：ERROR [master/h136:16000:becomeActiveMaster] master.HMaster: Failed to become active masterjava.lang.IllegalStateException: The procedure WAL relies on the ability to hsync for proper ...
2019-10-07 16:33:00
1402
转载 HBase-集群安装
需要先启动 HDFS 集群和ZooKeeper 集群。Hadoop 集群安装：https://www.cnblogs.com/jhxxb/p/10629796.htmlZooKeeper 集群安装：https://www.cnblogs.com/jhxxb/p/10744264.htmlzkServer.sh startstart-dfs.sh# 不启动 y...
2019-10-07 14:26:00
398
转载 HBase-概述
一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。逻辑上，HBase 的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从 HBase 的底层物理存储结构（K-V）来看，HBase 更像是一个 multi-dimensional map。一、HBase 逻辑结构二、HBase 物理存储结构三、数据模型1）Name Space...
2019-10-06 12:33:00
376
转载 Hive-基本操作
安装 Hive：https://www.cnblogs.com/jhxxb/p/11606842.html# 启动 hivebin/hive# 查看数据库hive> show databases;# 打开默认数据库hive> use default;# 显示 default 数据库中的表hive> show tables;...
2019-10-05 13:43:00
220
转载 unity的Tilemap学习笔记
1，如果要实现当tilemap里面的格子与其他的对象发生碰撞后，消除碰撞的那个格子，使用如下代码。void OnCollisionEnter2D(Collision2D collision) { Vector3 hitPosition = Vector3.zero; if (tilemap != null && t...
2019-10-04 23:44:00
848
转载 Hive-安装
Hive 官网地址：https://hive.apache.org/文档查看地址：https://cwiki.apache.org/confluence/display/Hive/GettingStarted下载地址：https://hive.apache.org/downloads.html&https://archive.apache.org/dist/hive/...
2019-10-04 22:51:00
137
转载 Hive-概述
Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。本质是：将 HQL 转化成 MapReduce 程序HQL 转换 MR 流程：Hive 处理的数据存储在 HDFSHive 分析数据底层的默认实现是 MapReduce，执行程序运...
2019-10-04 21:42:00
107
转载 Java-基于 Instrument 的 Agent
Agent 为 JVMTI 的客户端。这里记录的是基于Java Instrument 的 Agent 实现，还有直接基于 JVMTI 的 Agent 实现。在 JDK1.5 以后，我们可以使用 Agent 技术构建一个独立于应用程序的代理程序，用来协助监测、运行甚至替换其他 JVM 上的程序。使用它可以实现虚拟机级别的 AOP 功能。Agent 分为两种，一种是在主程序之前运...
2019-10-03 01:49:00
141
转载 Linux 时间同步 Chrony
chrony 是网络时间协议（NTP）的通用实现。chrony 包含两个程序：chronyd 是一个可以在启动时启动的守护程序。chronyc 是一个命令行界面程序，用于监视 chronyd 的性能并在运行时更改各种操作参数。与其它时间同步软件的对比：https://chrony.tuxfamily.org/comparison.html一、安装与配置yum -...
2019-10-01 23:17:00
173
转载 Flume-数据流监控 Ganglia
Ganglia 由 gmond、gmetad 和 gweb 三部分组成。gmond（Ganglia Monitoring Daemon）是一种轻量级服务，安装在每台需要收集指标数据的节点主机上。使用 gmond，你可以很容易收集很多系统指标数据，如 CPU、内存、磁盘、网络和活跃进程的数据等。gmetad（Ganglia Meta Daemon）整合所有信息，并将其以 RRD 格...
2019-10-01 17:27:00
146
转载 Java-ZipUtil
Zip 压缩工具类，不支持压缩空文件夹。简单版import java.io.FileOutputStream;import java.io.IOException;import java.nio.file.*;import java.nio.file.attribute.BasicFileAttributes;import java.time.Insta...
2019-10-01 14:37:00
205
转载 cobbler 自动安装
https://blog.csdn.net/qq_38773184/article/details/86508997转载于:https://www.cnblogs.com/niwajiang1/p/11614981.html
2019-10-01 11:00:00
228
转载 Flume-自定义 Sink
Sink 不断地轮询 Channel 中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统、或者被发送到另一个 Flume Agent。Sink 是完全事务性的。在从 Channel 批量删除数据之前，每个 Sink 用 Channel 启动一个事务。批量事件一旦成功写出到存储系统或下一个 Flume Agent，Sink 就利用 Channel 提交事务。...
2019-10-01 00:35:00
133
转载 设计模式之工厂模式
我们平时都在使用new来创建一个新的对象，但是仔细想想，我们这样公开的初始化一个对象，会经常造成耦合问题。今天我们要说的这个工厂模式便可以帮我们从复杂的依赖中解脱出来。一、披萨的故事 我们现在需要建一个能够制作披萨的程序，这里面有不同口味的披萨，同时还有披萨的所有步骤，这里给出了四个步骤（准备，烘烤，切割，打包）。 1、思考“new” 当我们使用“new”时，是...
2019-09-29 22:08:00
62
转载 CDH 更换 HDFS 数据目录
先停止 HDFS 角色。数据文件位置默认在 /dfs/ 中，这里配置 NameNode、SecondaryNameNode、DataNode数据目录。先在所有 HDFS 的主机上把数据拷贝过去，然后再修改 CDH 上的配置。mkdir /cdh/dfscp -af /dfs/* /cdh/dfs/再启动 HDFS 角色。# 执行...
2019-09-29 21:30:00
789
转载 Flume-自定义 Source 读取 MySQL 数据
开源实现：https://github.com/keedio/flume-ng-sql-source这里记录的是自己手动实现。测试中要读取的表CREATE TABLE `student` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(255) COLLATE utf8_bin DEFAULT NU...
2019-09-29 19:10:00
300
转载 Flume-自定义 Source
Source 是负责接收数据到 Flume Agent 的组件。Source 组件可以处理各种类型、各种格式的日志数据，包括 avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。官方提供的 source 类型已经很多，但是有时候并不能满足实际开发当中的需求，此时我...
2019-09-28 22:53:00
115
转载 js内置属性
var str = "abcd";document.write(str.length); // 文本长度fixed(); 将字符串固定高亮显示。fontSize(5); 设定字符串文字大小。fontColor(color); 设定字符串颜色。toLowerCase(); 将字符串全部转为小写。toUpperCase(); 将字符串全部转为大写。ital...
2019-09-28 20:26:00
118
转载 Position、overflow标签
Position属性 position属性决定浏览器定位方式，有以下几种类型： 相对定位：relative。相对于文本框中对象的位置放置 绝对定位：absolute，相对于页面左上角的位置放置 静态定位：static。用于将层定位在文本自身的位置overflow属性 overflow用于确定层的内容超出层的大小时的处理方式，有以下几种选项 ...
2019-09-28 20:16:00
188
转载 网络基础知识
1.URL URL也被成为网络地址或网址，是因特网上标准的资源地址，它是定位WWW上信息的一种方式，这种方式简单明了，准确的描述了信息所在的位置及存取方式。如果用户希望访问某台WWW服务器中的某个资源，只要在浏览器中输入该资源的URL地址，就可以方便的对其进行浏览， URL的一般语法为： 其中， <URL种类>是指信息传输所使用的网络协议，以下是...
2019-09-28 20:00:00
132
转载 Flume-自定义 Interceptor（拦截器）
使用 Flume 采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。在实际的开发中，一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到 Flume 拓扑结构中的 Multiplexing 结构，Multiplexing的原理是，根据 event 中 Header 的某个 key 的值，将不同的 even...
2019-09-27 19:23:00
146
转载 Flume-日志聚合
Flume-1 监控文件 /tmp/tomcat.log。Flume-2 监控某一个端口的数据流。Flume-1 与 Flume-2 将数据发送给 Flume-3，Flume-3 将最终数据打印到控制台。一、创建配置文件1.flume1-logger-flume.conf配置 Source 用于监控 hive.log 文件，配置 Sink 输出数...
2019-09-26 23:24:00
204
转载 css position属性
参考：https://blog.csdn.net/hope_It/article/details/71272673static默认值。没有定位，元素出现在常规流中（忽略 top, bottom, left, right 或者 z-index 声明）。inherit规定应该从父元素继承 position 属性的值。（z-index 声明有用）这个大家都应该理解，...
2019-09-26 14:29:00
76
转载 MySQL-插入更新 ON DUPLICATE KEY UPDATE
向数据库中插入一条记录，若该数据的主键值（UNIQUE KEY）已经在表中存在，则执行后面的 UPDATE 操作。否则执行前面的 INSERT 操作。测试表结构CREATE TABLE `flume_meta` ( `source_tab` varchar(255) COLLATE utf8_bin DEFAULT NULL UNIQUE, `current...
2019-09-26 14:13:00
110
转载 Flume-Failover Sink Processor 故障转移与 Load balancing Sink 负载均衡
接上一篇：https://www.cnblogs.com/jhxxb/p/11579518.html使用 Flume1 监控一个端口，其 sink 组中的 sink 分别对接 Flume2 和 Flume3，采用Failover Sink Processor，实现故障转移的功能。一、创建配置文件1.flume-netcat-flume.conf配置 1 个 netc...
2019-09-25 22:50:00
165
转载 Flume-Replicating Channel Selector 单数据源多出口
使用 Flume-1 监控文件变动，Flume-1 使用 Replicating Channel Selector 将变动内容传递给 Flume-2，Flume-2 负责存储到 HDFS。同时 Flume-1 将变动内容传递给 Flume-3，Flume-3 负责输出到 Local FileSystem。一、创建配置文件1.flume-file-flume.conf配置 ...
2019-09-25 17:06:00
148
转载 Flume-几种拓扑结构
一、串联Flume Agent 连接这种模式是将多个 flume 顺序连接起来了，从最初的 source 开始到最终 sink 传送的目的存储系统。此模式不建议桥接过多的 flume 数量，flume 数量过多不仅会影响传输速率，而且一旦传输过程中某个节点 flume 宕机，会影响整个传输系统。二、聚合Flume Agent 聚合这种模式是我们最常见的，...
2019-09-24 23:43:00
190
转载 Flume-事务与传输流程
一、Flume 事务流程图Put 事务流程doPut：将批数据先写入临时缓冲区 putListdoCommit：检查 channel 内存队列是否足够合并doRollback：channel 内存队列空间不足，回滚数据Take 事务流程doTake：将数据取到临时缓冲区 takeList，并将数据发送到 HDFSdoCommit：如果数据全部发送成功，...
2019-09-24 19:12:00
253
转载 Java-JPDA 概述
JPDA：Java 平台调试架构（Java Platform Debugger Architecture）它是 Java 虚拟机为调试和监控虚拟机专门提供的一套接口。一、JPDAhttps://docs.oracle.com/javase/8/docs/technotes/guides/jpda/JPDA 由三个规范组成：JVMTI（JVM Tool Interfa...
2019-09-23 22:36:00
126
转载 Navicat Premium
一、下载https://www.navicat.com.cn/download/navicat-premium二、安装安装后先不要打开。然后再打开Navicat Premium，选择激活。要输入许可证时点击会自动填上许可证号，然后会激活失败，这时选择手动激活。https://github.com/DoubleLabyrinth/...
2019-09-23 15:28:00
128
转载 Flume-Taildir Source 监控目录下多个文件的追加
Exec source 适用于监控一个实时追加的文件，但不能保证数据不丢失；SpooldirSource 能够保证数据不丢失，且能够实现断点续传，但延迟较高，不能实时监控；而 TaildirSource 既能够实现断点续传，又可以保证数据不丢失，还能够进行实时监控。一、创建配置文件 flume-taildir-hdfs.confhttps://flume.apache....
2019-09-22 19:31:00
298
转载 AtomicReference、AtomicStampedReference 和 AtomicMarkableReference
这三个都是自 JDK1.5 开始加入到 java.util.concurrent.atomic 下面的。他们都可以在 lock-free 的情况下以原子的方式更新对象引用。一、AtomicReference以原子方式更新对象引用。static class User { private int age; public int getAge() ...
2019-09-22 11:22:00
144
转载 设计模式之装饰者模式
今天我们来学习一下装饰者模式。作为一名程序猿，相信许多人都跟我一样，在平时写代码的过程中，习惯使用继承。但是继承有时候会出现非常严重的问题，不过，没担心。装饰者模式将会给爱用继承的我们一个全新的设计眼界！一、星巴兹咖啡的故事 我们通过一个生动有趣的例子来引出我们今天的主角--装饰者模式。 1、现在呢，有一个咖啡馆，它有一套自己的订单系统，当顾客来咖啡馆的时候，可以通过...
2019-09-22 01:39:00
115
转载 Flume-Spooling Directory Source 监控目录下多个新文件
使用 Flume 监听整个目录的文件，并上传至 HDFS。一、创建配置文件 flume-dir-hdfs.confhttps://flume.apache.org/FlumeUserGuide.html#spooling-directory-source# Name the components on this agenta3.sources = r3a3....
2019-09-21 21:29:00
306
转载 Flume-Exec Source 监控单个本地文件
实时监控，并上传到 HDFS 中。一、Flume 要想将数据输出到 HDFS，须持有 Hadoop 相关 jar 包若 Hadoop 环境和 Flume 在同一节点，那么只要配置 Hadoop 环境变量即可，不需要复制相关 jar 包。# 将相关包拷贝到 flume 的 lib 目录下# commons-configuration-x.x.jar# hado...
2019-09-21 00:40:00
266
转载 Flume-安装与 NetCat UDP Source 监控端口
Flume文档：https://flume.apache.org/FlumeUserGuide.htmlFlume下载：https://archive.apache.org/dist/flume/&https://flume.apache.org/download.htmlJDK 下载：https://mirrors.huaweicloud.com/java/jd...
2019-09-20 23:19:00
187
转载 多层级汇总报表生成
现在需求是，根据数据库的明细数据，组装生成多层级的汇总统计报表。例如数据库基础数据如下:根据给定基础数据导出如下层级汇总表:考虑大数据量数据组装的效率，可以组装成多叉树结构实现。结合设计模式中组合模式，实现如下:import java.util.ArrayList;import java.util.HashMap;import...
2019-09-20 23:10:00
432
转载 Flume-概述
Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。Flume最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS。一、架构https://flume.apache.org/FlumeUserGuide.html#data-flow-model二、组...
2019-09-20 18:34:00
114
转载 css transform属性
参考：https://juejin.im/post/5ab8b5ed51882548fe4a2069转载于:https://www.cnblogs.com/yelao/p/11555449.html
2019-09-20 10:41:00
63
转载 No hash for parcel CDH-XXX.parcel.torrent
在安装 CDH 时，到 Install Parcels 这一步，分发 Parcels 一直过不去，界面一直报 Failure due to stall on seeded torrent，查看日志一直重复报No hashWARN scm-web-412:com.cloudera.server.web.cmf.ParcelController: No hash for parce...
2019-09-19 17:33:00
1672
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人