- 博客(80)
- 收藏
- 关注
RSS订阅转载 Centos 7.6 安装Mysql5.7(离线)
Centos 7.6 安装Mysql5.7(离线)标签（空格分隔）： mysql安装包下载https://dev.mysql.com/downloads/mysql/[image.png-142.6kB][1]1,安装新版mysql前，需将系统自带的mariadb-lib卸载[root@VECS00000 ~]# rpm -qa|grep mariadbmariadb-...
2019-09-09 16:20:00
229
转载 Centos 7 下安装LDAP 双主同步
Centos 7 下安装LDAP 双主同步标签（空格分隔）： LDAP安装说明：从OpenLDAP2.4.23版本开始所有配置数据都保存在slapd.d目录下的cn=config文件夹中，不再使用slapd.conf作为配置文件有两种配置方式，一种是通过修改旧版配置文件slapd.conf，再用slaptest -f /etc/openldap/slapd.conf -F /e...
2019-08-23 17:41:00
595
转载 Apache Ranger && HDFS
Apache Ranger && HDFS标签（空格分隔）： HadoopHDFSHDFS对于任何Hadoop大数据平台来说都是核心组成部分，为了加强对Hadoop平台的数据保护，将安全控制深入到HDFS层是非常有必要的。HDFS本身提供了Kerberos认证，并且提供了基于POSIX风格的权限和HDFS——ACL控制，当然它也可以使用基于Apache Range...
2019-08-23 17:04:00
320
转载 Java 学习（六）
Java 学习（六）标签（空格分隔）： Java枚举JDK1.5引入了新的类型——枚举。在 Java 中它虽然算个“小”功能，却给我的开发带来了“大”方便。用法一：常量在JDK1.5 之前，我们定义常量都是： publicstaticfianl.... 。现在好了，有了枚举，可以把相关的常量分组到一个枚举类型里，而且枚举提供了比常量更多的方法。public enum Col...
2019-07-14 18:49:00
128
转载 Java学习（五）
Java学习（五）标签（空格分隔）： Javafinal的用法final在java中并不常用，然而它却为我们提供了诸如在c语言中定义常量的功能，不仅如此，final还可以让你控制你的成员、方法或者是一个类是否可被重写或继承等功能，这些特点使final在java中拥有了一个不可或缺的地位，也是学习java时必须要知道和掌握的关键字之一。 final成员：当你在类中定义变量时，...
2019-07-03 23:29:00
67
转载 Java学习（四）
Java学习（四）标签（空格分隔）： Java线程/** * 进程:是一个正在执行中的程序.每一个进程执行都有一个执行顺序,该顺序是一个 * 执行路径,或者叫一个控制单元 * 线程:就是进程中的一个独立的控制单元,线程控制着进程的执行 * * 一个进程中至少有一个线程 *java vm 启动的时候会有一个进程java.exe *该进程中至少有一个线程,负责java程...
2019-07-02 23:16:00
89
转载 Java学习（三）
Java学习（三）标签（空格分隔）： Java集合框架java集合类主要有以下几种：List结构的集合类：ArrayList类，LinkedList类，Vector类，Stack类Map结构的集合类：HashMap类，Hashtable类Set结构的集合类：HashSet类，TreeSet类Queue结构的集合Queue接口HashMap和Hashtable的区...
2019-07-01 23:22:00
65
转载 Java学习（二）
Java学习（二）标签（空格分隔）： Java多态、抽象、接口多态：所谓多态，就是指一个引用（类型）在不同情况下的多种状态，也可以这样理解：多态是指通过指向父类的指针，来调用在不同子类中实现的方法。多态注意事项：java允许父类的引用变量引用它的子类的实例（对象），这种转换时自动完成的抽象类：当父类的一些方法不能确定时，可以用abstract关键字来修饰该方法【抽象方法】...
2019-06-28 22:20:00
79
转载 Java学习（一）
Java学习（一）标签（空格分隔）： Javajava的面向对象类的成员方法（函数）——特别说明（1）方法的参数列表可以是多个，并且数据类型可以是任意的类型（2）方法可以没有返回值。类的构造方法介绍：构造方法是类的一种特殊的方法，它的主要作用是完成对新对象的初始化，它有几个特点：（1）方法名和类名相同（2）没有返回值（3）在创建一个类的新对象时，系统会自动的调用该类的构...
2019-06-27 22:35:00
76
转载 HDFS读写数据流程
HDFS读写数据流程标签（空格分隔）： Apache HadoopHDFS是hadoop重要的组件之一，对其进行数据的读写是很常见的操作，然而真的了解其读写过程吗？前言HDFS – Hadoop Distributed File System，是hadoop的存储层，它参照google的GFS思想实现。它以master-slave工作。NameNode作为master dae...
2019-06-04 20:35:00
93
转载 使用Hive-JDBC遇到的一些问题解决
使用Hive-JDBC遇到的一些问题解决（转）标签（空格分隔）： Hive1，java.lang.NoClassDefFoundError: org/apache/hive/service/cli/thrift/TCLIService\(Iface ``` java.lang.NoClassDefFoundError: org/apache/hive/service/cli/thr...
2019-06-04 11:17:00
193
转载 纯音乐杂谈
纯音乐杂谈标签（空格分隔）： Music周末听听纯音乐感想“小学，中学，大学，直到现在，音乐一直伴随我左右，成为我生活中不可缺少的一部分。不论是快乐或痛苦，幸福或迷惘，激动或不安，都能在音乐中得到舒缓，使我原本落满尘埃的心灵得到净化。我用音乐来了解生活，感受悲欢离合；用音乐来表达热情，诉说喜怒哀乐，我用音乐来感染旁人，让他们发现美好，感悟生命。物欲横流的今天，也许唯有音乐的世界...
2019-06-02 21:06:00
129
转载 dataX调优
dataX调优标签（空格分隔）： ETL一，Datax调优方向DataX调优要分成几个部分（注：此处任务机指运行Datax任务所在的机器）。1，网络本身的带宽等硬件因素造成的影响；2，DataX本身的参数；3，从源端到任务机；4，从任务机到目的端；即当觉得DataX传输速度慢时，需要从上述四个方面着手开始排查。1，网络带宽等硬件因素调优此部分主要需要了解网络本身的情...
2019-05-28 22:40:00
554
转载 Alibaba DataX 源码编译
Alibaba DataX 源码编译标签（空格分隔）： ETLDataX简介设计理念为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。当前使用现状DataX在阿里巴巴集团内被广泛使用，承担了所有大...
2019-05-27 22:07:00
525
转载 npm安装源修改为淘宝源
npm安装源修改为淘宝源标签（空格分隔）： 编译原：https://cnodejs.org/topic/4f9904f9407edba21468f31enpm安装源修改为淘宝源镜像使用方法（三种办法任意一种都能解决问题，建议使用第三种，将配置写死，下次用的时候配置还在）:1.通过config命令npm config set registry https://registry...
2019-05-27 21:04:00
131
转载 HBase 集群监控系统构建
HBase 集群监控系统构建标签（空格分隔）： Hbase一, 集群为什么需要监控系统总的来说是为了保证系统的稳定性，可靠性，可运维性。具体来说我认为有以下几点：掌控集群的核心性能指标，了解集群的性能表现。集群出现问题时及时报警，便于Hbase运维同学及时修复问题。集群重要指标值异常时进行预警，将问题扼杀在摇篮中，不用等集群真正不可用时才采取行动。当集群出现问题时，监控系...
2019-05-27 19:29:00
160
转载 Hbase meta 表异常修复
Hbase meta表异常修复标签（空格分隔）： Hbase一，Hbase meta元数据表1.1 背景线上Hbase 因为在hbase shell中清空 truncate 'table'一张表时候发现中途清空错了，嗯下了Ctrl+c,导致某张表在RIT 阶段。1.2 meta表修复一查看hbase:meta情况 hbase hbck 1.重新修复hbase me...
2019-05-20 22:10:00
464
转载 Hbase数据备份&&容灾方案
Hbase数据备份&&容灾方案标签（空格分隔）： Hbase一、Distcp 在使用distcp命令copy hdfs文件的方式实现备份时，需要禁用备份表确保copy时该表没有数据写入，对于在线服务的hbase集群，该方式不可用，将静态此目录distcp 到其他HDFS文件系统时候，可以通过在其他集群直接启动新Hbase 集群将所有数据恢复。二、CopyTabl...
2019-05-19 19:31:00
94
转载 maven 高级玩法
maven 高级玩法标签（空格分隔）： maven实用技巧Maven 提速多线程# 用 4 个线程构建，以及根据 CPU 核数每个核分配 1 个线程进行构建$ mvn -T 4 clean install$ mvn -T 1C clean install跳过测试-DskipTests # 不执行测试用例，但编译测试用例类生成相应的 clas...
2019-05-18 02:56:00
1051
转载 Spark 2.1.1 源码编译
Spark 2.1.1 源码编译标签（空格分隔）： SparkSpark 源码编译环境准备与起因由于线上Spark On Yarn Spark Streaming程序在消费kafka 写入HDFS table 使用Partition by 和 Savemode.append,在一定条件下导致写入HDFS 超过了处理批次。经过排查应该与 Spark 写入parquet 文件追加时...
2019-05-17 23:17:00
93
转载 hadoop作业调优参数整理及原理
hadoop作业调优参数整理及原理标签（空格分隔）： hadoop问题假设：前提：已经对mapreduce处理框架模型有所了解1.map会将已经产生的部分结果先写入到该buffer中.buffer大小可以通过那个参数来设置？2.如何降低map的split的次数？3.map中的数据什么情况下会写入磁盘？spill是什么？4.map其实是当buffer被写满到一定程度（比如8...
2019-05-17 16:18:00
77
转载 hadoop HA+Federation（高可用联邦）搭建配置（二）
hadoop HA+Federation（高可用联邦）搭建配置（二）标签（空格分隔）： hadoopcore-site.xml<?xml version="1.0" encoding="utf-8"?># <configuration> # 注意此处的修改<configuration xmlns:xi="http://www.w3.org/200...
2019-05-16 19:15:00
106
转载 hadoop HA+Federation（高可用联邦）搭建配置（一）
hadoop HA+Federation（高可用联邦）搭建配置（一）标签（空格分隔）： 未分类介绍hadoop 集群一共有4种部署模式，详见《hadoop 生态圈介绍》。HA联邦模式解决了单纯HA模式的性能瓶颈（主要指Namenode、ResourceManager），将整个HA集群划分为两个以上的集群，不同的集群之间通过Federation进行连接，使得HA集群拥有了横向扩展...
2019-05-16 16:22:00
243
转载 配置 Hive On Tez
配置 Hive On Tez标签（空格分隔）： hiveTez 部署底层应用简单介绍介绍：tez 是基于hive 之上，可以将sql翻译解析成DAG计算的引擎。基于DAG 与mr 架构本身的优缺点，tez 本身经过测试一般小任务在hive mr 的2-3倍速度左右，大任务7-10倍左右，根据情况不同可能不一样。对于 Tez-0.9.0 以及更高版本, Tez 需要 Apach...
2019-05-13 22:05:00
227
转载 lombok效率神奇使用
Lombok效率神器标签（空格分隔）： JavaLombok简介及使用Lombok 是一种 Java实用工具，可用来帮助开发人员消除Java的冗长，尤其是对于简单的Java对象(POJO), 它通过注释实现这一目的。一个标准的Java bean 一般具有若干属性，每个属性具有getter()和setter()方法，Lombok中也用到了注解，但是它并没有用到反射，而是通过在代码编...
2019-05-11 22:16:00
121
转载 Hbase 客户端Scan
Hbase 客户端Scan标签（空格分隔）： HbaseHBase扫描操作Scan1 介绍扫描操作的使用和get()方法类似。同样，和其他函数类似，这里也提供了Scan类。但是由于扫描工作方式类似于迭代器，所以用户无需调用scan()方法创建实例,只需要调用HTable的getScanner()方法，此方法才是返回真正的扫描器(scanner)实例的同时，用户也可以使用它迭代获...
2019-04-28 22:44:00
151
转载 Windows 10 x64 下编译 Hadoop 源码
Windows 10 x64 下编译 Hadoop 源码环境准备Hadoop并没有提供官方的 Windows 10 下的安装包，所以需要自己手动来编译，官方文档中 BUILDING.txt 文件中说明了编译源码需要的软件环境：1. 具体如下:[x] Hadoop源码[x] Windows 系统[x] JDK 1.8+[x] Maven 3.0 or later[x] ...
2019-04-24 16:58:00
179
转载 Hadoop 生产配置文件V2
Hadoop 生产配置文件V2生产环境的配置文件调优 ！！! Apache Hadoop 2.7.3 && NN HA && RM HA且仅针对于HDFS && Yarn 本身配置文件，不包括Gc 等其他单独角色调优 ,可供与参考或者直接使用。当然并不一定是最优化。Core-site.xml<?xml version="1.0"...
2019-04-03 17:10:00
131
转载 Hadoop-2.7.3-src 源码编译
Hadoop-2.7.3 编译1.需要环境梳理BUILDING JDK1.7+maven 3.0 or laterfindbugs 1.3.9protocolBuffer 2.5.0cmake 2.6zlib-developenssl-devel ...2.安装JDKJDK 下载jdk-8u181-linux-x64.tar.gz，解压后移动到/app 目录下 tar...
2019-04-02 16:08:00
146
转载 常用Hadoop命令(bin)
**** bin 是二进制文件的意思，sbin....据说是superbin（管理员的bin）HDFS命令某个文件的blocks信息hadoop fsck /user/xx -files -blocks -locations改变一个文件或者目录的副本因子hadoop fs -setrep -R 3 /user/xx查看app的logyarn logs -applicatio...
2019-03-06 10:49:00
166
转载 Presto服务发现(Discovery Service)
Presto 集群配置不管是coordinator还是worker配置项中都有一项discovery.uri,这个是一个比较核心的东西，简单来说就是服务发现的地址。coordinator和worker都会将自身注册到这个服务发现地址上，供彼此发现对方，coordinator可以通过个发现服务知道有多少worker节点，而worker节点可以通过这个发现服务知道coordinator是谁...
2019-02-27 11:23:00
1366
转载 HBase 在HDFS上的物理目录结构
根目录配置项 hbase.rootdir 默认 “/hbase”根级文件/hbase/WALs被HLog实例管理的WAL文件。/hbase/WALs/data-hbase.com,60020,1443159380730对于每个HregionServer,日志目录中都包含一个对应的子目录hbase/WALs/data-hbase.com,60020,144315938073...
2019-02-27 10:17:00
134
转载 Hbase-site.xml
Hbase-site.xml标签（空格分隔）： Hbase生产环境Hbase-site.xml 优化后配置。无安全版本<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!--/** * * Licensed to the Apac...
2019-02-26 17:04:00
131
转载 hbase-default.xml（Hbase 默认参数翻译）
hbase.tmp.dir\({java.io.tmpdir}/hbase-\){user.name}本地文件系统上的临时目录。将'/tmp'改为其他可以持久保存文件的位置，通常能够解决java.io.tmpdir。'/tmp'目录在机器重启后将会被清空。hbase.rootdir\({hbase.tmp.dir}/hbase</value> &l...
2019-02-26 17:00:00
237
转载 flink-conf.yaml
Flink 配置文件 对于管理员来说，差不多经常调整的就只有 conf 下的flink-conf.yaml ： 经过初步的调整，大约有以下模块的参数（未优化）Licensed to the Apache Software Foundation (ASF) under oneor more contributor license agreements. See the NOTICE ...
2019-02-26 13:56:00
629
转载 Spark Standalone spark-default.conf
Example:spark.master spark://master:7077spark.eventLog.enabled truespark.eventLog.dir hdfs://namenode:8021/directoryspark.serializer org.apache.spark.serializer.KryoSerializerspark.driver.me...
2019-02-19 16:14:00
100
转载 Spark Standalone spark-env.sh
export JAVA_HOME=/app/jdkexport SPARK_MASTER_PORT=7077export SPARK_MASTER_WEBUI_PORT=8080export SPARK_WORKER_CORES=50export SPARK_WORKER_OPTS="-Dspark.worker.cleanup.enabled=true-Dspark.wor...
2019-02-19 16:12:00
119
转载 windows linux 文件编码转换
查看文件编码在Linux中查看文件编码可以通过以下几种方式：1.在Vim中可以直接查看文件编码:set fileencoding即可显示文件编码格式。如果你只是想查看其它编码格式的文件或者想解决用Vim查看文件乱码的问题，那么你可以在~/.vimrc 文件中添加以下内容：set encoding=utf-8 fileencodings=ucs-bom,utf-8,cp936这样，就可以让...
2019-01-07 10:28:00
157
转载 Hbase G1 gc 调优最终参数
export HBASE_HEAPSIZE=16384export HBASE_OFFHEAPSIZE=25gexport HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -Xmx16g -Xms16g -Xmn4g -Xss256k -XX:MaxPermSize=256m -XX:SurvivorRatio=2 -XX:+UseParNewGC -XX:P...
2018-12-25 11:07:00
274
转载 Windows 环境下的 protoc 安装（转)
如果是为了编译hadoop2.8.0源码，必须使用2.5.0版本的protobuf，安装方法同下 1. 下载需要的安装包：https://github.com/google/protobuf/releases protoc-3.1.0-win32.zip（protoc-2.5.0-win32.zip） protobuf-java-3.1.0.zip（protobuf-2.5.0.zip）...
2018-12-10 11:23:00
148
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人