自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

sun

原创 MySQL在远程访问时非常慢的解决skip-name-resolve

my.cnf里面添加 [mysqld] skip-name-resolve 作为MySQL调优的一部分,很多人都推荐开启skip_name_resolve。这个参数是禁止域名解析的(当然,也包括主机名)。很多童鞋会好奇,这背后的原理是什么,什么情况下开启这个参数比较合适。 基于以下原...

2020-04-16 11:22:16 53 0

原创 Es常用命令

查看索引 curl http://digov01:9200/_cat/indices 删除索引 kib_policy_detail_index/kib_policy_detail_type/_delete_by_query { "query": { "mat...

2020-03-30 12:49:13 51 0

原创 The error means mysqld does not have the access rights to the directory.

错误提示: Theerrormeansmysqlddoesnothavetheaccessrightstothedirectory. tail /var/log/mysqld.log 15112518:21:50mysqld_safeStartingmysqlddaemonwithdat...

2020-03-30 09:07:48 161 0

原创 yum命令的使用与createrepo自建仓库教程

一、在开始搭建自己的YUM仓库之前,先来了解下如何获取RPM包 在默认配置下使用yum命令安装完软件后安装包是不会保留的,如果想在本地也留存一份安装包,只需要将yum配置文件/etc/yum.conf中的keepcache=0改为1即可,这样安装包都会留存在cachedir所指定的目录中,如图:...

2020-03-28 11:03:56 68 0

原创 HUE集成Hbase

一、Hbase开启代理用户相关配置 Cloudera Manager修改Hbase配置 或Hbase配置文件-hbase-site.xml <property> <name>hbase.thrift.support.proxyuser</name> <...

2020-03-23 17:59:21 56 0

原创 CentOS7离线安装Docker 19.03.1

安装环境 基于X86_64的CentOS7系统 下载docker-19.03.1.tar.gz压缩包 卸载已有的docker yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-late...

2020-01-19 16:33:08 641 0

原创 禅道安装使用

下载 https://www.zentao.net/dynamic/80194.html 一键安装 https://www.zentao.net/book/zentaopmshelp/90.html 修改MySQL数据目录 /opt/zbox/zbox -ap 8088 -mp 3307...

2020-01-12 11:38:33 102 0

原创 Maven3种打包方式

在Maven中,主要有3个插件可以用来打包: maven-jar-plugin,默认的打包插件,用来打普通的project JAR包; maven-shade-plugin,用来打可执行JAR包,也就是所谓的fat JAR包; maven-assembly-plugin,支持自定义的打包结构...

2020-01-06 17:59:21 210 0

原创 Kafka Client配置JAAS的几种方式

第一种 Properties props = new Properties(); props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, “ubuntu:9092”); props.put(“acks”, “all”); props.put(“re...

2019-12-30 10:15:36 133 0

原创 Docker常用命令

docker version docker images docker ps -a docker rm xxx docker rmi xxx docker stop xxx docker kill xxx docker run -it --restart=always systemctl ena...

2019-12-28 18:39:24 225 0

原创 MongoDB数据删除后的磁盘空间释放

当我们从MongoDB中删除文档或集合时,MongoDB并不会将已经占用了的磁盘空间释放,它会一直维护已经占用了磁盘空间的数据文件,尽管数据文件中可能存在大大小小的空记录列表(empty record list)。当客户端程序再次插入文档时,MongoDB会从空记录列表中分配存储空间给新文档。那么...

2019-12-27 10:43:41 43 0

原创 优秀的开源Java爬虫项目

1、Gecco github地址:xtuhcy/gecco Gecco是一款用java语言开发的轻量化的易用的网络爬虫。整合了jsoup、httpclient、fastjson、spring、htmlunit、redission等框架,只需要配置一些jquery风格的选择器就能很快的写出一个爬...

2019-12-27 10:42:58 69 0

原创 零和博弈与囚徒困境

零和博弈(Zero-sum game),也叫零和游戏。它的原理如下: 两人对弈,总会有一个赢,一个输,如果我们把获胜计算为得1分,而输棋为-1分。则若A获胜次数为N,B的失败次数必然也为N。若A失败的次数为M,则B获胜的次数必然为M。这样,A的总分为(N-M),B的总分为(M-N),显然(N-...

2019-12-27 10:42:05 341 0

原创 分布式RPC框架性能大比拼

Dubbo是阿里巴巴公司开源的一个Java高性能优秀的服务框架,使得应用可通过高性能的 RPC 实现服务的输出和输入功能,可以和 Spring框架无缝集成。不过,略有遗憾的是,据说在淘宝内部,dubbo由于跟淘宝另一个类似的框架HSF(非开源)有竞争关系,导致dubbo团队已经解散(参见http:...

2019-12-27 10:40:43 55 0

原创 Maven deploy部署jar到远程私服仓库

一、配置私服账号密码 修改maven配置文件,在$MAVEN_HOME/conf/setting.xml中增加如下配置: 注意,这里配置的id为releases何snapshots,当然可以改为其他,先记得这里有过id的配置,后面有用 二、配置远程发布到私服 修改项目pom文件,,增加...

2019-12-27 10:38:41 73 0

原创 MQTT协议及原理

MQTT(Message Queuing Telemetry Transport,消息队列遥测传输协议),是一种基于发布/订阅(publish/subscribe)模式的“轻量级”通讯协议,该协议构建于TCP/IP协议上,由IBM在1999年发布。MQTT最大优点在于,可以以极少的代码和有限的带宽...

2019-12-27 10:37:38 67 0

原创 MySQL表导入到HDFS

导入loudacre数据库中的account表到HDFS sqoop import \ --connect jdbc:mysql://localhost/loudacre \ --username training --password training \ --table accounts ...

2019-12-27 10:36:47 144 0

原创 hue中oozie从mysql导入hive报错 Could not load db driver class: com.mysql.jdbc.Driver

问题一 CDH6中,在oozie中执行sqoop命令时,可能需要手动添加一些jdbc包。 将jar包放置到hdfs中lib目录 /user/oozie/share/lib/lib_${timestamp}/sqoop 然后重启oozie 问题二 解决方法: ...

2019-12-27 10:35:50 62 0

原创 Jenkins中无法启动子进程的解决办法

启动时添加禁用参数 除以上两种方式以外,上面的Wiki页面中还提到了第三种解决办法,个人觉得这种方案最靠谱最彻底,不需要再去配置每个Job了: you can disable this feature by setting a Java property named “hudson.util...

2019-12-27 10:33:37 55 0

原创 Git 全局设置

Git 全局设置 git config --global user.name "aa" git config --global user.email "aa@qq.com" 创建新版本库 git clone git@code.aliyun.com:ge...

2019-12-27 10:31:45 121 0

原创 大数据平台最常用的30款开源工具

大数据平台是对海量结构化、非结构化、半机构化数据进行采集、存储、计算、统计、分析处理的一系列技术平台。大数据平台处理的数据量通常是TB级,甚至是PB或EB级的数据,这是传统数据仓库工具无法处理完成的,其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等,汇集了当前IT领域热门流行的...

2019-08-12 17:13:28 5290 0

原创 MQTT协议及原理

MQTT(Message Queuing Telemetry Transport,消息队列遥测传输协议),是一种基于发布/订阅(publish/subscribe)模式的“轻量级”通讯协议,该协议构建于TCP/IP协议上,由IBM在1999年发布。MQTT最大优点在于,可以以极少的代码和有限的带宽...

2019-06-08 19:44:03 427 0

原创 JVM之String常量池

String 常量池 为了减少在JVM中创建的字符串的数量,字符串类维护了一个字符串池,每当代码创建字符串常量时,JVM会首先检查字符串常量池。如果字符串已经存在池中,就返回池中的实例引用。如果字符串不在池中,就会实例化一个字符串并放到池中。   一、new String都是在堆上创建字符串...

2018-08-15 11:53:13 241 0

转载 SpringBoot 原理之起步依赖

1. 是什么本质上是一个Maven项目对象模型(Project Object Model, POM), 定义了对其他库的传递依赖,这些东西加在一起即支持某项功能。 比如spring-boot-dependencies spring-boot-parent spring-boot-starterss...

2018-07-03 13:48:33 2097 0

原创 SpringBoot 原理之自动配置

 Spring Boot是使用SpringApplication引导项目启动,SpringApplication类为我们引导项目提供了一种便利的方式——通过main()方法直接启动。大多数情况下,我们可以把项目启动这个任务直接委托给SpringApplication.run方法。Spring bo...

2018-06-26 11:15:09 227 0

原创 hbase 列族 版本数,TTL和二级索引

版本数量最大版本数量通过HColumnDescriptor为每个列族配置要存储的最大行数版本。为最大版本默认值为1。这是因为在所描述的一个重要参数,数据模型部分的HBase也没有覆盖行的值,但每行而存储不同的值按时间(和限定)。在重要的压缩过程中删除多余的版本。最大版本的数量可能需要根据应用需求增...

2018-06-11 17:27:28 2014 0

原创 hbase rowkey的设计

热点HBase中的行按行按键按字典顺序排序。这种设计优化了扫描,允许您将相关的行或彼此靠近的行一起读取。但是,设计不佳的行键是热点的常见来源。当大量客户端流量针对群集中的一个节点或仅少数几个节点时,会发生热点。此流量可能表示读取,写入或其他操作。流量压倒负责托管该区域的单个机器,导致性能下降并可能...

2018-06-11 17:20:12 305 0

转载 linux下yum安装php运行环境

系统centos6+ 1、由于centos默认yum源中php版本过低,需要更换 wget -q -O - http://www.atomicorp.com/installers/atomic | sh 如果报错找不到wget,安装wget: yum install wget2、安装apache,...

2018-06-05 11:02:12 1820 0

转载 nginx Linux 环境下安装

安装依赖yum install gccyum install pcre-develyum install zlib zlib-develyum install openssl openssl-devel//一键安装上面四个依赖 yum -y install gcc zlib zlib-devel ...

2018-06-04 14:50:50 179 0

原创 本地缓存 caffeine, guava 和ehcache对比

Google Guava工具包中的一个非常方便易用的本地化缓存实现,基于LRU算法实现,支持多种缓存过期策略。 EhCache 是一个纯Java的进程内缓存框架,具有快速、精干等特点,是Hibernate中默认的CacheProvider。Caffeine是使用Java8对Guava缓存的重写版本...

2018-05-28 15:16:30 5484 0

原创 原 HBase性能优化二:Scan用法

scanSnapshotScanMRSnapshotScanMR扫描于原始表对应的snapshotSnapshotScanMR直接会在客户端打开region扫描HDFS上的文件,不需要发送Scan请求给RegionServer,再有RegionServer扫描HDFS上的文件TableScanMR...

2018-05-28 10:43:42 2372 0

原创 APIDOC使用教程

安装 nodeJs Install [nodeJs] - https://nodejs.org/en/download/! [NPM] - Installing Node.js via package manager APIDOC Install $ npm install...

2018-04-19 17:37:31 783 0

原创 【JWT】JWT+HA256加密 Token验证

JWT+HA256验证实施 Token 验证的方法挺多的,还有一些标准方法,比如 JWT,读作:jot ,表示:JSON Web Tokens 。JWT 标准的 Token 有三个部分:headerpayloadsignature中间用点分隔开,并且都会使用 Base64 编码,所以真正的 Tok...

2018-04-08 11:00:13 1321 0

原创 HBase性能优化一:写表操作

1.HTable参数设置1.1 Auto Flush通过调用HTable.setAutoFlush(false)方法可以将HTable写客户端的自动flush关闭,这样可以批量写入数据到HBase,而不是有一条put就执行一次更新,只有当put填满客户端写缓存时,才实际向HBase服务端发起写请求...

2018-04-03 11:17:16 469 0

原创 kafka 认证与授权机制

1.概述在版本0.9.0.0中,kafka社区添加了一些单独或一起使用的功能,可以提高kafka集群的安全性。Kafka 目前支持SSL、SASL/Kerberos、SASL/PLAIN三种认证机制。目前支持以下安全措施:clients 与 brokers 认证brokers 与 zookeepe...

2018-03-14 11:41:39 8989 0

原创 Avro的Schema

Avro的Schema用JSON表示。Schema定义了简单数据类型和复杂数据类型。基本类型其中简单数据类型有以下8种:类型含义null没有值boolean布尔值int32位有符号整数long64位有符号整数float单精度(32位)的IEEE 754浮点数double双精度(64位)的IEEE ...

2018-03-07 16:33:12 1801 1

原创 Apache Avro 的基本功能

介绍Apache Avro™是一个数据序列化系统。Avro提供:丰富的数据结构。紧凑,快速的二进制数据格式。一个容器文件,用于存储持久性数据。远程过程调用(RPC)。与动态语言的简单集成。读取或写入数据文件不需要代码生成,也不需要使用或实现RPC协议。代码生成是一种可选的优化,只有静态类型语言才值...

2018-03-07 10:35:45 1134 0

原创 使用多线程遇到的bug

  应用场景  从kafka消费数据,每批次消费启用一个spring 异步处理,将数据保存到MongoDB,  监控某个字段,和上条数据对比,值是否发生改变  原先方法:   Async1:    收到第一条数据A1存到MongoDB    收到第二条数据A2,存入到MongoDB,根据时间查询M...

2018-03-03 18:10:24 522 0

原创 kafka stream 概述

Kafka Stream是什么 Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature。它是提供了对存储于Kafka内的数据进行流式处理和分析的功能。 Kafka Stream的特点如下: Kafka Stream提供了一个非常简单而轻量的Librar...

2017-12-26 14:01:31 1750 0

原创 Java XML解析器

目前Java XML解析器有十多种之多,解析原理有二:使用基于事件的XML简单API(Simple API for XML)称为SAX和基于树和节点的文档对象模型(Document Object Module)称为DOM。Sun公司提供了Java API for XML Parsing(JAXP)...

2017-10-25 11:20:19 527 0

提示
确定要删除当前文章?
取消 删除