自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 AI基础:先验概率、后验概率

前几天朋友问到贝叶斯公式,在给他讲述时有些概念不容易从字面接受。这里记录并通俗解释下 文章目录解释案例解释贝叶斯公式 解释 先验概率:根据以往经验和分析得到的概率,以因求果问题中因的概率。(个人理解:先,即事情未应验前来估计发生的概率,也就是没有任何事实依据来估计发生的概率) 条件概率:...

2020-06-02 23:22:15 21 0

原创 大数据之ClickHouse:安装部署与性能测试

记录过程 文章目录概述环境安装常用配置启动/检查服务命令行客户端卸载性能测试 概述 个人总结式理解,详细的去官网看吧 俄罗斯搜索引擎公司Yandex研发,2016年开源的列式存储数据库 主要用于在线OLAP不支持事务所以不支持OLTP ClickHouse中文社区 ClickHouse中文官网...

2020-05-03 01:22:42 166 0

原创 大数据之Presto:安装部署

记录过程 概述 这里就不复制粘贴了,描述自己理解的。具体详细的使用和介绍需要去官网学习更好 2014年由FaceBook开源,为了解决自身规模的商业数据仓库的交互式分析和处理速度的问题 OLAP大数据查询引擎,适用于交互式分析查询,数据量支持GB到PB字节 设计为秒至分钟级别的响应 maste...

2020-05-03 00:18:30 161 0

原创 云服务器清理挖矿进程

清理挖矿程序 问题复现 没有启动什么占用资源的进程,但是4G内存直接快满了,cpu也高,基本可以判断是有挖矿程序在跑 如下情况 [mym@bigdata01 software]$ free -h total used free sh...

2020-04-22 17:35:00 134 0

原创 数据结构与算法:二叉树遍历

好久没敲代码,想来还是回过头看看基础点的回归感觉。 二叉树是个基础数据结构,很难说直接在某个真实业务场景直接应用,很多基础数据结构都不可能直接搬到实际业务场景中使用,基础数据结构与其思想都是中级或高级数据结构的基础和构造过程,如同氢、氧元素构造成水,才直接提供给生物饮用。 文章目录二叉树遍历发散...

2020-03-18 12:37:05 56 0

原创 大数据之Azkaban(二):实战案例

记录之前使用azkaban遇到的情况与问题 文章目录实战案例单一job案例多job工作流案例java操作任务HDFS操作任务mapreduce任务Hive脚本任务 实战案例 Azkaba内置的任务类型支持command、java 单一job案例 创建job描述文件:必须命名为.job #...

2020-01-20 02:02:53 65 0

原创 大数据之Azkaban(一):介绍与安装部署

记录之前使用azkaban遇到的情况与问题 文章目录概述简述特点架构安装部署准备安装生成密钥对和证书时间同步配置配置文件修改web服务器配置Server(Executor)配置启动服务 概述 Azkaban是由Linkedin公司推出的一个批量工作流任务调度器,主要用于在一个工作流内以一...

2020-01-20 01:57:53 70 0

原创 大数据之Sqoop(四):java.io.IOException:No columns to generate for ClassWriter

这两天做个项目使用到sqoop,这东西以前用过,现在有点忘了,出了点差错,记录下来 文章目录环境报错问题原因解决 环境 hadoop 2.4.1 jdk8 sqoop 1.4.6 centos7 mysql 5.7.x 报错 [root@mym sqoop]# bin/sqoop impor...

2020-01-19 21:08:08 212 0

原创 大数据之Sqoop(三):java.io.IOException Could not start Java compiler

这两天做个项目使用到sqoop,这东西以前用过,现在有点忘了,出了点差错,记录下来 文章目录环境报错问题原因解决 环境 hadoop 2.4.1 jdk8 sqoop 1.4.6 centos7 mysql 5.7.x 报错 [root@mym sqoop]# bin/sqoop impor...

2020-01-19 21:05:49 204 0

原创 大数据之Sqoop(二):Sqoop使用案例

记录sqoop的一些使用,复习下,此前项目中有用到,复习下 安装与部署请参考 文章目录使用案例导入数据RDBMS到HDFSRDBMS到HiveRDBMS到Hbase导出数据HIVE/HDFS到RDBMS脚本打包Sqoop一些常用命令及参数 使用案例 导入数据 在Sqoop中,“导入”...

2020-01-19 21:02:30 48 0

原创 大数据之Sqoop(一):Sqoop介绍与安装部署

记录sqoop的一些使用,复习下,此前项目中有用到,复习下 文章目录简介原理安装准备下载部署修改配置文件 简介 用于hadoop(hive)与传统数据库Mysql等间进行数据传递,可让他们互相导入导出 sqoop2与sqoop1不兼容 原理 导入导出命令翻译成mapreduce程序实现 在...

2020-01-19 20:57:12 86 0

原创 大数据之Hadoop(一):Hadoop集群搭建

本文详细介绍了hadoop的集群搭建 环境 修改主机名 修改主机名和IP的映射关系 关闭防火墙 三台机器创建同名用户 给用户赋予执行权限 安装hadoop 配置hadoop 配置hadoop运行环境:hadoop-env.sh 配置公共配置信息:core-s...

2020-01-06 15:14:07 41 0

原创 大数据之Storm(一):集群部署

介绍集群的安装与配置方式 安装包及环境 安装 1.解压安装包 2.修改配置文件 3.分发配置好的安装包 4.启动集群 5.查看集群 安装包及环境 安装包:apache-storm-0.10.2.tar.gz 去sto...

2020-01-06 15:13:50 27 0

原创 服务器安装与配置Hive

记录服务器上部署Hive组件 文章目录机器环境准备Hive 安装及配置Hive 基本操作 机器环境 Centos7 HDFS(启动好) mysql(保证服务可用–可选) jdk 准备 1.Hive 官网地址 http://hive.apache.org/ ...

2019-11-30 23:01:33 129 0

原创 [ERR] Sorry, can't connect to node 127.0.0.1:6379

记录下安装redis集群的问题,避免以后再瞎找解决方案 文章目录错误原因解决防火墙问题redis服务本身问题ruby工具问题集群创建工具问题安装redis管理工具安装成功redis集群安装参考文档 错误 创建redis集群时报错 [root@Prd- redis]# ./redis-trib....

2019-11-20 20:45:29 1017 0

原创 Kafka问题(3):Failed to allocate memory within the configured max blocking time 60000 ms

记录kafka出现的问题,原因,与对应场景下的解决方案. 造成问题方式有很多种,这里只是记录遇到的或已知的,若有遗漏情况欢迎补充 由于问题很多出现在生产环境,故敏感信息已屏蔽,不影响问题介绍 文章目录环境问题分析原因参考解决思路 环境 linux jdk1.8 kafka-client 0.1...

2019-11-01 20:58:25 1110 0

原创 Kafka问题(2):Batch containing 5 record(s) expired due to timeout while requesting metadata from broker

记录kafka出现的问题,原因,与对应场景下的解决方案. 造成问题方式有很多种,这里只是记录遇到的或已知的,若有遗漏情况欢迎补充 由于问题很多出现在生产环境,故敏感信息已屏蔽,不影响问题介绍 文章目录环境问题分析原因参考解决思路 环境 linux jdk1.8 kafka-client 0.1...

2019-11-01 20:32:02 518 0

原创 服务器环境部署:Redis布隆过滤器使用

老早就想在项目中用起来这个优秀的东西。只是成熟的项目又有很多私有客户部署,redis版本可能存在差异,为避免不必要的版本兼容或迁移,就没有大幅度的在成熟项目上使用。现新项目刚好有相关使用需求,所以理所当然的要用起来,享受算法带来的便利 特此记录。流程化的东西,日后参照就行 文章目录概述准备...

2019-10-29 14:35:07 672 3

原创 hadoop提交job失败:java.net.ConnectException:Connection refused

记一次hadoopp提交任务失败 文章目录问题排查与解决解决 问题 info日志 2019-07-18 11:40:50 386 [QuartzScheduler_Worker-1:203538] - [INFO] org.apache.hadoop.ipc.Client - Retr...

2019-07-18 16:53:27 1108 1

原创 Usage of API documented as @since 1.8+ 解决

idea导入工程报错 文章目录问题解决 问题 一般导入新工程或别人的工程会出这个问题:原因是低语言环境使用了高版本语言特性,比如jdk7环境使用了jdk8的特性 解决 修改idea的Language Level 或者pom文件增加 <build>...

2019-07-12 11:30:48 365 0

原创 log4j不打印详细错误堆栈

记一次排查问题时发现日志不打印详细堆栈的情况 文章目录背景现象解决 背景 调用打印日志的代码: LOGGER.error("actionDetailBiz max monitorTime upload data error, ", ex); 注意如果如下调用方式是不会打印...

2019-06-13 11:41:46 2212 2

原创 Kafka服务报错:java.nio.BufferUnderflowException 的解决

一次测试环境kafka服务报错解决 文章目录问题现象问题分析得出原因解决 问题现象 kafka集群由3台组成,消费者生产者都正常在跑,数据也没啥问题,但是kafka服务端仍然在报错,报错信息如下: [2019-05-31 10:55:27,540] ERROR Processor got unc...

2019-05-31 22:24:32 1541 0

原创 数据结构与算法:优先队列(堆)

一种数据结构,特殊场景使用,同样是使用堆结构,利用堆的特性 文章目录概要概述图解优先队列构造初始堆进行入队列演示进行出队列演示代码实现堆 优先队列特点优先队列一般应用场景 概要 code语言:java、c 测试环境:win、java8 参考书籍:《数据结构与算法分析java语言描述》 原书第三...

2019-04-16 01:06:10 702 0

原创 数据结构与算法:堆排序

网上看了下很多堆排序的介绍,有些介绍很容易懂,自己再结合书上介绍的,网上没有的,以自己的理解,就当做个笔记 文章目录概要概述堆排序几个重要的点构造初始堆图解堆排序图解代码实现(java)堆排序特点堆排序应用场景 概要 code语言:java、c 测试环境:win、java8 参考书籍:《数据结...

2019-04-15 00:28:46 639 0

原创 数据结构与算法:hash(散列表)

介绍hash散列表数据结构的个人理解 文章目录概要hash概述装填因子hash函数hash函数演绎为什么说hash函数决定一个hash结构性能好坏解决hash冲突分离链接法分离链接法缺点开放定址法线性探测法线性探测法特点平方探测法双散列再散列标准库中的散列表(常用集合)散列表性质散列表丰富的...

2019-04-13 18:34:51 714 0

原创 大数据工具:IKAnalyzer分词工具介绍与使用

简单介绍IKAnalyzer分词工具与使用 文章目录简介IKAnalyzer的引入使用IK的两个重要词典IK的使用 简介 以下简介参考前辈和项目文档介绍 为什么要分词呢,刚开始介绍的时候介绍过,我们要提取语句的特征值,进行向量计算。所有我们要用开源分词工具把语句中的...

2018-10-28 20:43:06 6723 0

原创 云服务器环境安装与配置:kafka集群

本文详细说明kafka集群安装和命令行的基本使用 文章目录环境安装1,传包与解压2,创建log文件夹3,配置kafka4,分发配置好的kafka文件5,修改另两台文件中的broker.id值和host.name值6,启动kafka集群测试集群三台机器都使用jps命令检查命令行验证1 创建...

2018-10-28 17:31:41 1272 0

原创 云服务器环境安装与配置:mongodb

本文详细介绍单机mongodb安装 文章目录环境安装1、下载MongoDB(64位)2、安装MongoDB3、重新绑定mongodb的配置文件地址和IP4、加入开机启动mongodb5、连接进入mongodb6、客户端连接测试 环境 Centos7 安装 1、下载MongoDB(64位) w...

2018-10-22 01:15:11 2157 0

原创 Scala(0):Scala-IDE创建scala的maven项目

Scala-IDE创建scala的maven项目 文章目录环境(1)安装好scala(会自动配置好环境变量)、scala-IDE、maven插件(2)新建scala的maven项目(3)根据已有的scala原型(archetype)进行创建scala项目没有scala原型样例工程的解决方案(4)...

2018-10-15 00:00:46 1460 0

原创 maven导出工程pom文件中依赖的jar包

maven导出工程pom文件中依赖的jar包 文章目录 在工程的pom文件里加上下面plugin, 然后执行mvn clean package -Dmaven.test.skip=true命令,就可以lib包收集起来了 &lt;plugin&gt; &lt;g...

2018-10-11 17:57:18 1796 0

原创 java中有符号数与无符号数互相转换

java中有符号数与无符号数互相转换 文章目录java中long类型转换成无符号数java中无符号数转换成有符号数 java中long类型转换成无符号数 由于JAVA中基本数据类型均为有符号数,而且最大数据类型long为8字节 当long为负数时,最高位为1,转为无符号数时会超出long的取值...

2018-10-10 11:57:37 6289 0

原创 java打jar包与找不到依赖包详解

eclipse打jar包与找不到依赖包详解eclipse打工具jar1.项目右键--&amp;gt;export --&amp;gt;搜索java2.选择JAR file3.打包eclipse打包可执行jar1.项目右键--&amp;gt;export --&amp...

2018-10-09 14:49:19 6630 0

原创 logback日志不打印到文件问题深入剖析

详细探究logback不打印日志到文件的问题分析与案例演示,并提供官网bug的提交链接 环境与配置 问题 解决 原因 测试源码 测试结果 深入:线程出异常是否还会打印日志 环境与配置 使用maven构建的,引入logback依赖如下:(注:其他依赖已经排除了...

2018-08-26 22:04:21 17010 1

原创 java基础:java时间先除后乘目的

介绍java时间需要先除后乘的去余问题 问题 原因与目的 问题 java时间获取有时候代码如下: Date date = new Date(time / 60000 * 60000); 原因与目的 目的在于去除余数。即,当需要一个分钟整数(整点)...

2018-08-20 10:51:13 819 0

原创 Redis:HyperLogLog使用与应用场景

本文介绍redis的HyperLogLogde 命令使用和其他统计方式以及应用场景。 本文最后记录了HyperLogLog算法相关参考链接 简介 基数计数的演进 使用一般集合或数据结构来处理如HashSet或B+树 bitmap 概率算法 算法白话说明 red...

2018-08-19 00:38:15 7264 0

原创 Redis:Bitmap的setbit,getbit,bitcount,bitop等使用与应用场景

详细介绍redis中bitmap的相关命令用法以及使用场景如:用户上下线记录、日活月活留存率等统计计算 简介 优点 缺点 Redis Getbit 命令 Redis Setbit 命令 Redis Bitcount 命令 Redis Bitop 命令 应用场景 1.可作为简...

2018-08-18 22:27:51 3073 3

原创 Linux上搭建Redis集群

本文记录redis安装到集群搭建详细过程 环境 搭建 安装redis 安装gcc 下载redis源码包上传到linux系统 解压、编译、安装 启动 集群的搭建 安装ruby环境 在/usr/local/redis创建redis-cluster文件夹及...

2018-08-14 00:13:31 676 0

原创 git上传本地idea或eclipse项目到github

本文记录idea和eclipse如何把项目上传到github git上传idea项目 版本 idea集成git 集成到idea中 绑定自己的github 方式一:项目绑定github仓库 方式二:直接建立新的远程仓库 eclipse上传项目到github share p...

2018-08-06 13:45:36 696 0

原创 Linux同步系统时间

某些分布式集群环境需要时间同步才可以正确运行,故本文说明linux同步时间的两种方法,网络同步和手动同步并写入BIOS 环境 网络同步 手动同步 环境 Centos7 [root@mym ~]# date Sun Jul 29 01:16:14 EDT 2...

2018-08-04 14:16:24 5145 0

原创 zookeeper使用(二):javaAPI基本操作和循环监听器使用

本文介绍如何连接zookeeper集群、对zookeeper数据的crud、以及循环监听器的使用 引入pom依赖 CRUD测试 测试Watch(循环监听器) zookeeper使用(一):简洁概述与shell客户端使用 云服务器环境安装与配置:zookeeper...

2018-07-22 19:36:59 1454 0

提示
确定要删除当前文章?
取消 删除