自定义博客皮肤

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

将A、B两个表的查询结果插到第三个表C中

2019-08-15 12:16:13

阅读数 7

评论数 0

Kafka使用过程中遇到的异常

异常一: Exception in thread "main" java.lang.NoClassDefFoundError: kafka/api/OffsetRequest at storm.kafka.KafkaConfig.<init...

2019-02-17 00:04:08

阅读数 108

评论数 0

安装Hive下的Mysql

1.下载mysql安装包 MySQL-client-5.6.29-1.linux_glibc2.5.x86_64.rpm 2.确认当前虚拟机之前是否有安装过mysql 执行:rpm -qa | grep mysql 如果出现下图,证明已经安装了mysql,需要删除 3.删除mysql...

2019-02-17 00:01:51

阅读数 55

评论数 0

eclipse中web项目名称的修改

右键工程—properties—web project setting—输入新名称; 修改项目工作空间目录下的该模块的.project文件,一开头 修改项目工作空间目录下的该模块 —settings—org.eclipse.wst.common.component 里边修改: ...

2019-02-16 23:53:42

阅读数 72

评论数 0

Kafka

一、Kafka介绍: Kafka是一种分布式的、基于发布订阅的消息系统,能够高效并实时的吞吐数据,以及通过分布式集群和复本冗余机制实现数据的安全。 二、Kafka的安装配置: 1.从官网下载安装包 http://kafka.apache.org/downloads 2.上传到1号虚拟机,解...

2019-01-22 00:10:04

阅读数 163

评论数 0

Storm集群配置与启动

一、Storm集群配置 搭建总体的架构: 实现步骤: 1.安装和配置jdk 2.安装和配置zookeeper 3.上传和解压storm 4.配置storm安装目录conf目录下的storm.yaml文件 storm.yaml配置示例: 找到storm.zookeeper.ser...

2019-01-21 23:16:15

阅读数 46

评论数 0

Storm学习

一、Storm介绍 官方网址:http://storm.apache.org/ 官方对于Storm的介绍:   Apache Storm is a free and open source distributed realtime computation system. Storm ma...

2019-01-21 23:07:48

阅读数 50

评论数 0

HDFS的读写删操作流程

一、读取流程 上图的详细过程: 1、HDFS提供的客户端开发库Client,通过RPC访问NameNode,发送读操作。 2、NameNode通过查询元数据,获取到文件的存储路径,将文件对应的全部(文件较小)或者文件的部分(文件较大)的存储路径放到一个队列中,发送给客户端。 3、客户端...

2019-01-18 22:51:29

阅读数 89

评论数 0

红黑树、二叉查找树

一、红黑树Red-black Tree: ` 红黑树一种自平衡二叉查找树,是计算机科学中用到的一种数据结构,典型用途是实现关联数组。红黑书很复杂,但是他的操作有良好的最坏情况运行时间,不管是查找、插入和删除,他的时间复杂度都是O(logn),其中的n是树中元素的数目。 二、二叉查找树Binar...

2019-01-18 22:45:39

阅读数 28

评论数 0

CAS无锁算法

` 锁是用来做并发最简单的方法,当然其代价也是最高的。   要实现无锁的非阻塞算法有多种实现方法,其中,CAS(比较与交换,compare and swop)就是其中一种。CAS在大多数处理器架构中都支持调用,组要注意的是:不同的处理器CAS对应的CPU指令也有差异。 ·  CAS的语义:...

2019-01-18 22:31:28

阅读数 235

评论数 2

Concurrent包HashMap、HashTable、ConcurrentMap

ConcurrentMap:并发映射 HashMap `  基于hash表进行存储的映射。异步式线程不安全的映射—没有同步锁机制,多个线程访问的时候会有数据不明确的问题。 `  虽然不安全,但是效率高。 `  底层以数组+链表结构存储。 `  底层数组初始大小:16 HashTable...

2019-01-06 23:40:31

阅读数 51

评论数 0

Zookeeper的观察者Observer

观察者Observer 功能:   功能一就如同他的名字,只是一个观察者,对leader和follower的工作进行观察监听。   功能二就是动态扩展zookeeper集群,而又不影响集群的性能,接收客户端连接,执行leader更新系统状态的命令,不影响集群的性能是因为观察者节点不参与投票,...

2019-01-06 23:25:25

阅读数 89

评论数 0

HDFS概述、HDFS主要技术、HDFS指令、HDFS回收站机制及配置、dfs路径

一.HDFS概述 `  Hadoop Distributed File System----- Hadoop分布式文件存储系统,是hadoop的一个组件,用于数据的存储。 HDFS的总体布局:    HDFS中存在一个名字节点NameNode和多个数据节点DataNode。当用户发送请求...

2019-01-03 23:54:15

阅读数 81

评论数 0

Hadoop安装

一、Hadoop的安装分类 1、单机模式。只能使用MapReduce,其他进程无法启动 2、伪分布式。只用一个节点来模拟Hadoop的运行环境。在这种 模式下,Hadoop的所有进程都能够正常启动使用。 3、 完全分布式。用多个节点来搭建Hadoop集群。 二、伪分布式的安装步骤 操作...

2019-01-03 00:06:52

阅读数 24

评论数 0

大数据特点、Hadoop概述、版本介绍、模块

一、特点:5V 1、volume-体积量大    包括采集、存储和计算的量都很大。大数据的起始计量单位至少时T、P(=1024T)、E(=100万个T)、Z(10亿个T)。 2、variety-种类多   具体表现为网络日志、音频、视频、图片、地理位置信息等。 3、value-数据价值...

2019-01-02 23:30:03

阅读数 15

评论数 0

高并发基础之Zookeeper基本结构、命令、节点类型及信息05

一、基本结构 1、根节点是/ 2、Zookeeper是一个树状结构—Znode树 3、每一个Zookeeper节点是Znode节点 4、每一个Zookeeper节点都必须存储数据 5、在Zookeeper中所有的路径计算都是从根路径开始 6、在Zookeeper中,任意一个持久节点都可以挂载子节点...

2019-01-02 23:17:16

阅读数 28

评论数 0

SSH原理图文详解

原理:   非对称加密实现绵密登录 整个工作流程:   有两个台服务器:服务器a和服务器b 1、a生成自己的公钥私钥对(ssh-keygen命令)。 2、将本机的公钥发给b服务器(ssh-copy-id b命令),注意这次是需要通过输入密码验证用户。 3、b服务器将主机名a和对应的...

2019-01-02 22:50:42

阅读数 61

评论数 0

Zookeeper搭建

笔者自己使用的XShell连接了三台服务器:zkp1、zkp2、zkp3。运行环境是linux。 第一部分: 下载zookeeper安装包-----(http://zookeeper.apache.org) 第二部分: 安装zookeeper Zookeeper本身是基于java开发的,...

2019-01-01 23:57:54

阅读数 66

评论数 0

Zookeeper概述、特点、原理

一、Zookeeper 1、分布式环境下数据一致的基本问题 · 分布式环境下,为了保证数据的可靠或者分布式的处理没数据往往具有多个副本,而当数据发生变化时,如何保证数据一致,这是分布式环境下数据分布式存储和处理的最基本的问题之一。 2、Zookeeper概述 · Zookeeper能够在分...

2019-01-01 19:19:47

阅读数 134

评论数 0

序列化/反序列化Java自带自带序列化反序列化机制

一、序列化/反序列化概念 ` java是面向对象的语言,对象一般是存活在内存中动态变化的数据。有时候为了保存和传输,需要将内存中存活的动态变化的对象数据转化成可以固定的字节信息。序列化技术可以实现。将已经固定的对象的字节信息转换回内存对象的过程就是反序列化的过程。 二、序列化/反序列化应用场景...

2019-01-01 18:53:26

阅读数 35

评论数 0

提示
确定要删除当前文章?
取消 删除