自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 kafka小白教程从入门到精通

kafka小白教程 kafka介绍 kafka的概念 Kafka(底层源码使用scala语言实现): kafka分布式集群的搭建 kafka分布式集群的实操: 1)命令行客户端(测试) 主题的CRUD操作 发布消息 订阅消息 2)使用Java API来操作...

2019-11-13 23:15:04

阅读数 31

评论数 0

原创 linux-01

今天任务: 1.vmware11的安装(提前安装好) 2.虚拟机的安装(提前安装好) 3.linux系统的目录结构介绍 4.linux的基本命令操作 5.Linux–环境配置 6.用户管理命令 7.进程管理命令 8.权限管理 教学目标: 1.能够独立安装虚拟机 2.了解linux系统及目录结构 3...

2019-09-22 11:10:43

阅读数 39

评论数 0

原创 一:Mysql事务

Week04day02 一:Mysql事务 事务:事务是指逻辑上的一组操作,组成这组操作的各个单元,要么全成功,要么全不成功。 1.Mysql中的事务 a:mysql引擎是支持事务的 b:mysq默认自动提交事务,每条语句都在单独的事务中。 c:手动控制事务 开启事务: start ...

2019-09-22 10:43:50

阅读数 41

评论数 0

原创 二分图最大匹配

题目: n个人去玩过山车,每个人只能和自己认识的异性朋友坐一起,问最多可以有几对人玩过山车。 输入: 首先输入n和m,n为总人数,m为异性朋友的关系数,之后输入m行,每行输入x和y,表示x和y是一对异性朋友。每个人的编号为1-n之间。 测试输入: 6 5 1 4 1 5 2 5 2 6 3 4...

2019-09-22 10:36:11

阅读数 46

评论数 0

原创 awk命令:

awk命令: awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在器对数据分析并产生报告时,显得尤为强大,简单是说,awk将数据逐行的读入,以空格作为默认分隔符,对每行进行切片,切开的部分在进行各种分析处理。 awk主要有3个版本,awk,nawk,和gawk,一般来说是指...

2019-09-21 19:58:44

阅读数 190

评论数 0

原创 hive进阶四

hive进阶四 hive的字段分隔符: hive默认的列与列之间的分隔符是:\001 、ctrl+V ctrl+A(^A) 、SOH 、 \u0001(多用于java输出),注意不是tab 通常分隔符: tab , " " | \n \001 ^A (\u0001,注意不是\0...

2019-09-21 19:57:51

阅读数 42

评论数 0

原创 Hbase的存储的概述

Hbase的概述 hbase定义: 一种分布式,可扩展,支持海量数据存储的NoSql数据库 存储海量数据,对海量数据操作时会有明显优势,但对小数据操作时,考虑到本身的资源消耗可能不是那么的快。 官网定义: Apache HBase™是Hadoop数据库,是一个分布式,可扩展的大数据存储。 当您需要...

2019-09-21 19:25:35

阅读数 13

评论数 0

原创 Java多线程复习

Java多线程复习 线程创建 实现runnable类(推荐) public class TreadLearningIR implements Runnable { private String name; public TreadLearningIR(String name){...

2019-09-21 19:20:58

阅读数 4

评论数 0

原创 IO流复习

I/O流复习 概念 作用:实现两个设备之间数据的通信 分类 根据 操作的方式:输入流和输出流 根据数据的类型:字节流和字符流 字节流(reader、writer):传输的是字节,可以操作任意类型的数据 字符流(stream)(只能传输文本):传输的是字节,不同点是在传输过程中加入了编码的操作,...

2019-09-21 19:20:21

阅读数 2

评论数 0

原创 简单介绍编译原理

简单介绍编译原理 编译的各个步骤 1.词法分析 ​ 编译器的第一个步骤称为词法分析或扫描。词法分析器读入组成源程序的字符流,并将其组成有意义的词素的序列。形如<token-name, attribute-value>这样的词法单元。(token-name是由语法...

2019-09-21 19:18:59

阅读数 29

评论数 0

原创 mysql的范式总结

范式的概念: ​ 设计关系数据库时,我们通过遵循不同的规范要求,设计出合理的关系型数据库,这些不同的规范要求就是范式。 ​ 目前关系数据库有六种范式:第一范式(1NF)、第二范式(2NF)、第三范式(3NF)、巴斯-科德范式(BCNF)、第四范式(4NF)和第五范式(5NF,又称完美范式)。 第...

2019-09-21 19:17:30

阅读数 10

评论数 0

原创 datax安装与使用详解

一、dataX概览 1.1 DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。 1.2 Feature...

2019-09-21 17:51:56

阅读数 143

评论数 0

原创 Flume安装与详解

大数据组件 Flume 前言:里面的各种source,channel和simk时可以参考官网去满足自己的需求,看着官网可以很快的实现; https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html 2.12.1 fl...

2019-09-21 16:08:06

阅读数 28

评论数 0

原创 sqoop的安装以及使用详解

2.7.1 Sqoop简介以及使用 官网:http://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html 2.7.1.1 产生背景 基于传统关系型数据库的稳定性,还是有很多企业将数据存储在关系型数据库中;早期由于工具的缺乏,Hadoop与传统数据库之间...

2019-09-20 14:29:12

阅读数 63

评论数 0

原创 tez详解

1 tez的概览 1.1 tez介绍 1.1.1 介绍 tez是一个apache的开源项目,意在构建一个应用框架,能通过复杂任务的DAG来处理数据。它是基于当前的hadoop yarn之上,换句话就是yarn为其提供资源。 tez主要的两个设计目标: 增强终端用户使用: 灵活的数据流定义API 灵...

2019-09-20 00:21:17

阅读数 984

评论数 0

原创 Hive进阶3

Hive3 struct: create table if not exists str1( name string, score struct<chinese:int,math:int,english:int> ---注意它的创建和array创建的不同 ) row format de...

2019-09-12 00:02:06

阅读数 40

评论数 0

原创 基于linux下的MYSQL1045问题以及windows下工具连接linux中mysql的常见错误解决

基于linux下的MYSQL问题 MYSQL:1045代码错误: 前提:今天碰到了非常坑爹的一件事就是mysql登录的时候发现登录不上去,错误是拒绝连接,最后面是[YES]就是使用密码yes然后yes个鬼呀,登不上去,然后就去网上各种查,改了好多都有问题,最后终于改对了,今天就总结分享下 这个主要...

2019-09-11 00:21:04

阅读数 47

评论数 0

原创 hive的进阶之路2

hive的分桶: 为了更加细粒度划分数据。 语法: [CLUSTERED BY (COLUMNNAME COLUMNTYPE [COMMENT ‘COLUMN COMMENT’],…) [SORTED BY (COLUMNNAME [ASC|DESC])…] INTO NUM_BUCKETS BU...

2019-09-10 23:57:37

阅读数 29

评论数 0

原创 hive的初步认识与基本语法一

hive hive的背景: fackbook为解决海量数据分析,避免使用传统mr而开发出来类sql的操作大数据工具。 ​ hive定义 hive是一个数据仓库软件,它能够使用类sql进行读、写、管理基于集群上的海量数据。hive可以对已经存在的数据进行结构,同时hive也提供命令行和jdbc让用进...

2019-09-10 23:56:39

阅读数 26

评论数 0

原创 HDFS的安装配置及工作流程

HDFS 2.2.1 Hadoop相关概念 Hadoop是一个由Apache基金会所开发的分布式系统基础架构,用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统(Hadoop Distributed File Sy...

2019-09-10 23:55:06

阅读数 12

评论数 0

原创 HDFS的安装配置及工作流程

HDFS 2.2.1 Hadoop相关概念 Hadoop是一个由Apache基金会所开发的分布式系统基础架构,用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统(Hadoop Distributed File Sy...

2019-08-29 20:31:56

阅读数 419

评论数 0

原创 高可用HA的搭建

配置高可用 1.安装zookeeper 2.编辑那个安装zookeeper目录下conf文件夹里面的zoo_cfg 没有的话拷贝zoo_(添加到里面三台机器的ip地址,创建目录,在目录下创建myid,然后在每个myid下添加1,2,3、分别对应第一台,第二三台机器) dataDir=/home/h...

2019-08-29 20:17:24

阅读数 24

评论数 0

原创 java经典题目

java经典题目 1.输出下列结果: package test1; public class test5 { public static void main(String[] args) { new Deviced(); } } class Base{ private String name...

2019-08-24 15:01:03

阅读数 239

评论数 0

原创 jvm优化

jvm优化 一:jvm的位置 jvm是运行在操作系统之上的,它与硬件没有直接的交互 二:jvm体系结构概览 – 灰色的地方绝对不会垃圾回收,jvm调优就是调堆内存。 三:类加载器 负责加载class文件,class文件在文件开头有特定的文件标识,并且classloder只负责class文件的加...

2019-08-17 10:58:41

阅读数 315

评论数 0

提示
确定要删除当前文章?
取消 删除