自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

C_CXY2333的博客

专于技术

原创 Flume数据流监控

Flume数据流监控 1、Ganglia的安装和部署 1.1、安装httpd服务与php yum -y install httpd php 1.2、安装其他依赖 yum -y install rrdtool perl-rrdtool rrdtool-devel yum -y install ap...

2019-10-24 19:02:13

阅读数 24

评论数 0

原创 RPC浅谈

RPC浅谈 1、概念理解: 1.1、RPC RPC, 远程过程调用(Remote Procedure Call,RPC)是一个计算机通信协议,该协议允许运行于一台计算机的程序程调用另一台计算机的上的程序。通俗讲,RPC通过把网络通讯抽象为远程的过程调用,调用远程的过程就像调用本地的子程序一样方便,...

2019-10-10 09:05:23

阅读数 24

评论数 0

原创 一致性哈希

一致性哈希 1、产生由来: 随着时代的发展,数据量与日俱增,相比纵向扩展单机的性能,人们更倾向于横向扩展,将多台一般的廉价机器组成集群来充当超级计算机,节省了大量的成本,代价是极大地增加了系统的复杂性。为了应对这些复杂性,一批又一批分布式领域的技术相继诞生,其中不乏一些看过之后令人拍案叫绝的精彩...

2019-10-07 20:10:07

阅读数 10

评论数 0

原创 Bloom Filter:布隆过滤器

详解Bloom Filter :布隆过滤器 **应用场景:**现在有大量的数据,而这些数据的大小已经远远超出了服务器的内存,现在再给你一个数据,如何判断给你的数据在不在其中。如果服务器的内存足够大,那么用HashMap是一个不错的解决方案,理论上的时间复杂度可以达到O(1),但是现在数据的大小已...

2019-10-07 18:03:59

阅读数 26

评论数 0

原创 bit和byte有什么不同?

bit和byte有什么不同? 1、名称不同 bit是比特,是英文 binary digit的缩写。而Byte是字节又叫bait。 2、意义不同 bit是表示信息的最小单位,是二进制数的一位包含的信息或2个选项中特别指定1个的需要信息量。一般来说,n比特的信息量可以表现出2的n次方种选择。 而Byt...

2019-10-07 14:36:05

阅读数 37

评论数 0

原创 哈希函数

哈希函数 定义:Hash,一般翻译做散列、杂凑,或音译为哈希,是把任意长度的输入(又叫做预映射pre-image)通过散列算法变换成固定长度的输出,该输出就是散列值。这种转换是一种压缩映射,也就是,散列值的空间通常远小于输入的空间,不同的输入可能会散列成相同的输出,所以不可能从散列值来确定唯一的输...

2019-09-23 10:53:07

阅读数 48

评论数 0

原创 dataX 阿里云开源离线同步工具

dataX 阿里云开源离线同步工具 1、Datax 概要 DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能 1.1设计理念 为了解决异构数据源同步...

2019-09-21 15:45:04

阅读数 65

评论数 0

原创 自定义UDTF

自定义UDFT函数 (一进多出) 实现方法 1、继承GenericUDTF 2、实现: initizliza() :调一次 process ():一行数据,调一次 close():调一次 过程 package udtf; //udtf.MyUDTF import org.apac...

2019-09-21 10:40:43

阅读数 29

评论数 0

原创 HDFS Shell命令

HDFSShell命令 ps: 无论是 hadoop fs 还是 hdfs dfs 命令效果都是一样   都是操作HDFS文件系统     1.put 从本地文系统中 复制文件到 HDFS系统中(上传文件) hdfs dfs -put 本地文件路径(操作系统...

2019-09-21 10:39:19

阅读数 20

评论数 0

原创 hive静态分区和动态分区的理解

hive静态分区和动态分区的详解 需要建立一个备份带分区的数据表,拷贝时若采用静态分区方式需要写 N 行语句,因此可以使用动态分区,节省大量时间。 Hive 的分区方式:由于 Hive 实际是存储在 HDFS 上的抽象,Hive 的一个分区名对应一个目录名,子分区名就是子目录名,并不是一个实...

2019-09-21 10:38:33

阅读数 50

评论数 0

原创 hive难点以及例子SXT

一、炸裂函数注意点 1、只取炸裂字段 select explode(字段名) from 表名 2、原表中的字段和炸裂字段 select 表中字段, 列的别名 from 表名 lateral view explode(字段名) 炸裂开表的别名 as 列的别名 二、partition by 与 ...

2019-09-21 10:37:02

阅读数 24

评论数 0

原创 sqoop 完整学习和遇到的错误

sqoop 学习与问题 配置问题:centos7 与sqoop1.4.7,使用比较好一些。centos6与sqoop1.4.6一起使用比较好一些。如果在centos6版本中使用sqoop1.4.7会需要修改很多配置。具体会在后面提到 1、sqoop原理 实现数据的导入导出 将导入或到处命令翻译...

2019-09-21 10:36:27

阅读数 17

评论数 0

原创 left semi join 和 left join 区别

left semi join 和 left join 联系和区别 1、都是左表连接,但是semi join右表关联不左表也不会出来,left join不一样 2、semi join只能查询左表信息,left join可以查询所有 3、semi join是left join的一种优化 4、semi ...

2019-09-21 10:34:22

阅读数 106

评论数 0

原创 hadoop拒绝history通过19888端口连接查看已完成的job的日志

hadoop拒绝history通过19888端口连接查看已完成的job的日志 1、查看 mapred_site.xml <property> <name>mapreduce.jobhistory.address</name> <value>ha...

2019-09-20 15:51:54

阅读数 33

评论数 0

原创 linux设置时间和hdfs上时间同步配置

linux设置时间和hdfs上时间同步配置 1.date -s 2.配置时间服务器,集群的其他机器都跟namenode所在机器同步时间 2.1服务器 检查ntp是否安装,如果未安装,则安装 服务器上需要安装ntp服务 同步机器上只要安装ntpdate yum list | gr...

2019-09-20 11:43:08

阅读数 82

评论数 0

原创 hadoop完全分布安装思路

hadoop完全分布 规划: ip 主机名 服务 192.168.79.7 hadoop01 namenode\datanode\resourcemanager\nodemanager\jobhistoryserver 192.168.79.8 hadoop02 datanod...

2019-09-20 11:42:11

阅读数 34

评论数 0

原创 HDFS读写流出以及集群安全

HDFS读写流出&集群安全模式&HDFS高可用(HA) 1、HDFS读写流出 [外链图片转存失败(img-0jDfUFaz-1568857049920)(C:\Users\12847\Desktop\NOTES\Apart03Hadoop\img\20190830130545.pn...

2019-09-20 11:41:16

阅读数 19

评论数 0

原创 hadoop配置文件解析

hadoop配置 1、hadoop-env.sh 1、配置堆内存大小HADOOP_HAPHSIZE 2、HADOOP_LOG_DIR 配置 3、HADOOP_PID_DIR配置 2、core-site.xml rpc:主要用于节点之间的通信 http:适量数据 secondatana...

2019-09-19 09:38:36

阅读数 42

评论数 0

原创 hadoop历史背景&hdfs分布式文件系统&hadoop的集群模式&单机模式&伪分布

hadoop历史背景&hdfs分布式文件系统&hadoop的集群模式&单机模式&伪分布 1、hadoop的历史背景 lucense ---->nutch---->hadoop hadoop的思想来源:google的三大论文(GFS、mapreduce、b...

2019-09-19 09:35:34

阅读数 48

评论数 0

原创 linux常用指令04--防火墙操作

1.防火墙 防火墙是根据配置文件/etc/sysconfig/iptables来控制本机的“出,入”网络访问行为 Filter表 主要跟进入Linux本机的数据包有关,过滤数据包,默认表 INPUT链 过滤所有目标地址是本机的数据。(对进入本机的数据包进行过滤) OUTPUT链 过滤本机产生的数据...

2019-09-12 00:59:52

阅读数 13

评论数 0

原创 Shell编程基本语法详解

Shell编程 介绍: 什么是shell脚本编程 shell是一个由C语言编写的,shell即是一种语言也是一种命令,是用户 和Linux沟通的桥梁,shell脚本(shell script)是一种为shell编写 的脚本语言,可以理解为一个可执行的Linux命令集合 shell解释器 shell...

2019-09-12 00:58:55

阅读数 106

评论数 0

原创 linux常用指令02

系统管理操作 ll /dev/cdrom:查光驱 挂载外部设备: 1.挂载光驱,通过挂载可以读取里面的内容 创建挂载目录/ mkdir /mnt/cdrom mount -t iso9660 -o ro /dev/cdrom /mnt/cdrom 2.挂载光盘镜像文件 secureCRT上传文件:...

2019-09-12 00:57:56

阅读数 31

评论数 0

原创 Linux常用指令01

lInux常用指令 1.linux帮助命令 man command 按q键退出 info command 按q键退出 tab键自动补全 Ctrl+R 查找历史输入过的命令 Ctrl+C 终止当前进程 Ctrl+Z 挂起当前进程 bg 1---- jobid 进程在后台运行 fg 1 --挂起的进程...

2019-09-12 00:55:57

阅读数 51

评论数 0

原创 学习JSON

一.JSON语法 JSON的全称是”JavaScript Object Notation”,意思是javascript对象表示法,它是一种基于文本,独立于语言的轻量级数据交换格式。 1.JSON的格式 JSON 数据的书写格式是键(名称)/值对。 JSON 键值对是用来保存 JS 对象的一种方式,...

2019-09-12 00:51:56

阅读数 30

评论数 0

原创 CSV简单了解

1.CSV介绍 CSV全称是Comma Separate Values,这种文件格式可以作为不同程序之间的数据交互的格式。 .csv就是一种纯文本文件(如.txt、.doc等)。即是一组字符序列,字符之间已英文字符的逗号或制表符(Tab)分隔。 语法比较简单: 1.1.每条记录占一行 以逗号为分隔...

2019-09-12 00:51:08

阅读数 12

评论数 0

原创 mysql 难点SQL题理解

mysql 难点理解 1.在雇员表里找出每个组里面薪资排名第二的人 SELECT e1.*,COUNT(e2.sal)+1 cs -- SELECT e1.*,e2.ename,e2.sal FROM emp e1 LEFT JOIN emp e2 ON e1.deptno=e2.deptno A...

2019-09-12 00:48:36

阅读数 17

评论数 0

原创 mvc & 注解 & 测试

mvc [外链图片转存失败(img-I37LnLqG-1568220030897)(imgmysql/img02.png)] 注解: Java5开始 Java支持对元数据的支持, 就是是Annotation(注解) 元数据: metadata描述数据的数据 注解:标签 Annotatio...

2019-09-12 00:46:26

阅读数 12

评论数 0

原创 tomcat & http & WEB项目 &servlet

tomcat & http & WEB项目 &servlet tomcat 当你在做web项目的时候,你需要请求和响应,通过网址,服务器通过创建servlet来处理,servlet其实就是java程序,servlet通过配置文件拦截你的请求,并进行相应处理,然后展示给你相...

2019-09-12 00:41:50

阅读数 9

评论数 0

原创 Mysql事务 &数据库连接池 &DBUtiles

Mysql事务 &数据库连接池 &DBUtiles 事务 Transaction事物指逻辑上的一组操作,组成这组操作的各个单元,要么全成功,要么全不成功。 mysql是默认自动提交事物的,每条语句都在单独的事物中 手动控制事物 1.开启事物:start trannsacti...

2019-09-12 00:39:22

阅读数 15

评论数 0

原创 MySql理解及最常用到的函数

MySql 1.关系型的数据库是表结构 2.非关系型的是数据库是键值对 Delete :一条一条的删,表结构还是在的。删除后的数据可以找回。 truncate:创建一个新表,直接把之前的表drop,然后再创建一个同样的新表。删除后数据是找不回的,执行的速度比delete块。 NOT 默认不包括nu...

2019-09-10 01:28:57

阅读数 11

评论数 0

原创 反射 动态代理 线程池

反射 动态代理 线程池 反射 动态获取类的字节码文件,并对其进行抽象 通过反射可以获取一个类的全部方法和属性,然后进行调用。 反射与类之间抽象的理解:Class 将字节码对象进行抽象 出现了: 1.属性:表示字节码文件的属性的属性:private Field field; 2.属性:表示字节码...

2019-09-10 01:25:44

阅读数 14

评论数 0

原创 NIO& 网络通信 详解

NIO 网络通信 NIO 概念理解: 1.送什么货物:FileInputStream fis = new FileInputStream(“C:\reset.css”); 2.货物送到哪里:FileOutputStream fos = new FileOutputStream(“D:\reset...

2019-09-10 01:24:37

阅读数 16

评论数 0

原创 IO流 装饰设计模式 适配器设计模式

IO流   装饰设计模式 适配器设计模式 io流(input/output):二进制的数据。源源不断 作用:实现两个设备之间数据的传递。 设备:磁盘,内存,键盘,文件,网络(主机之外的网络),控制台 内存:(在描述数据的时候以内存为参考)内存是核心,将数据放入内存...

2019-08-09 08:48:03

阅读数 14

评论数 0

原创 多线程 及线程同步问题详解

多线程 ###  多线程: - 程序:一个可执行文件 - 进程:一个正在运行的程序,也可以理解成为内存中的开辟的存储空间 - 线程:负责程序的运行,可以看作是一条执行的通道或执行单元,所以我们通常将进程的工作理解成线程的工作。 进程中可不可以没有线...

2019-08-02 21:56:32

阅读数 63

评论数 0

原创 Comparable和Comparator的区别以及Lambda表达式实现

Comparable和Comparator的区别 1.comparable里面的ComparaTo()是TreeSet和TreeMap里面add()与put()方法里面调用对象的ComparaTo(),通过返回值,来确定它,是否存在or顺序。他是内置的,所以如果自定义对象用TreeSet来存的话,...

2019-08-02 08:13:42

阅读数 125

评论数 0

原创 集合 MAP 详解

集合  MAP Map 接口 Map本身是接口,存储的是键值对,一个元素是一个KEY和VALUE对,Key必须是唯一的(必点实现了去重),value值是随意的,是可以重复的. 1. HashMap :底层是哈希表,线程不安全的 2. TreeMap:底层...

2019-08-01 08:27:50

阅读数 46

评论数 0

原创 集合 Lambda表达式 详解

#  集合  Lambda表达式 语言: 适合做服务器开发:JAVA .net pht c++  c# asp golang python… 前端:ios android H5 jsp… 数据库:mysql oracle BD2 Hbas...

2019-07-30 21:48:14

阅读数 74

评论数 0

原创 Date 字符串 正则表达式 网址

Date 字符串  正则表达式 网址 不可变字符串 : 分类: 不可变字符串:不是对象,String 字符串本身不能发生改变(地址),与指向字符串的引用无关 String s1="1000sjf"; 可变字符串:StringBuilder/StringBu...

2019-07-30 21:47:04

阅读数 25

评论数 0

原创 常用类 枚举 异常 Math tcp与udp

常用类 枚举 异常  Math tcp与udp 异常:程序中出想不正常的情况。 因为面向对象,所以JAVA把异常处理也进行封装, - throwable : Error:运行中出现的严重错误,不需要我们进行更改。 Exception:运行中的不严重的错误,我们可以尝试...

2019-07-30 21:46:03

阅读数 19

评论数 0

原创 JAVA中 final object abstract 接口 多态 内部类

final object abstract 接口 多态 内部类 final  是一个关键字,是最后的,最终的,被修饰的内容不能改变 可以修饰的内容: 1. 类:final修饰的类不能有子类. 2. 成员变量:变量是一个终值,不能再被改变.所以在定义时...

2019-07-30 21:44:33

阅读数 18

评论数 0

提示
确定要删除当前文章?
取消 删除