- 博客(28)
- 收藏
- 关注
转载 本地可执行,ssh远程报错
一、问题描述集群cdh1,cdh2和cdh3都已经配置好ssh和jdk,但是,在cdh2中运行ssh cdh1 "jps"命令却报错[root@cdh2 sh]# ssh cdh1 “jps”bash: jps: command not found然后,专门试验一下ssh到cdh1有无问题,验证没问题。[root@cdh2 softwares]# ssh cdh1Last login: Sun Mar 15 01:09:57 2020 from 192.168.0.109[root@cdh1
2020-07-22 22:01:17
399
原创 Hbase概述
HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成的大型数据。1.2 Hbase特点1)海量存储Hbase适合存储PB级别的海量数据,在PB级别的数据以及采用廉价PC存储的情况下,能在几十到百毫秒内返回数据。这与Hbase的极易扩展性息息相关。正式因为Hbase良好的扩展性,才为海量数据的存储提
2020-06-26 01:29:19
223
转载 抽象类和接口
前言抽象类(abstract class)和接口(Interface)是Java语言中对于抽象类定义进行支持的两种机制,赋予了Java强大的面向对象能力。 二者具有很大的相似性,甚至可以相互替换,因此很多开发者在进行抽象类定义时对于abstractclass和Interface的选择显得比较随意。其实,两者之间还是有很大的区别的。 本文将对它们之间的区别进行剖析,并提供一个在二者之间进行选择的依据。抽象类是什么?本文中的抽象类表示的是一个抽象体,并非直接从abstract class翻译而来
2020-06-19 22:36:13
140
原创 java对象和类的初始化过程
类的成员:(1)属性(2)方法(3)构造器(4)代码块代码块:为属性初始化1.语法格式【修饰符】class 类名【extends 父类】 { 非静态代码块 } static{ 静态代码块 }2.执行的特点(1)在创建的时候自动执行,每创建一个对象就执行一次,如果有多个代码块,就依次执行(2)先于构造器执行(3)非静态代码块与属性的显示赋值,按顺序依次执行(4)如果创建子类的对象,会先执行父类的(非静态代码块,属性以及构造器)...
2020-06-19 22:27:42
151
原创 类型转换
基本数据类型转换 向上转型:自动转型 byte--short--char--int--long--float--double 向下转型:强制转型,会有精度损失或溢出 double--float--long--int--char--short--byte 引用数据类型,编译时类型(父) 向上转型: 当出现多态引用时,子类的对象就会向父类的对象转型一旦向上转型,那么通过父类的变量就无法调用子类“扩展”的方法 向下转型: 当把存在父类变量中的对象,重新..
2020-06-16 17:00:26
91
原创 java多态数组和多态参数
面向对象的特征:封装,继承,多态,抽象方法的多种多态:1:方法的重载和方法的重写重载:同一个功能在同一个类中有多种形式。重写:同一个功能在多个子类中,形式不同。2:对象的多态性对象有两种类型:(1)编译时类型;(2)运行时类型;前提条件:(1):类的集成关系;(2)多态应用;(3):方法的重写表现特性:即编译时按照父类编译,运行时按照子类运行(子类重写的方法体)举例:创建一个父类A,两个子类B,C,测试类TestA,TestB举例1:创建多态对象数组举例2:多态参
2020-06-16 16:25:47
742
原创 this和super分别代表什么意思
java中this关键字代表对象本身可以理解为指代当前的对象,它可以调用当前对象的属性、方法和构造方法,一般情况下可以省略,必须使用this的地方是区分出现名字重复的参数和属性(类属性和方法的形参)。super相当于是指代当前的对象的父类,调用父类的属性、方法和构造方法super和this有什么区别?this指代当前对象,super指代父类对象this可以调用自身的属性和方法还有父类的属性和方法super只能调用父类的属性和方法this可以调用当前类的其它构造方法,super调用父.
2020-06-16 15:22:59
2751
转载 构造器的作用
最简单直白的话,当你要new一个对象的时候,必须要有构造器才能new出来,类里面默认有无参的构造器,看不到的,当我们要创建一个有参构造的时候,最好也把无参构造写出来。作用:java中构造方法指的是:与类名相同,无返回类型的方法,参数可以为空,也可以带参数。比如一个 Point 类,private Point(){}这个就是无参数的构造方法。private Dao(int x0, int y0){}这个就是带参数的构造方法。作用:用来初始化 java 类,提供类的初始化和实例化,以便调用。如果想
2020-06-14 23:08:18
978
原创 MySql基础架构和日志系统
select * from T where ID>2;大题来说Mysql可以分为Server层和存储引擎层.Server层包括连接器,查询缓冲,分析器,优化器,执行器,所有跨存储引擎的功能都在这层实现。引擎层是负责数据的写入和读取,其架构模式是插件式的,支持InnoDB,MyISAM,Memony等多个引擎,Mysql从5.5.5开始默认采用InnoDB引擎。连接器:连接管理以及权限认证。查询缓冲:查询命中则直接返回。分析器:词法分析,语法分析。优化器:执行计划生成,返
2020-06-12 21:29:58
125
原创 Hadoop权威指南(第4版)笔记一
Hadoop尽量在计算节点上存数据,以实现数据的快速访问,即数据本地化(data locatily)。MapReduce 三大设计目标:1:为只需要短短几分钟或数小时就能完成的任务设计。2:运行于同一个内部有高速网络连接的数据中心。3:数据中心的计算机都是可靠的,专门的硬件。Map任务的三种可能:a,本地数据,本地运行; 即在存储有输入数据(HDFS中的数据)的节点运行map任务,无需使用宝贵的集群带宽资源,可获得最佳性能(数据本地化优化)。b,本地节点,本地机架运..
2020-06-11 16:18:32
206
原创 Sqoop实现HDFS与传统数据库数据导入导出
实现原理将导入或导出命令翻译成mapreduce程序来实现。在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。安装1.机器配好Java和hadoop环境2.上传tar包到指定目录,并解压拷贝JDBC到lib下。mv sqoop-env-template.sh sqoop-env.sh3.修改配置文件执行命令:bin/sqoop list-databases --connect jdbc:mysql://hadoop102:330..
2020-06-10 15:33:44
230
原创 Linux查看性能命令
整机 1.top:查看系统性能 主要查看cup,内存占用率以及负载,(如果三个负载数相加的平均值超过0.6则说明负载过大) 2.uptime:系统性能命令的精简版 CPU 1.vmstat -n 2 3:查看包括不限于CUP(一般 vmstat工具的使用是通过两个数字参数来定成的,第一个参数是采样的时间间数,单位是秒,第二个参数是采样的次数)- procsr:运行和等待CUP时间片的进程数,原则上1核的CPU的运行队列不要超过2,整个...
2020-06-08 00:09:57
1635
原创 liunx和win10下的主机映射关系文件
Linux(注意权限问题)-vim /etc/hosts添加主机-映射关系win101.进入C:\Windows\System32\drivers\etc (注意权限问题)2.打开hosts文件并添加一下内容:
2020-06-07 17:44:54
279
原创 Kafka消费者
消费方式 consumer采用pull(拉)模式从broker中读取数据。push(推)模式,优点:消息传递速度快;缺点:消息发送者主动发送数据,消息接收者被动接收消息,很难适应消费速率不同的消费者。很容易造成consumer来不及处理消息,典型的表现就是拒绝服务以及网络拥塞。而pull模式则可以根据consumer的消费能力以适当的速率消费消息。pull模式:优点:可以根据consumer的消费能力以适当的速率消费消息;缺点:如果kafka没有数据,消费者可能会陷入循环中,一直返回空数据。..
2020-06-07 10:33:43
109
原创 Kafka如何保证数据可靠性
数据可靠性保证 正常情况下,为保证producer发送的数据,producer向Leader发送数据,leader收到后返回ack(acknowledgement确认收到),producer继续发下一条数据。如果等不到leader的ack回复,producer则在重复机制的作用下,向leader重复发送未成功发送的数据。这样便会产生两个问题。问题一:leader何时发送ack?解答:leader需要确保有follower与之同步完成才发送ack,因为这样才能避免在leader...
2020-06-06 23:10:43
332
原创 MapReduce工作流程
1图片来源尚硅谷大数据课程MapReduce流程一MapReduce流程二流程:1:MapTask收集从map()方法写出的(k,v)对,由outputCollector收集写入环形缓冲区。2:环形缓冲区默认大小100M,内存占满80%开始反向,并不断溢写出本地文件,结果可能产生多个溢写文件。(环形缓冲区内实现快排,溢写出的文件均内部有序,第一次排序,算法:快排)3:环形缓冲区产生的多个溢写文件,通过Merge实现合并,第二次排序,算法:归并排序4:多个MapTask产生...
2020-06-06 17:34:15
420
原创 Zookeeper的选举机制
1)半数机制:集群启动必须有半数以上机器active,否则集群不启动。故集群中半数以上机器存活,集群可用。所以Zookeeper适合安装奇数台服务器。2)Zookeeper虽然在配置文件中并没有指定Master和Slave。但是,Zookeeper工作时,是有一个节点为Leader,其他则为Follower,Leader是通过内部的选举机制临时产生的。3)以一个简单的例子来说明整个选举的过程。假设有五台服务器组成的Zookeeper集群,它们的id从1-5,同时它们都是最新启动的,也就是没有历史
2020-06-06 11:36:12
310
原创 SQL语法笔记
1.ifnull(arg1,arg2)SELECT IFNULL(NULL,"11"); -> 11SELECT IFNULL("00","11"); -> 00判断if中的arg1是否为NULL,如果为NULL则输出arg2,否则输出本身。2.if(boolen,arg1,arg2)select if(money>0,money,0) from part即:money>0是选择money,否则取0;(boolen=true,输出arg1;flase,输出a
2020-06-05 21:23:48
86
原创 查看多台机器jps的脚本
首先所有机器已经配通SSH免密登录 在某台机器上创建jpsall,并打开。touch jpsallvim jpsall写执行脚本 #!/bin/bash# 执行jps命令查询每台服务器上的节点状态echo ======================正在查询集群节点状态====================#2 关闭hadoop102-hadoop104for i in hadoop102 hadoop103 hadoop104do echo ========
2020-06-01 17:41:15
441
转载 hive的四个by
1.order bycol_list: 全局排序,默认为升序asc ,因此只有一个reducer,只有一个reduce task的结果,比如文件名是000000_0,会导致当输入规模较大时,需要较长的计算时间。 如果指定了hive.mapred.mode=strict(默认值是nonstrict),这时就必须指定limit来限制输出条数,原因是:所有的数据都会在同一个reducer端进行,数据量大的情况下可能不能出结果,那么在这样的严格模式下,必须指定输出的条数。 对被排序列进行全排序...
2020-05-31 21:19:32
588
原创 Flume Agent内部原理及其三大组件
1.Agent内部原理工作流程:(1)数据通过Source采集进入Flume,Flume以通过Agent以事件的形式将数据从源头到目的地。(2)进入事件处理,Event为传输单元,由可选的header和载有数据的body(byte array)构成。(3)在agent可对数据进行粗步拦截,排除某些不采集的文件,文件类型。(4)Channel选择器,两种Channel Selector,一种是Replicating channel另一种是Multiplexing Channel...
2020-05-31 15:24:37
4051
原创 MapRedurce框架原理之InputFormat实例
1.TextInputFormat 是默认的FileInputFormat实现类。按行读取每条数据。key是存储该行在整个文件中的起始字节偏移量,(LongWriter类型)。value是该行内容,不包括终止符,(Text类型)。 切片方法采用FileInputFormat的切片方法,(K,V)方法为LineRecordReader; 如: asdfdgagads asfsaggrh 切片后: (0,asdfdgagad...
2020-05-30 20:58:01
169
原创 flume入门
1. flume定义 Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based on streaming data flows. It is robust and fault tol...
2020-05-26 17:33:38
180
原创 hive实操二统计上传视频最多的用户Top10以及他们上传的观看次数在前20的视频
video表结构user表结构需求分解 查询上传视频最多的用户top10; 将top10的数据表与video表join,得到上传视频的相关信息; 将上述表信息对view进行排序并取前20;需求实现 查询上传视频最多的用户top10; SELECT videos,uploader FROM gulivideo_user_orc ORDER BY videos DESC LIMIT 10 ; - [ ] 将top10的数据表与video表joi..
2020-05-21 20:53:24
799
原创 hive实操一统计视频观看数Top50所关联视频的所属类别Rank
表结构建表语句create table gulivideo_orc( videoid string, uploader string, age int, category array<string>, length int, views int, rate float, ratings int, comments int, relatedid array<string>)row.
2020-05-21 17:17:15
940
原创 Hive安装及配置matestore文件到MYSQL
1:安装配置hive(1):将准备好的hive文件上传到linux上指定的文件夹下。(2):将tar包解压到指定文件夹下,这里指定/opt/module。(3):修改配置文件。将hive-env.sh.template 改名为 hive-env.sh(2):配置hive-env.sh配置HADOOP_HOME路径配置HIVE_CONF_DIR路径2:hive的数据存储...
2020-05-17 20:42:52
537
原创 CentOS6.9下mysql的完全卸载
检查系统下是否安装了mysql数据库。检查mysql服务是否开启,如果开启则关闭mysql服务,最后查看mysql服务状态,确认关闭。卸载mysql安装组件rpm -qa | grep -i mysql检查没有包即可。查找并删除MySQL相关的文件...
2020-05-02 16:27:59
264
原创 linux常用命令
linux常用命令11.删除类dd: 删除当前行(0:返回行首)ndd: 删除光标行往下n行(含光标行)内容dgg: 删除光标当前行及以上内容dG: 删除光标当前行及以下内容dH: 删除当前页面第1行至光标行p: 粘贴到光标下一行u: 撤销一次操作Ctrl + r: 反撤销(一次)...
2020-03-24 16:02:06
95
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人