- 博客(54)
- 收藏
- 关注
RSS订阅原创 flume
定义：Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。组件flume由agent组成，其中agent核心部分分为三个部分：sourse：数据源channel：连接管道sink：往下一级传递软件地址：...
2021-04-22 08:45:55
173
原创 sql练习
sql练习题原始数据学生表 Student：create table Student(SId varchar(10) ,Sname varchar(10),Sage datetime,Ssex varchar(10));教师表 Teachercreate table Teacher(TId varchar(10),Tname varchar(10)); 科目表 Coursecreate table Course(CId varchar(10),Cname nvarchar(
2021-04-21 21:30:58
284
转载 hive调优
1，fetch抓取 能不走mr尽量不走在hive-default.xml.template文件中hive.fetch.task.conversion有三个取值：none—所有都走mapreducemore—在全局查找、字段查找、limit查找等都不走mapreduce。如何设置：set hive.fetch.task.conversion=xxx；2，本地模式 可以解决我们大量的小文件，处理时候分配资源过多的情况开启本地模式set hive.exec.mode.local.auto=t
2021-04-15 17:16:00
185
原创 hive的压缩和存储格式
压缩一般使用snappy压缩方式开启map端的压缩案例实操：1）开启hive中间传输数据压缩功能hive (default)>set hive.exec.compress.intermediate=true;2）开启mapreduce中map输出压缩功能hive (default)>set mapreduce.map.output.compress=true;3）设置mapreduce中map输出数据的压缩方式hive (default)>set mapreduce.ma
2021-04-15 15:04:40
185
原创 hive的查询
查询注意事项：1、order by ==全局排序，因此只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。2、sort by不是全局排序，其在数据进入reducer前完成排序。因此，如果用sort by进行排序，并且设置mapred.reduce.tasks>1，则sort by只保证每个reducer的输出有序，不保证全局有序。3、distribute by(字段)根据指定的字段将数据分到不同的reducer，且分发算法是hash散列，相当于分桶操作4、Cluster by(
2021-04-13 13:14:55
420
原创 hive的基本操作（创建表，数据加载）
创建数据库create database if not exists myhive;use myhive;说明：创建数据库在hdfs上的位置hive-site.xml当中的一个属性指定的<name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value>创建并指定hdfs存储位置create database myhive2 location '/myhi
2021-03-31 16:43:49
1352
原创 maptask的运行机制，压缩机制，join算法
整体流程：第一步：客户端将每一个block块进行逻辑切分，每一个切片对应一个filespilt，split包含的信息：分片的元数据信息，包含起始位置，长度，和所在节点列表等第二步：设置map类，map类通过Textinputformat类按行读取切片信息，组成键值对k1，v1第三步：map函数对键值对进行计算，输出<key,value,partition（分区号）>格式数据，partition指定该键值对由哪个reducer进行处理。通过分区器，key的hashcode对reducer个数
2021-03-31 15:07:51
111
原创 MapReduce天龙八部
天龙八部：map阶段：第一步：读取文件，解析成key，value对，形成k1，v1；第二步：接受k1，v1，自定义逻辑，转换成新的k2，v2，进行输出shuffle阶段：第三步：分区：相同key的value值发送到同一个reduce中去，key合并，value形成一个集合第四步：排序 默认按照自字段顺序进行排序第五步：规约第六步：分组reduce阶段第七步：接受k2，v2 自定义reduce逻辑，转换成新的k3，v3进行输出第八步：将k3，v3进行输出注意：上面八个任务都是单
2021-03-08 17:08:42
462
原创 hadoop的基准测试
测试写性能hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0.jar TestDFSIO -write -nrFiles 10 -fileSize 10MB测试读性能hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduc
2021-02-25 23:47:08
77
原创 hadoop的高级命令、安全模式
HDFS文件配额1，数量配额hdfs dfs -mkdir -p /usr/root/lisi设置lisi下只能上传两个文件hdfs dfsadmin -setQuota 2 lisi清除限额hdfs dfsadmin -clrQuota lisi2，空间限额限制最大4khdfs dfsadmin -setSpaceQuota 4k /usr/root/lisi解除限额hdfs dfsadmin -clrSpaceQuota lisi查看hdfs文件限额数量hdfs dfs -co
2021-02-25 23:14:07
115
原创 zookeeper的javaAPI
zk的API操作步骤：1，在https://mvnrepository.com/知道相对应的包(原生框架不好用)2，推荐使用http://curator.apache.org/curator-framework/index.html框架3，新建工程删除src，添加一个新的模板4，导包<!--依赖--><dependencies> <dependency> <groupId>org.apache.curator</
2021-02-24 23:04:28
105
原创 day13 异常、file类
异常定义：就是程序出现不正常的情况。throwable类是所有异常的超类error：java无能为力的 ，内存不足的情况，硬件方面的问题exception：java程序发生的问题，需要改代码处理的情况exception又分为两种异常：运行时的异常：runtimeException编译时的异常：非RunTimeException异常的默认处理方式：如果程序出现问题：1，将异常的名称，异常出现的原因，出现的位置打印在控制台；2，让程序停止运行；try …catch格式：try{可能
2021-02-23 21:24:20
58
原创 mysql 第三章增删改查
插入数据CREATE table if not EXISTS c1(id TINYINT UNSIGNED key,username VARCHAR(20) UNIQUE not NULL,PASSWORD char(32) not NULL,email VARCHAR(50) not null DEFAULT ‘505252216@qq.com’,age TINYINT UNSIGNED DEFAULT 18);插入全部字段insert c1 VALUE(1,‘king’,‘kin
2021-02-23 21:16:22
97
原创 在idea中使用git
idea使用git1，创建本地git仓库，并测试2，创建github的令牌，否则无法登陆登陆github，在setting里创建令牌，相当赋权的过程3，使用令牌登陆4，发布项目到github如何删除github上的项目删除哪个项目，就在哪个项目settings下删除注意：删除的时候输入的内容必须和提示的一直配置ssh1，在git bash中执行ssh-keygen -t rsa -C “505252216@qq.com”2，然后在C:\Users\fan.ssh查看id
2021-02-22 21:04:13
207
原创 github
创建github项目步骤：创建github账号https://github.com/创建仓库登录并创建仓库得到一个地址（就是仓库的地址）https://github.com/echo-fan/fan2021.git增加一个远程地址origin --远端代码git remote add origin https://github.com/echo-fan/fan2021.git如何修改远端代码的名称修改项目位置下D:\git-space\git-pro.git下的config文件
2021-02-21 00:49:07
59
原创 mysql运算符，函数
数字函数字符串函数日期时间函数条件判断select id,username,score,if(score>=60,‘及格’,‘不及格’) from student;SELECT IFNULL(username,‘空值’) 是否为空 FROM student;SELECT id, username, score,CASE WHEN score >= 60 and score<70 THEN '好' WHEN score >= 70 THEN '很
2021-02-20 23:31:04
49
原创 git学习
软件地址1，命令行工具下载地址：https://git-for-windows.github.io/2、Git的可视化工具：https://tortoisegit.org/3，GitHub网站：http://www.github.com安装选择Git命令的执行环境，这里推荐选择第一个，就是单独用户Git自己的命令行窗口。不推荐和windows的命令行窗口混用。在“Configuring the line ending conversions”选项中，如果是跨平台项目，在wind
2021-02-20 23:30:26
107
原创 mysql 查询
联合查询union 去重union all 不去重select username from cms_user UNION all select username from cms_user;子查询定义：将一个查询语句嵌套在另外一个语句中一个查询语句的结果是另外一个语句的查询条件in exists 或者运算符student表CREATE TABLE student (id SMALLINT UNSIGNED PRIMARY KEY auto_increment,sn
2021-02-19 23:11:43
64
原创 mysql 第二章
主键约束create table bb04(id TINYINT key,name VARCHAR(20));show create table bb04;CREATE TABLE `bb04` ( `id` int(11) NOT NULL, `name` varchar(20) DEFAULT NULL, PRIMARY KEY (`id`)//显示主键 ) ENGINE=InnoDB DEFAULT CHARSET=utf8自增长（只能在主键上）create
2021-02-05 23:08:42
115
原创 mysql 基础
常用命令\s 查看mysql的状态设置字符集服务端[mysql]default-character-set=utf8客户端服务器端字符集[mysqld]character-set-server=utf8登录mysql -uroot -p-h ip地址-P 端口号-D 打开指定数据库–prompt=name,设置命令提示符–delimiter=name,指定分隔符退出exitquit\q将命令行内容输出到文件中开始执行\T E:\01.txt结束记录\t
2021-02-05 09:41:53
52
原创 maven
maven概念：开发工具，用来管理java项目，依赖管理，项目构建作用依赖管理: maven对项目的第三方构件（jar包）进行统一管理。向工程中加入jar包不要手工从其它地方拷贝，通过maven定义jar包的坐标，自动从maven仓库中去下载到工程中项目构建: maven提供一套对项目生命周期管理的标准，开发人员、和测试人员统一使用maven进行项目构建。项目生命周期管理：编译、测试、打包、部署、运行maven对工程分模块构建，提高开发效率模型概念项目对象模型。POM对象模型，每个mave
2021-02-03 23:59:42
121
原创 day14 io流下
转换流转换流其实就是一个字符流转换流=字节流+编码表字符输出流 （写数据）outputstreamwritepublic class fileDome { public static void main(String[] args) throws IOException { //创建对象 OutputStreamWriter osw=new OutputStreamWriter(new FileOutputStream("osw.txt")); //写一个字符串 osw.writ
2021-02-03 01:02:47
71
原创 day12 集合 set map
set集合（不包含重复元素的collection）操作：Set<String> set=new HashSet<>();//创建集合对象 set.add("nihao"); set.add("hehe");保证元素唯一性的原理：set唯一的原因关键在于add（）方法，首先比较对象的hash值是否相同，这个hash值是根据对象的hashcode（）计算出来的如果hash值不同，就直接添加到集合中如果hash值相同，继续执行equals方法 返回的是true，则说明
2021-01-26 00:17:46
58
原创 java最基础知识
eclipse的使用A:行号的显示和隐藏 显示：在代码区域的最左边的空白区域，右键 -- Show Line Numbers即可。 隐藏：把上面的动作再做一次。 B:字体大小及颜色 a:Java代码区域的字体大小和颜色：window -- Preferences -- General -- Appearance -- Colors And Fonts -- Java -- Java Edit Text Font b:控制台window -- Preferences -- Genera
2021-01-24 23:36:09
87
原创 day11集合
collection集合是单列集合的顶层接口创建collection集合的对象，我们采用的是多态的方式，使用具体类Arraylistpublic class collection { public static void main(String[] args) { Collection<String> c=new ArrayList<String>(); c.add("nihao"); c.add("hehe"); System.out.println(c);
2021-01-24 23:34:46
77
原创 java测试题
一单选题1、若有定义: int a=0,b; a=b++ + 10; 则执行上述语句后，a的值是( D )A : 10B : 11C : 0D : 编译产生错误2、以下选项中合法的语句是(B )A. int a=0;a==1;B. int i=0;++i; i=i+1;C. int a=0;4+=a;D. float f=5+5.5;3、下面程序的运行结果,哪个是正确的(B )int b = 1;while(++b<3){System.out.prin
2020-09-20 11:15:06
1461
原创 day14作业io流下
一、基础案例1．训练案例11.1．训练描述：【InputStreamReader OutputStreamWriter】一、需求说明：以UTF-8编码的格式写出 “你好”到文件中, 并将数据正确的读取出来打印在控制台1.2．操作步骤描述1．创建OutputStreamWriter关联文件, 并在构造方法中指定编码表2．调用writer方法写出字符串3．创建InputStreamReader关联文件, 并在构造方法中指定码表进行读取4. 调用read方法读取数据, 打印在控制台public
2020-09-19 23:59:15
697
原创 day13作业IO流
一、基础案例1．训练案例11.1．训练描述：【try…catch】一、需求说明：编写代码，产生ArithmeticException异常，并使用try…catch进行处理。二、处理方式：将异常信息输出在控制台1.2．操作步骤描述1.编写打印语句 xx / 0 将问题产生。2.使用try语句对其包裹。3.在catch小括中编写对应的ArithmeticException进行捕获。4.使用printStackTrace方法将异常信息输出在控制台。public class test1 { p
2020-09-15 14:00:41
200
原创 day12作业
一、基础案例1．训练案例11.1．训练描述：【HashSet类】一、需求说明：自定义一个学生类，给出成员变量name和age，使用HashSet集合存储自定义对象并遍历，遍历集合的时候，在控制台输出学生对象的成员变量值。要求使用两种方式进行遍历(迭代器、增强for)。二、当上述内容解决完毕以后，如果集合中存储的学生对象，年龄和姓名都相同，认为是同一个人，就不存储在集合中，该如何做呢。1.2．操作步骤描述1.创建学生类。2.创建集合对象。3.创建元素对象。4.把元素添加到集合。5.遍历集合
2020-09-13 01:00:30
447
原创 day11作业
每日作业卷Java基础第11天Collection接口、List接口、ArrayList类一、基础案例1．训练案例11.1．训练描述：【Collection接口】一、需求说明：自定义一个学生类，给出成员变量name和age，使用Collection集合存储自定义对象并遍历，遍历集合的时候，在控制台输出学生对象的成员变量值。1.2．操作步骤描述1.创建学生类。2.创建集合对象。3.创建元素对象。4.把元素添加到集合。5.遍历集合。public class test01 { publ
2020-09-11 14:49:12
1004
原创 day10常用类下
数组的排序冒泡排序（相邻的元素，大的往后放）public class maopao { public static void main(String[] args) { int[] arr = { 11, 45, 3, 48, 29 }; sort(arr); printarr(arr); }public static void sort(int[] arr) { for (int y = 0; y < arr.length; y++) { for (int x =
2020-09-11 07:44:25
117
1
原创 day10作业常用类
一、基础案例1．训练案例11.1．训练描述：【数组排序】一、需求说明：定义一个数组，数组中元素为：{24,69,80,57,13}，将数组中的元素按照从小到大的顺序进行排序。1.2．操作步骤描述1.创建一个一维数组，数组内容为{24,69,80,57,13}。2.对数组中元素按照从小到大的顺序进行排序。3.将排完序的数组进行打印。public class test01 { public static void main(String[] args) { int[] arr={24,69
2020-09-10 13:01:14
253
原创 day9常用类
Scanner 类：用于获取键盘录入的数据public String nextline通过scanner获取字符串数据public class sacnner { public static void main(String[] args) { Scanner sc= new Scanner(System.in); String line=sc.nextLine(); System.out.println("line:"+line); }}object类根类，所有类的继
2020-09-08 23:07:46
183
原创 day9作业（String类）
一、基础案例1．训练案例11.1．训练描述：【toString方法】一、需求说明：定义一个学生类，属性有姓名name、年龄age，提供空参、满参构造方法，setXxx()与getXxx()方法，在测试类中创建学生对象并为其进行初始化，打印该对象名。1.2．操作步骤描述1.创建Student类，该类中属性有姓名name、年龄age，提供空参、满参构造方法，setXxx()与getXxx()方法。2.创建测试类，在测试类中创建学生对象，给对象成员赋值。3.打印该对象名，发现打印结果是地址值，输出底
2020-09-08 22:45:43
1283
原创 day8 面向对象3作业
一、基础案例1．训练案例11.1．训练描述：【final关键字特点】一、需求说明：定义子父类，父类如果被final修饰，测试子类能否继承父类。二、再定义普通的子父类，父类中有方法被final所修饰，测试子类能否重写该方法。三、定义一个类，该类中有final修饰的变量，并对其进行初始化，在该类中定义一个普通方法，测试这个变量值能否修改。1.2．操作步骤描述1.创建Father类，该类被final修饰。2.创建Son类，并继承Father类，查看编译结果。3.将上述内容注释掉，接下来，定义普通
2020-09-03 10:12:34
997
原创 day8面向对象3
final关键字：表示最终的意思可以修饰类，变量，修饰方法修饰类：表示是最终的类，无法继承修饰变量：表明该变量是常量修饰方法：表示该方法是最终方法，不能被重写static关键字静态的意思可以修饰成员变量和成员方法静态成员的特点a，被类的所有对象共享b，通过类名直接可以访问c，优先于对象存在d，随着类的加载而加载注意事项：非静态的成员方法：1，能访问静态的成员变量2，能访问非静态的成员变量3，能访问静态的成员方法4，能访问非静态的方法静态的成员方法：1，能访问静态的成
2020-09-01 15:36:09
83
原创 day7作业
一、基础案例1．训练案例11.1．训练描述：【继承】一、分析以下需求，并用代码实现：1.定义Person类属性：姓名name、年龄age；方法：空参构造方法、满参构造方法、setXxx()、getXxx()、工作work。2.根据人类，派生一个老师类Teacher重写工作方法（老师的工作是要好好讲课）。 3.根据人类，派生一个学生类Student重写工作方法（学生的工作是要好好学习）。4.编写测试类分别对上述2类具体人物进行测试5.要求运行结果:学生的工作要好好学习老师的工作要好
2020-08-31 10:30:24
933
原创 day7面向对象（下）
继承的格式：public class 子类名 extends 父类名{}好处：1，提高代码的复用性2，提高了代码的维护性3，让类与类产生关系弊端：1.耦合性太强继承的特点：java中类只支持单继承java中类支持多层继承java中成员变量的特点：（就近原则）1，如果成员名称一样a，方法局部变量，如果有就使用b，在子类的范围内找，如果有就使用c，早父类的范围内找，如果有就使用d，还是找不到，报错super关键字和this的用法很像this 代表的是本类对象的引用supe
2020-08-30 23:08:55
118
原创 day6作业（对象）
一、基础案例1．训练案例11.1．训练描述：【类和对象】一、有以下数据：1.三个老师信息：教师编号 姓名 性别 年龄 科目t001 薛之谦 男 26 Javat002 张碧晨 女 24 IOSt003 张杰 男 28 Java2.存储两个科目信息：课程编号 名称 创建时间 课程描述s001 Java 2007-02-08 Java学科，包含JavaSE和JavaEEs002 IOS 2007-02-09 IOS系统开发二、请分别定义两个类；三、
2020-08-30 12:11:25
1065
1
原创 day6面向对象（上）
面向过程：强调每一个功能的步骤。面向对象：强调的是对象，然后由对象去调用功能类：是一组相关的属性和行为的集合对象：就是该事物的具体体现成员变量：位置：类中，方法外初始化值：成员变量有初始化值成员方法：去掉了static关键字public class student { //成员变量 String name; int age; //成员方法 public void study() { System.out.println("学习"); } public void eat
2020-08-30 10:46:57
137
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人