- 博客(18)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Zookeeper持续注册监听案例
1.#先找到黎明老师的 cno //5 SELECT cno from c WHERE cteacher="黎明"; #去ssc表找 cno为5的 sno SELECT sno FROM ssc WHERE cno IN ( SELECT cno from c WHERE cteacher="黎明"); #排除上面的学生 3和4学生 SELECT sname FROM s WHERE sno NOT IN (SELECT sno FROM ssc WHERE cno IN ( SELE.
2021-06-29 19:58:21
176
原创 Zookeeper监听服务器节点动态上下线案例
package com.xxx.xx;import org.apache.zookeeper.*;import java.io.IOException;/** * Author: Taylo * Date: 21/06/29 * Description: */public class DataNode { static ZooKeeper zk = null ; // 1 启动 public static void start(final S.
2021-06-29 19:55:51
158
原创 Zookeeper递归删除自定义方法
package com.xxx.xx.xximport org.apache.zookeeper.CreateMode;import org.apache.zookeeper.KeeperException;import org.apache.zookeeper.ZooDefs;import org.apache.zookeeper.ZooKeeper;import java.util.List;/** * Author: Talor * Date: 21/06/29 * .
2021-06-29 16:43:45
655
1
原创 史上最全的Linux命令汇总(全网最全)
目录linux的介绍和安装. 1linux的创始人. 11.2 linux操作系统的安装. 11.2.1 linux的常见发行版本. 11.2.2 linux的安装过程. 11.3 linux操作系统的简单应用. 1第二章、linux的常用命令. 32.1.1改变目录 cd 32.1.2 显示当前所在目录 pwd 32.1.3 显示文件或目录的属性 ls （dir）. 32.1.4 创建目录 mkdir 32.1.5 创建空文本文件 touch 4...
2021-06-28 21:29:18
1738
原创 DataNode工作机制
（1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。（2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。（3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。（4）集群运行中可以安全加入和退出一..
2021-06-28 21:04:28
63
原创 Yarn工作机制
提交Job:客户端里有map jar xml等任务等待提交-->提交job 到resmanager有一个程序appsmaster, jobID和临时目录:紧接着生成一个jobID和一个初始化目录(临时工作目录)返回客户端 根据提交的程序类型(flink,spark..)生成对应的程序类型,创建内容MRappMaster 初始化job:客户端生成一个初始化来初始化job 到刚才返回的目录,可以创建临时目录/xxx.conf/默认参数mr-job-conf-xml/上传wc.jar包/输入路径...
2021-06-28 21:01:56
84
原创 NameNode和SecondaryNameNode详解
思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会...
2021-06-28 20:54:33
434
原创 HDFS读写流程(纯干货无废话)
1. 首先客户端请求Namenode上传文件 比如a.txt2.NameNode校验文件是否已经存在,紧接着询问各个DataNode是否都有空间,都满足的话返回客 户端ok,客户端可以上传文件3.客户端紧接着想NameNode请求上传第一块数据(Block)[图中黄色块显示],到哪个DataNode上.4. NameNode返回3个DataNode节点(linux01 02 03)5. 客户端通过FSDataOutputStream模块请求DataNode1上传数据,D...
2021-06-28 20:23:33
128
原创 MySQL练习题 多表
-- 1.学生表 Student(SId,Sname,Sage,Ssex)-- SId 学生编号,Sname 学生姓名,Sage 出生年月,Ssex 学生性别-- 2.课程表 Course(CId,Cname,TId) --CId --课程编号,Cname 课程名称,TId 教师编号-- 3.教师表 Teacher(TId,Tname) --TId 教师编号,Tname 教师姓名-- 4.成绩表 SC(SId,CId,score) --SId 学生编号,CId 课程编号,score 分.
2021-06-09 20:24:35
148
原创 MySQL练习题(面试题)
CREATE TABLE SSC( SNO VARCHAR(200), CNO VARCHAR(200), SCGRADE VARCHAR(200));CREATE TABLE S( SNO VARCHAR(200 ), SNAME VARCHAR(200));CREATE TABLE C( CNO VARCHAR(200), CNAME VARCHAR(200), CTEACHER VARCHAR(200));INSERT INTO C ( CNO, CNAME, CT.
2021-06-09 20:19:30
518
2
原创 MySQL练习题[单表+多表]
1、返回拥有员工的部门名、部门号。(dept,emp) SELECT DISTINCT d.dname, d.DEPTNO FROM emp e JOIN dept d ON d.deptno=e.deptno;2、工资水平多于smith的员工信息。 SELECT s.hisal FROM emp e JOIN salgrade s ON e.sal BETWEEN s.losal AND s.hisal WH.
2021-06-09 20:09:40
3116
原创 MySQL单表练习题
create table student( id int, name varchar(20), chinese float, english float, math float);insert into student(id,name,chinese,english,math) values(1,'行哥',89,78,90);insert into student(id,name,chinese,english,math) values(2,'潘金莲',67,53,95);insert.
2021-06-09 19:46:59
288
原创 MySQL单表练习题
INSERT INTO `products` VALUES (NULL,'感悟',100,'励志',100,'一次心灵的鸡汤');INSERT INTO `products` VALUES(NULL,'java与模式',67,'计算机',200,'让你的编程，从些不一样');INSERT INTO `products` VALUES(NULL,'java并发编程实战',190,'计算机',49,'实战大于理论');INSERT INTO `products` VALUES(NULL,'设计模式解析'.
2021-06-09 19:43:16
245
原创 将一个GBK文件 转换为UTF-8的文件 IO
public class Test02 { public static void main(String[] args) throws IOException { Reader r = new InputStreamReader(new FileInputStream("d:\\work\\abc\\1.txt"),"gbk"); Writer w = new OutputStreamWriter(new FileOutputStream("d:\\work\\a.
2021-06-08 17:02:33
108
原创 数据分析案例-IP需求分析
20090121000132095572000|125.213.100.123|show.51.com20090121000132124542000|117.101.215.133|www.jiayuan.com20090121000132406516000|117.101.222.68|gg.xiaonei.com20090121000132581311000|115.120.36.118|tj.tt98.com20090121000132864647000|123.197.64.247|c...
2021-06-07 11:40:52
401
原创 社交用户关系数据分析案例-[Java]
冒号左边为用户id，冒号右边为用户的好友列表friends.txtA:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,FM:E,F,GO:A,H,I,J
2021-06-06 11:50:54
207
原创 Java统计出文件中每个中文单词的个数
有如下文件,请统计出文件中每个单词的个数.D:\\word.txt足球,梅西,C罗足球,梅西,C罗篮球,行哥,星哥篮球,行哥,星哥羽毛球,乒乓球,排球import java.io.BufferedReader;import java.io.FileNotFoundException;import java.io.FileReader;import java.util.*;/** * 足球,梅西,C罗 * 足球,梅西,C罗 * 篮球,行哥,星哥 * 篮球,行哥,星哥
2021-06-06 10:10:10
255
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人