自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

灰哀之雪的博客

从零开始学大数据

  • 博客(42)
  • 资源 (5)
  • 收藏
  • 关注

原创 Markdown高级(使用教程)持续整理

RGB颜色表 颜色名 十六进制颜色值 颜色RGB Cyan 蓝绿色 #00FFFF rgb(0,255,255) Aqua 水绿色 #D4F2E7 rgb(212,242,231) DarkTurquoise 深绿宝石

2021-09-19 13:55:26 1024

原创 HQL笔试题整理

HQL笔试题1. 求:找出所有科目成绩都大于某一学科平均成绩的学生uid,subject_id,score1001 01 901001 02 901001 03 901002 01 851002 02 851002 03 701003 01 701003 02 701003 03 85-- 创建表语句create table score(uid string,subject_id string,score int)row format delimited fields

2021-09-17 09:20:43 642

原创 Hbase练习4

1、简单说一下布隆过滤器的原理布隆过滤器的核心是一个超大位数组(或者叫位向量)和几个哈希函数。检测情况有两种:1. 一定不在集合中2. 不一定在集合中Step1:将位数组初始化,每位都设为0Step2:对集合里的每一个元素通过n个哈希函数进行映射。映射的哈希值对应位数组上的一个点,将该位置标记为1Step3:查询元素是否在集合中的时候,同样的方法将该元素通过哈希函数映射到位数组的各个点上Step4:只要有一个点不为1,则判断该元素一定不存在集合中。反之,如果各个点都为1,则元素可能在

2021-09-14 21:40:54 311

原创 Hbase的API

Hbase API文章目录Hbase API准备工作Namespace-DDL1. Junit执行代码模板2. 创建namespace的API3. 列出所有的namespace4. 列出所有namespace中的表名5. 修改namespace的属性信息6. 删除namespaceTable-DDL1. Junit执行代码模板2. 创建一个table3. 修改table的列族属性信息4. 向table中添加新的列族5. 获取table的描述信息6. 删除tableTable_CRUD(DML+DQL)1.

2021-09-13 21:35:39 2203

原创 Hbase练习3

1、简述一下region的寻址流程以 get 'tablename' 为例1. 访问zookeeper获取meta表的位置2. 访问meta表,在其中找到需要查询的表对应的region名称和位置信息3. 通过获取的region名称和位置信息,直接访问region2、简述一下region的存储机制1. hbase的存储机制是以region这个逻辑存储单元为存储模型的,region是一张表或者是一张表的一部分。region的名字是有行范围标识的。2. region中,表的数据被划分为不同的sto

2021-09-13 20:27:42 337

原创 HDFS、Zookeeper、MapReduce简述

一、 简述HDFS的体系结构HDFS的全称是 Hadoop Distributed SystemHDFS采用的是 master/slaves 这种主从的结构模型来管理数据。这种结构模型主要由四部分组成,分别是:Client(客户端)、Namenode(元数据节点)、Datanode(数据节点)和SecondaryNamenode。元数据节点用来管理文件系统的命名空间其将所有的文件和文件夹的元数据保存在一个文件系统树中。这些信息也会在硬盘上保存成以下文件:命名空间镜像(namespace im

2021-09-12 15:15:18 761

原创 Hbase练习1

第一大题:namespace的shell操作1、创建一个命名空间myns,同时设置属性author为自己,time为2020-05-11create_namespace 'myns',{'author' => '自己','time' => '2020-05-11'}2、为myns添加一个属性company为qianfengalter_namespace 'myns',{METHOD => 'set', 'company' => 'qianfeng'}3、列出所有的命名空

2021-09-12 11:20:24 2634

原创 hive测试题

第一题:以下数据的每一列分别表示:sid name gender age academy dt chinese math english 95001 李勇 男 20 CS 2017-08-31 56 28 6295002 刘晨 女 19 IS 2017-08-31 84 22 3895003 王敏 女 22 MA 2017-08-31 38 80 8295004 张立 男 19 IS 2017-08-31 39 65 495005 刘刚 男 18 MA 2018-08-31 18

2021-09-12 11:06:49 830

原创 hive场景题

文章目录1、了解哪些窗口函数,都是什么功能?找一个在某个业务中的应用? 手写窗口函数及功能意义,同时随便写一个带窗口函数的sql,并说明其sql的含义。2、求出每个栏目的被观看次数及累计观看时长?3、编写sql实现4、编写连续7天登录的总人数:5、你知道的排名函数有哪些?说一说它们之间的区别? 文字说明即可6、编写sql语句实现每班前三名,分数一样不并列,同时求出前三名按名次排序的一次的分差:7、对于行列互换,你有哪些解决方式,详细说明每一种方式? 使用语言描述即可8、编写sql实现行列互换。数据如下:9、

2021-09-10 19:48:20 922

原创 Hive50道挑战题(有运行结果)

文章目录HQL一个完整的查询结构子句的执行顺序一、数据准备二、练习题1、查询"01"课程比"02"课程成绩高的学生的信息及课程分数2、查询"01"课程比"02"课程成绩低的学生的信息及课程分数3、查询平均成绩大于等于60分的同学的学生编号和学生姓名和平均成绩4、查询平均成绩小于60分的同学的学生编号和学生姓名和平均成绩(包括有成绩的和无成绩的)5、查询所有同学的学生编号、学生姓名、选课总数、所有课程的总成绩6、查询"李"姓老师的数量7、查询学过"张三"老师授课的同学的信息8、查询没学过"张三"老师授课的同学

2021-09-07 18:54:14 2626 4

原创 MapReduce作业3

第一题:请简述一下shuffle-map端的流程每个map任务都会有一个环形缓冲区存储数据。环形缓冲区的默认大小为100MB,阈值为80MB。当达到阈值时,会有一个后台线程把内容溢写到磁盘中。剩下的数据继续写入剩余20MB中。如果20MB写满后会进入阻塞状态。在溢写前,会先根据分区器的逻辑将数据分区。每个分区在内存中会进行排序(QuickSort,默认是字典排序)。如果指定了combiner函数,那么它就在排序后的输出上运行。使得map输出更加紧凑如果至少存在3个溢出文件时,则combiner就会在

2021-09-02 19:51:19 331

原创 MapReduce作业2

数据如下:员工号,姓名,职位 领导编号 入职日期 月工资,月奖金 部门编号7369,SMITH,CLERK,7902,1980-12-17,800,null,207499,ALLEN,SALESMAN,7698,1981-02-20,1600,300,307521,WARD,SALESMAN,7698,1981-02-22,1250,500,307566,JONES,MANAGER,7839,1981-04-02,2975,null,207654,MARTIN,SALESMAN,7698,1

2021-09-01 13:20:00 374

原创 MapReduce案例:手机流量的统计

案例:手机流量的统计对于记录用户手机信息的文件,得出统计每一个用户(手机号)所耗费的总上行流量、下行流量,总流量结果。分析1. 实现自定义的 bean 来封装流量信息,使用手机号码作为Key,Bean作为value。这个Bean的传输需要实现可序 列化,因此我们需要实现MapReduce的序列化接口Writable,重写相关方法。2. 计算上行流量、下行流量、计费流量3. <k1,v1>的分析:取一行TextInputFormat类去读取,offset做key,一行数据做value,

2021-08-31 17:36:37 2898

原创 Linux和shell测试

1 编写映射我有node1(10.0.11.2),node2(10.0.11.3),node3(10.0.11.4)三个节点组成集群,写出给node1添加映射的命令要求:1)写打开配置文件的命令 2)要将三个节点都添加上A. vi /etc/hosts 进入编辑, B.写入映射关系10.0.11.2 node110.0.11.3 node210.0.11.4 node3 2 创建文件的几种方式touch 1.txtecho

2021-08-31 08:40:20 125

原创 MapReduce作业1

作业1绘制入门案例wordcount的图解作业2:wordcount的代码编写及其自定义分区器MyMapperpackage com.qf.mr.wordcount;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;

2021-08-30 20:47:10 272

原创 linux命令习题

使用普通用户hadoop登录,然后切换到root用户进入到用户根目录cd ~ 或者 cd查看当前所在目录pwd进入到hadoop用户根目录cd ~ hadoopcd /home/返回到原来目录cd -返回到上一级目录cd …查看hadoop用户根目录下的所有文件ls -la在根目录下创建一个hadoop的文件夹mkdir hadoop在/hadoop目录下创建src和WebRoot两个文件夹分别创建:mkdir

2021-08-26 13:14:06 151

原创 数据库经典50道题

数据库经典50道题-- 建表-- 学生表CREATE TABLE `Student`( `s_id` VARCHAR(20), `s_name` VARCHAR(20) NOT NULL DEFAULT '', `s_birth` VARCHAR(20) NOT NULL DEFAULT '', `s_sex` VARCHAR(10) NOT NULL DEFAULT '', PRIMARY KEY(`s_id`));-- 课程表CREATE TABLE `Course`( `c_

2021-08-20 20:55:28 6630 1

原创 数据库基本操作习题

数据库基本操作习题题⽬⼀:编写⼀个 SQL 查询,查找Person 表中所有重复的电⼦邮箱。示例:+----+---------+| Id | Email |+----+---------+| 1 | a@b.com || 2 | c@d.com || 3 | a@b.com |+----+---------+根据以上输⼊,你的查询应返回以下结果:+---------+| Email |+---------+| a@b.com |+---------+C

2021-08-18 11:34:43 18145

原创 JDBC案例

JDBC案例功能:重置密码 过程描述: 1.首先登录服务器 登录成功,继续重置密码 登录失败,重新登录 2.重置密码成功后,需要告知客户端,修改成功. 使用的技术: 1.TCP通信 2.jdbc 3.数据库查找和修改第一、基本功能实现第一步数据准备-- 创建表mydb2.userCREATE TABLE USER( id INT, NAME VARCHAR(20), PASSWORD VARCHAR(20), sex VARCHAR(4), birthday DATE

2021-08-16 21:36:47 561

原创 设计模式作业---懒汉式

设计模式作业阿⾥总裁到⼴州,北京,上海访问总裁属性:姓名,年龄,性别要求:使⽤单例实现public class Work { public static void main(String[] args) { visitGuangzhou(); visitsBeijing(); visitsShanghai(); } private static void visitGuangzhou() { Singl.

2021-08-10 20:16:43 85

原创 使用FileVistor遍历文件和目录

使用FileVistor遍历文件和目录在以前的Java版本中,如果程序要遍历指定⽬录的所有⽂件和⼦⽬录,则只能使⽤递归进⾏遍历,但这种⽅法不仅复杂,⽽且灵活性也不⾼,有了Files⼯具类的帮助,现在可以使⽤更优雅的⽅式来遍历和⼦⽬录FileVisitor参数代表的是一个文件访问器,**walkFileTree()**方法会自动遍历start路径下的所有文件和子目录,遍历文件和子目录都会触发FileVisitor中相应的方法访问⼦⽬录之前会触发这个⽅法FileVisitRes

2021-08-09 20:34:54 318

原创 文件管理系统

编写⼀个⽂件管理系统,通过控制台的输出内容进⾏⽂件操作:1 -创建⽂件、2-删除⽂件、3-复制⽂件和4-根据输⼊⽂件名称,读取⽂件内容执⾏对应的指令。当⽤户输⼊1时, 会读取⽤户的下⼀⾏输⼊,会根据⽤户的名称和后续输⼊创建⼀个⽂件并将输⼊录⼊⽂件;当⽤户输⼊2,则会检索当前⽬录下的⽂件,如果⽂件存在,则删除该⽂件,否则, 提示⽂件不存在;当⽤户输⼊3,则读取⽤户输⼊的⽂件名称进⾏复制,默认是⽂件名称加后缀“.copy“标注;当⽤户输⼊4,会查找当前⽬录下的⽂件,如果⽂件存在, 则执⾏⽂件的⾏内容;当⽤户

2021-08-07 21:44:40 416

原创 归并排序、快速排序和时间复杂度

归并排序:引述:归并(Merge)排序法是将两个(或两个以上)有序表合并成一个新的有序表,即把待排序序列分为若干个子序列,每个子序列是有序的。然后再把有序子序列合并为整体有序序列1.两路归并排序算法思路①把 n 个记录看成 n 个长度为1的有序子表②进行两两归并使记录关键字有序,得到 n/2 个长度为 2 的有序子表③重复第②步直到所有记录归并成一个长度为 n 的有序表为止2.实现步骤分为两个步骤现将数组中的元素拆分成一个一个的子集,使用合并将子集变成有序拆分是很简单的操作,每次都按照原

2021-08-07 17:28:04 1497

原创 IO流高级案例

实战案例一:已知⼀个⽂本内容如下:name:xiaoming,age:10岁,gender:male,height:172cm,weight:70kgage:20岁,height:177cm,name:xiaobai,weight:80kg,gender:malegender:female,height:176cm,weight:66kg,name:xiaolv,age:21岁每⼀⾏是数据为⼀个⼈的信息,但是顺序是不固定的。在桌⾯上创建⼀个GBK⽂件,将内容写到这个⽂件中。(可以使⽤IDE

2021-08-07 14:36:50 239

原创 IO流案例

已知⽂件 source.txt 中的内容如下username=root,password=1234,id=1,level=10username=adimin,mima=1234,id=2,level=11yonghu=xiaoming,dengji=12,password=1234,id=3其中,username、yonghu 都表示⽤户名,password、mima都表示密码,level、dengji都表示等级在桌⾯上的这个source.txt⽂件拷⻉到项⽬ file\data.txt 中(

2021-08-07 09:50:41 149

原创 IO流高级习题

记录⼀个程序的使⽤次数,超过5次提示去注册import java.io.*;import java.util.*;public class Work1 { public static void main(String[] args) throws IOException { File file = new File("zz.exe"); if (!file.exists()) file.createNewFile(); .

2021-08-06 21:36:32 76

原创 IO流基础习题

【简】设计两个⽅法,分别实现拷⻉⼀个⽂本⽂件(分别⽤字节流和字符流实现)字节流private static boolean byteCopy(String srcPath,String dstPath){ // 1. 判断⽬标路径上,是否有⽂件存在 File dst = new File(dstPath); if(dst.exists()){ return false; } // 2. 实现⽂.

2021-08-05 21:50:20 122

原创 多线程习题

实例化两个线程,同时对⼀个数字进⾏操作。⼀个线程对这个数字进⾏加1,另外⼀个线程对这个数字进⾏减⼀。输出每⼀次的操作之后的这个数字的值。public class Work1 { private static int number = 10; public static void main(String[] args) { Runnable runnable1 = () -> { while (true) { .

2021-08-04 21:47:02 562

原创 集合框架03习题

创建⼀个Map集合,存⼊5个学⽣信息,使⽤学号和学⽣基本信息进⾏对应,学⽣基本信息包括姓名,年龄,专业,遍历输出。import java.util.HashMap;import java.util.Map;import java.util.Set;public class Demo { public static void main(String[] args) { test1(); } public static void test1() { M..

2021-08-02 21:21:59 114

原创 字符串和正则表达式案例

字符串和正则表达式案例案例一:从控制台输⼊⼀个字符串,记录出现次数最多的字符,并输出这个字符出现了多少次。例如:从控制台输⼊ hello,输出: 出现次数最多的字符是 ‘l’,出现了2次。从控制台输⼊ helle,输出: 出现次数最多是字符出 ‘l’和’e’,出现了2次。import java.util.Arrays;import java.util.Scanner;public class Demo { public static void main(String[] args

2021-07-31 16:57:57 183

原创 集合泛型习题

【简】设计⼀个⽅法,删除⼀个集合中,所有的指定的元素。例如,将集合中所有的3都删除。import java.util.ArrayList;import java.util.List;import java.util.Random;public class Demo1 { public static void main(String[] args) { List list = new ArrayList(); Random random = new Ran..

2021-07-31 13:42:31 283

原创 字符串和正则表达式习题

验证ean-13条码的验证码是否正确String code = “6921168509256”;取前12位的奇数位的和取前12位的偶数位的和将"奇数位和"与"偶数位和的三倍"相加求和取和的个位数,然后用10减去这个个位数,相减的结果就是条码的验证码如果条码的第13位数字和这个验证码相同就说明验证码正确public class Work1 { public static void main(String[] args) { String code = "69211..

2021-07-29 21:51:19 259

原创 异常和常用类、枚举案例

案例一使⽤⾃定义异常解决题⽬:⽼师使⽤电脑上课 上课时电脑可能发⽣蓝屏异常—重启电脑 死机异常—⽼师上课异常-----去苹果店修电脑public class Demo1 { public static void main(String[] args) { Teacher teacher = new Teacher("张三",new Computer()); try{ teacher.onClassing();

2021-07-29 00:01:32 76

原创 异常和常用类和枚举习题

设计Person类,将性别属性设置为枚举类型。在测试类中,输出Person对象的时候,要求格式如下:Person {name = xiaoming, gender = 男}enum Gender{ male("男"),Female("女"); String sex; Gender(String sex) { this.sex = sex; } @Override public String toString() { ..

2021-07-28 21:37:18 259

原创 继承-案例(程序员买电脑)

程序员买电脑场景:程序员xxx去电脑专卖店购买了xx品牌的电脑,使⽤了⼀段时间之后(编程序、玩玩游戏、看看电影等等),嫌电脑原装的集成显卡不够给⼒,就去电脑专卖店购买了Geforce 类型的独⽴显卡,并请店家安装上,使⽤了⼀段时间之后(编程序、玩玩游戏、看看电影等等);听说ati类型的显卡更好, 就去电脑专卖店购买了Ati 类型的独⽴显卡,并请店家安装上,使⽤了⼀段时间(编程序、玩玩游戏、看看电影等等)。电脑装配⼀显卡Computer:电脑中有⼀个属性,属性类型就是显卡(组合关系)Geforce 显

2021-07-28 08:52:13 217

原创 分支循环综合项目-万年历

分支循环综合项目-万年历需求描述根据键盘输入的年份,月份,打印出该月的日历。使用的技术点变量分支语句循环语句需求分析原理1900年1月1日是一个星期一。根据键盘输入的年份,月份,获取到1900年1月1日的总天数。然后除以7取余数,就是1号之前的空格的数量。然后后面直接打印本月的每一天日期就可以。每当要打印的日期+前面的空格数刚好是7的倍数,就该换到下一行打印。举例:给定年份是2020年,5月,那就是要打印2020年5月的日历。假如每行以星期一开头。首先要计算出2020年4月30日

2021-07-26 21:08:52 150

原创 接口和内部类习题

已知电脑有三个USB接口,分别去实例化一个鼠标,一个键盘,一个U盘来连接到电脑上。 输出每一个USB接口连接的设备信息interface USB{ String getInfo();}class Mouse implements USB{ @Override public String getInfo() { return "鼠标"; }}class KeyBroad implements USB{ @Override pub..

2021-07-26 19:41:33 149

原创 多态和抽象类习题

设计一个交通工具抽象类,提供抽象方法–驾驶汽车作为交通工具的一种,实现了驾驶的方法(在马路上驾驶) 火车作为交通工具的一种,实现了驾驶的方法(在铁路上驾驶) 飞机作为交通工具的一种,实现了驾驶的方法(在天上驾驶) 需求:做一个测试类,在测试类的main函数中,分别实例化一个汽车的对象,火车的对象和飞机的对象,并分别描述驾驶行为abstract class vehicle{ abstract void drive();}class Car extends vehicle{ .

2021-07-23 23:37:50 604

原创 Java继承习题

1.编写一个Java程序,并满足如下要求:编写一个Car类,具有:属性: 品牌(mark) - String类型功能: 驾驶 void drive()定义Car类的子类SubCar,具有:属性: 价格(price)、速度(Speed) - int类型功能: 变速 void speedChange(int newSpeed),把新速度赋值给 speed定义主类E,在其main方法中创建SubCar类的两个对象:aodi和benchi的对象并测试其对象的特性。

2021-07-22 21:05:23 1072

原创 Java面向对象入门习题

1.(中)设计一个圆类,具有属性:圆心(点)、半径。添加一个方法:判断一个圆是否包含一个点。import java.awt.*;class Circle{ public Point center;//圆心坐标 public double radius;//圆半径 public Circle(Point center,double radius){ this.center=new Point(center.x,center.y); t

2021-07-21 22:44:51 445

datasource.zip

MapReduce作业题目文件

2021-09-01

Notepad++的远程连接插件NppFTP

Notepad++的远程连接插件。可连linux虚拟机

2021-08-23

proteus电路仿真.zip

数控直流电源0~10V可调proteus仿真电路图

2021-08-07

基于proteus可调直流稳压电路实现.zip

0~24V可调稳压电源,步进增减变化

2021-08-03

JDK6API中文参考.exe

JDK的比较完整好的中文翻译,可检索,查看

2021-08-01

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除