qq_42454058的博客

原创 hadoop2.x的web页面（50070端口）文件没法下载问题解决

结论：主要是修改hosts文件的ip与主机名的映射1.在C:\Windows\System32\drivers\etc找到hosts文件用管理员打开文件（不然无法保存文件，最好更改后记得打开查看是否保存成功）在最后面添加一行192.168.x.x hadoop00格式为：公网ip 你的主机名...

原创 excel的常用函数

主要有4个函数SUM、IF、VLOOKUP、SUMIF，和1个数据透视表1.sum函数（数学求和）sum(A1:A10)sum(A1:A10,C1:C10)...sum()2.IF函数（逻辑）--和c语言的三元运算符差不多if(判断条件,value_if_true,value_if_false)--第三个可以再次嵌套if3.VLOOKUP函数（筛选）=vlookup(用谁去找,匹配对象范围,返回第几列,匹配方式)4.SUMIF函数（条件计数）=sumif(条件区域,判断

原创 hive开窗函数

1.开窗函数over（）开窗函数，其括号内部主要有两种形式，固定搭配，不能更改：over(partition by…order by… )和over(distribute by…sort by…)2.两种开窗方式区别patition by是按照一个一个reduce去处理数据的，所以要使用全局排序order bydistribute by是按照多个reduce去处理数据的，所以对应的排序是局部排序sort by3.开窗函数的窗口大小问题窗口大小：hive的窗口大小默认是从起始行到当前行的ti

原创 hive常用于测试的sql语句

--多行合成一行with tmp as (select 'CQH8885' AS callsign,20200501 as tobt,null as asbt,null as aobtunion allselect 'CQH8885' AS callsign,null as tobt,20200522 as asbt,null as aobtunion allselect 'CQH8885' AS callsign,null as tobt,null as asbt,20200523 as...

原创 hive日期函数

1.获取到当前日期hive> select current_date();OK2020-11-14Time taken: 0.036 seconds, Fetched: 1 row(s)2.获取到当前日期和时间hive> select current_timestamp();OK2020-11-14 09:38:27.674Time taken: 0.044 seconds, Fetched: 1 row(s)3.获取到当前的时间戳hive> select uni

原创 关于mysql中的null值和空字符串

null值(一般说空值)就是不写 再mysql背景显示null空字符串就是写了任何东西后删除就变成了空字符串CREATE TABLE test_null (id int,value_1 varchar(128),value_2 varchar(128) not null);1.条件查询select * from test_null where value_1='';select * from tset_null where value_1 is null;2.参与运算select

原创 scala面向对象

/** * 需求: * 凹凸曼 1个 * 属性: * 名字 * 血量 * 行为: * 普通(伤害值应该是 20 ~ 29之间) 一次只能打1只小怪兽必须是活着的 * 必杀(伤害值 判断小怪兽血量是否是4分之3> 60 成立就输出4分之3 否则 输出60) 一次只能打1只小怪兽必须是活着的 * 魔法(伤害值30) 所有小怪兽 * 凹凸曼的攻击 10%必杀 30%魔法 60%普攻 百分比是攻击出现的频率 * * 小怪兽 4只 * 属性: * 名字 * 血量

原创 shell脚本几个变量对比($0\$1\$#\$?\$@)

[root@hadoop03 ~]# vi echo_shell.sh#!/bin/bashecho '$0--->'$0echo '$1--->'$1echo '$2--->'$2echo '$#--->'$#echo '$?--->'$?echo '$@--->'$@[root@hadoop03 ~]# chmod +x echo_shell.sh[root@hadoop03 ~]# ./echo_shell.sh$0--->./echo_

原创 Java生产者消费者问题

public class Program { public static void main(String[] args) { // 1. 实例化一个橱柜 Box box = new Box(); // 2. 实例化两个个生产者 Productor productorA = new Productor("张大厨", 100, box); Productor productorB = new Productor("谢小厨

原创 mysql修改密码(win)

1.开始服务net start mysql57//开启服务(版本号)net stop mysql57//停止服务2.登录到数据库--win+r --> cmd--提前配置好环境变量mysql -uroot -p1234563.修改密码--第一种：mysql> alter user root@localhost identified by‘新密码';--第二种：mysql> set password for root@localhost=password('1234

原创 Java生成不重复的随机数

package self.exercise;import java.util.Arrays;public class NoRepeatRandomNumber { public static void main(String[] args) { getNotNumber1(); getNotNumber2(); } public static void getNotNumber1(){ //1. 声明整型数组

原创 hive安装

前提安装好mysql在一台分布式集群上（例如hadoop02）参照：

原创 centos7安装mysql

一、YUM在线安装程序（简单快捷）上传依赖包：mysql-community-release-el6-5.noarch.rpm在当前目录下（就是上传的依赖包目录）yum -y localinstall mysql-community-release-el6-5.noarch.rpmyum -y install mysql-server等待安装（需要连网）二、RPM软件包安装#查看mysql是否安装，如果安装了，卸载mysql rpm -qa|grep mysql #如果出现下面的提

原创 centos7安装黑屏

原创 Hadoop

Hadoop的组成部分hadoop2.0 以后的四个模块：- Hadoop Common:Hadoop模块的通用组件- Hadoop Distributed File System：分布式文件系统- Hadoop YARN：作业调度和资源管理框架- Hadoop MapReduce：基于YARN的大型数据集并行计算处理框架hadoop3.0 新扩展的两个模块：- Hadoop Ozone:Hadoop的对象存储机制- Hadoop Submarine:Hadoop的机器学习引擎Hadoop

原创 shell编程

1.1# 查看本机shell命令[root@kg ~]# cat /etc/shells/bin/sh/bin/bash/usr/bin/sh/usr/bin/bash# 查看当前shell环境echo $SHELL1.2 shell编程规范1.2.1 脚本结构：文件扩展名必须以 .sh 结尾文件首行必须使用 #! 指定script运行shell环境（例如：#!/bin/bash）注释用 #多个空格被视为一个空格tab键也视为一个空格空白行会被忽略1.2.

原创 XML

概念：Extensible Markup Language 可扩展标记语言可扩展：标签都是自定义的。 功能存储数据配置文件在网络中传输xml与html的区别xml标签都是自定义的，html标签是预定义。xml的语法严格，html语法松散xml是存储数据的，html是展示数据w3c:万维网联盟语法：基本语法：xml文档的后缀名 .xmlxml第一行必须定义为文档声明xml文档中有且仅有一个根标签属性值必须使用引号(单双都可)引..

原创 JDBC的复习

一、JDBC的简介1. 市场需求促进了技术的产生：要求应用程序和数据库交互这块有一个统一接口规范， 最开始是微软的ODBC提出了 应用程序层->驱动管理器–>多个驱动程序（jar包）–>数据源–>数据库2. sun公司为java语言连接各种数据库提供了一个统一标准规范接口JDBC,全程java database connectivity具体实现由各个数据库厂商来完成，开发人员只需要拿来用即可，无需操心底层实现。3. 核心组件：- DriverManager: 驱动管理类型

原创 MySQL复习

一、数据库的概念- DB ：使用某种特定的数据结构来存储数据的仓库（在磁盘上都是某种特定结构的文件而已）- DBMS ：就是一款管理DB的软件工具。用结构化查询语言来对DB进行管理和维护工作- 表模型 : 有行和列的二维结构。row也叫record， column也叫fields二、SQL语言DDL，数据定义语言，用于创建，删除和修改数据库对象的结构的。 数据库对象指的就是database,table,view,index,function等create、drop、alter

原创 CentOS7常见命令

一、使用规则1. 文件的命名规则：- 一定不能使用根目录符号，尽可能不要使用特殊符号，比如空格，制表符，@，#，&等等- 大小写敏感- 避免使用点作为文件名的第一个字符，因为点作为第一个字符时，表示是隐藏文件。2. 命令的使用规则：- 格式：命令名 [-选项] [参数]二、帮助命令：查看指定命令的帮助文档信息。1. man用法： man [命令或者是配置文件]2. help用法： help [命令]3. info用法： info [命令]三、最常用的三个命令的学习

原创 Linux之CentOS7.7的安装

一、计算机的相关概念1. 什么是计算机-能够接收使用者输入的指令与数据，经由中央处理器的算术与逻辑单元运算处理后，以产生或存储有用的新数据。2. 计算机的硬件有哪些- cpu- 内存- 显卡- 硬盘- 键盘、鼠标注意：主板的作用就是将上述硬件组合到一起。3. 什么是文件系统- 是对文件存储设备的空间(扇面，磁道，现在的固态系统的存储颗粒)进行组织和分配，- 负责文件存储并对存入的文件进行保护和检索的系统。- 位置位于存储设备中。4. 什么是操作系统- 操作系统(Operati

原创 Java自动生成日志文件（带时间）

/** * @Description */public class LogsTest { public static void main(String[] args) { System.out.println("hello"); Logs.println("hello"); }}import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io

原创 使用缓冲字符流实现文本文件的拷贝

import java.io.*;/** * @Description 使用缓冲字符流实现文本文件的拷贝 */public class BufferedCopy { public static void main(String[] args) { try (BufferedReader reader = new BufferedReader(new FileReader("file\\src")); BufferedWriter writer =

原创 设计一个方法，实现一个文件夹的拷贝（包括文件夹中的子文件和子文件夹）

import java.io.*;/** * @Description 设计一个方法，实现一个文件夹的拷贝（包括文件夹中的子文件和子文件夹） * * 思路: 这里，一定要用到递归的思想。 * 1. 设计一个方法，用来做拷贝一个文件夹中的所有的子文件。 * 2. 如果存在子文件夹，则递归调用当前的这个方法。 */public class Test { public static void main(String[] args) { co

原创 设计两个方法，分别实现拷贝一个文本文件（分别用字节流和字符流实现）

import java.io.*;/** * @Description 设计两个方法，分别实现拷贝一个文本文件（分别用字节流和字符流实现） */public class FileCopy { public static void main(String[] args) { //这里用的相对路径 fileCopy("file\\source", "file\\source"); fileCopy2("file\\src", "file\\src")

原创 使用字节流实现文件的拷贝

import java.io.*;/** * @Description 使用字节流实现文件的拷贝 */public class FileCopy { public static void main(String[] args) { boolean ret = copy("D:\\src.mp4", "D:\\dst.mp4"); System.out.println(ret); } /** * 实现功能: 将源文件中的数据拷贝到目

原创 设计一个方法，删除一个文件夹中的所有的内容，包括这个文件夹本身

public class Test { public static void main(String[] args) { // deleteDir(new File("D:\\source")); } // 设计一个方法，删除一个文件夹中的所有的内容，包括这个文件夹本身。 //谨慎操作，删除不经过回收站 public static void deleteDir(File dir) { // 1. 获取一个目录下所有的子

原创 设计一个方法，计算一个文件夹的总大小

import java.io.File;/** * @Description 设计一个方法，计算一个文件夹的总大小（由所有的子文件、子文件夹中的子文件夹大小组成） * 思路：使用递归 */public class Test { public static void main(String[] args) { long size = calculate(new File("D:\\")); System.out.println(size); }

原创 使用链表数据结构实现一个自定义的集合(模拟LinkedList)

/** * @Description 使用链表数据结构实现一个自定义的集合(模拟LinkedList) */public class MyLinkedList<E> { // 链表中，元素是以节点的形式存储的 // 内部类，表示一个节点 private class Node { E element; // 表示这个节点需要存储的元素 Node previous; // 上一个节点的地址 Node next;

原创 设计一个方法，随机生成10个不重复的10以内的数字，存入一个List集合

import java.util.ArrayList;import java.util.List;/** * @Description 设计一个方法，随机生成10个不重复的10以内的数字，存入一个List集合。 */public class Test { // 错误思路：随机生成一个数字，判断这个数字在集合中是否已经存在。如果存在，再重新生成；如果不存在，存入集合。 // 新建一个存储所有可能随机到的数字的集合。随机一个下标，从数据源集合中获取元素，将获取到的元素从数据源中移除，

原创 设计一个双色球小游戏（一注双色球，由6个红球，和1个蓝球组成）

设计一个双色球小游戏（一注双色球，由6个红球，和1个蓝球组成）自选号码，从控制台输入机选号码，随机生成一注双色球对比两注双色球，获取中奖金额/** @Description2. 设计一个双色球小游戏（一注双色球，由6个红球，和1个蓝球组成） * 1. 自选号码，从控制台输入 * 2. 机选号码，随机生成一注双色球 * 3. 对比两注双色球，获取中奖金额 */pu

原创 设计模式之适配器模式

有些时候， 我们要使用到的功能， 在其他的模块中已经完成了。 但是当我们直接使用这个已经实现的功能模块的时候， 已经实现的这个模块和我们现在需要使用到的模块之间有接口不兼容的问题。 此时， 我们没有办法直接使用这个已经实现的模块。电源适配器： 每一个手机、 电脑都有电源适配器， 可以将220V的交流电适配成电脑、 手机可以承受的范围， 可以直接使用的范围。手机适配器: 电脑上都有USB接口， 可以直接连接一些USB的外设设备， 例如： U盘、 鼠标、 键盘、 硬盘…。 但是， 有些时候，我们需要将手

原创 Java小明交换牌

public class Five { // 小明交换牌：小明左手和右手分别拿了一张扑克牌，需要交换两只手中的扑克牌。最后小明展示交换后的扑克牌。扑克牌有花色和点数属性。 // 类的设计：人、手、扑克牌 public static void main(String[] args) { // 1. 实例化两张扑克牌 Poker poker1 = new Poker(); poker1.color = "黑桃"; poker

原创 设计一个方法，找出一个整型数组中的第二大的值。

public class Three { // 设计一个方法，找出一个整型数组中的第二大的值。 // 1. 不可以通过排序实现，不能修改数组中的数据顺序 // 2. 要考虑到最大的数字可能出现多次 public static void main(String[] args) { // int[] array = { 1, 3, 5, 7, 9, 9, 9, 9, 7, 7, 7, 9, 6, 0 }; int second =

原创 求2+22+222+2222+22222+...+2...2的和，数字的数量由控制台输入

public class HardThree { // 求2+22+222+2222+22222+...+2...2的和，数字的数量由控制台输入 public static void main(String[] args) { // 需要累加的数字数量 int count = 5; // 1. 定义一个变量，用来存储累加的和 int sum = 0; // 2. 定义一个变量，用来记录本次累加了什么数字

原创 Java回文数

public class HardTwo { public static void main(String[] args) { // 12345 => 54321 int num = 12321; System.out.println(num == getReverse(num)); } /** * 计算一个数字翻转之后的数字 * @param number 数字 * @return 翻转之后的数字

原创 设计方法，计算一个数字的原码

public class HardOne { /** * 设计方法，计算一个数字的原码 * 1. 需要考虑正数和负数 * 2. 进行补位（不够8位凑齐8位，不够16位凑齐16位，不够32位凑齐32位） * 3. String str = "abc"; str.length() 获取字符串的长度 */ public static void main(String[] args) {

原创 Java循环图形

public class Five { /* ***** ******* ** ABCDE EFGHI ***** ******* BCDEF DEFGH ***** ***** CDEFG CDEFG ***** *** DEFGH

原创 从控制台输入一个数字，判断这个数字是不是一个质数

import java.util.Scanner;public class Three { // 从控制台输入一个数字，判断这个数字是不是一个质数 public static void main(String[] args) { Scanner scanner = new Scanner(System.in); int number = scanner.nextInt(); // 1. 质数的判断：如果一个数字只能被1和自己整除，那么这样的数

原创 输出所有的水仙花数

public class Two { // 输出所有的水仙花数 public static void main(String[] args) { for (int number = 100; number < 1000; number++) { // 依次判断每一个数字是否是水仙花数 int b = number / 100; int s = number / 10 % 10;