- 博客(59)
- 收藏
- 关注
原创 Hive 临时修改非严格模式
错误:FAILED: SemanticException [Error 10096]: Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=nonstricthive处于严格模式,不允许动态插入hive命令行执行:set hive.exec.dynamic.partition=
2022-01-06 18:18:16
1832
原创 Presto
一、Presto的概述1.1 Presto的简介官网:Presto | Distributed SQL Query Engine for Big DataPresto是facebook的一个开源,并完全基于内存的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。presto的架构由关系型数据库的架构演化而来。presto之所以能在各个内存计算型数据库中脱颖而出,在于以下几点: 具有良好的清晰的体系架构,是一个能够独立运行的系统,不依赖于任何其他外部系统。 例如
2022-01-03 15:49:01
1040
原创 Hbase
一. Hbase的概述1.1 Hbase简介1) 简要介绍1. Hbase是一个hadoop数据库2. 是一个非关系型数据库,具有分布式,良好的扩展性,面向列式存储的数据库3. 灵感来源与Google的《Big Table》论文,java语言编写,开源2) 特性- 强一致性读写,适合统计分析聚合类任务- 自动分片- 自动RegionServer故障转移- hbase存储是基于HDFS的- Hbase可以与MapReduce进行整合,进行数据分析- Hbase还提供jav
2022-01-02 20:14:49
1379
原创 MapReduce
一、Mapreduce的基础1.1 为什么要学习Mapreduce1. 单机资源受限,比如CPU,磁盘2. 分布式计算的程序的复杂度特别高,难度大mapreduce就是解决以上问题的: 1. 利用集群的所有cpu,所有内存,所有磁盘 2. mapreduce就将公共的功能的开发封装成了框架,不需要开发人员操心,开发人员只需要关注具体的业务逻辑1.2 Mapreduce的简介1.2.1 简介1. mapreduce是hadoop的三大重要模块之一2. ...
2021-12-18 09:17:10
208
原创 Windows 任意窗口置顶显示
让任意窗口置顶显示Window TopMost Control是一款非常小巧简单的 Windows 软件,功能也只有一个——就是让任意窗口置顶显示。官网:Window TopMost Control 网盘:https://pan.baidu.com/s/1asfduTA5tMes5kJFc9aRmQ 提取码:toqx 使用方法软件为绿色版,下载后解压到文件夹中,双击运行 TopMost(_x64).exe,然后就能在任务栏托盘中看到软件图标了。右键软件图标 -> W...
2021-12-16 12:53:21
12096
2
原创 为没有后缀名的文件设置默认打开方式——Notepad++
1. 管理员运行cmd2.设置2.1 运行: ftype2.2 运行 assoc .="自己取个名字" ,名字自己取(不要和上面的一样)如果拒接访问,就是没有管理员运行2.3 运行 ftype "取的名字"="默认程序的绝对路径" "%1"不知道绝对路径的:先右击快捷方式,选择打开文件位置,如果还是一个快捷键,继续打开文件位置2.4 运行 ftype...
2021-12-11 18:24:19
2158
原创 Zookeeper
第一章:Zookeeper的概述1.1 Zookeeper的简介1. 是一个分布式管理框架,用java语言编写的2. 主要为分布式应用程序(hdfs,hbase)提供协调服务管理3. 提供了类似于Unix的目录树结构的一个数据存储模拟4. 提供了相应的API接口,供其他编程语言来调用。1.2 Zookeeper集群的特点1. 也是一个分布式集群,一个领导者(leader),多个跟随者(follower).2. 集群中只要有半数以上的节点存活,Zookeeper集群就能正常服务。
2021-12-11 14:17:24
1192
原创 七、八、九、HDFS体系机构,工作机制,DHFSAPI,读写流程
目录七、hdfs的体系结构(重中之重)4.1 整体的概述4.2 fsimage和edit文件的查看八、hdfs中的工作机制1.1 开机启动流程(重点)1.2 安全模式1.3 心跳机制(重点)1.4 检查点机制(重点)1.5 网络拓扑以及机架感知1.6 集群工作节点的动态上下线九、hdfs的api十、读写流程(重点)3.1 读流程3.2 写流程七、hdfs的体系结构(重中之重)4.1 整体的概述<span style="backg
2021-12-08 20:08:57
250
原创 五、六Hadoop常用shell指令,HDFS块的概念
五、常用的shell指令在命令上输入hdfs dfs 或者是hadoop fs后,直接回车就会提示相关的参数的用法Usage: hadoop fs [generic options]-- 创建目录指令 [-mkdir [-p] <path> ...] --文件的上传指令 [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>] [-put [-f...
2021-12-08 08:35:26
1497
原创 第三、四章:安装模式之本地模式与伪分布式搭建
3.1 本地模式介绍3.1.1 特点:运行在单台机器上,没有分布式思想,使用的是本地文件系统3.1.2. 用途用于对MapReduce程序的逻辑进行调试,确保程序的正确。由于在本地模式下测试和调试MapReduce程序较为方便,因此,这种模式适宜用在开发阶段。3.2 平台软件说明- 操作系统: win10/win7- 虚拟软件: VMware14- 虚拟机: 主机名:qianfeng01 ip:192.16
2021-12-06 18:49:21
1109
原创 第一、二章大数据与Hadoop的概述
第一章:大数据的概述1.1 大数据的概念最近几年,IT行业最火的名词中,少不了"大数据"、"人工智能"、"云计算"、"物联网"、"区块链"等等这些名词。针对于"大数据"这个名词,现在更是全国老百姓,老少皆知的一个词语。但是什么是大数据,除了IT行业的专业人士外,其他人乃至其他行业的人,除了能说出"数据量大"之外,好像真的不能再更深层次的解释了。那么我们来看看下面几个权威机构给出的解释。维基百科 给出的定义:数据规模巨大到无法通过人工在合理的时间内达到截取,管理,处理并整理成为人类所解读的信
2021-12-06 18:38:35
2603
原创 六、Linux的Shell脚本编程
第六章:shell编程1.1 shell的概念介绍1.1.1 命令解释器Shell是命令解释器(command interpreter),是Unix操作系统的用户接口,程序从用户接口得到输入信息,shell将用户程序及其输入翻译成操作系统内核(kernel)能够识别的指令,并且操作系统内核执行完将返回的输出通过shell再呈现给用户,下图所示用户、shell和操作系统的关系:一个系统可以存在多个shell,可以通过cat /etc/shells命令查看系统中安装的shell。.
2021-12-04 09:21:19
9415
1
原创 五、Linux的其他常用操作
五、Linux的其他常用操作5.1 虚拟机的克隆步骤1)先克隆机器先关掉要克隆的机器,然后右键点击机器名称--->管理-->克隆-->虚拟机的当前状态-->创建完整克隆-->虚拟机名称--完成步骤2)修改IP和主机名以及映射文件,然后重启[root@qianfeng01 ~]# hostnamectl set-hostname qianfeng02[root@qianfeng01 ~]# vim /etc/sysconfig/network-scri
2021-12-02 20:54:13
226
原创 三续、四、Liunx 软件管理机制
3.7 文件权限命令3.7.1 Linux系统相对安全的原因<span style="background-color:#333333"><span style="color:#b8bfc6">总有人问,Linux系统为什么比windows系统相对安全呢?我们可以总结如下:1. 使用Linux系统的人数少,尤其在国内,很少有人关注Linux。2. 因为Linux开源,任何的系统漏洞都会被民间高手,或者是官方人员很快的发现。从漏洞的发现到补丁的放出,时间相当短,没有时
2021-12-02 08:35:13
1146
原创 三、Linux的高阶指令(无比详细版)
3.1 vi/vim编辑器及其相关指令3.1.1 为什么要学习VI/VIM<span style="background-color:#333333"><span style="color:#b8bfc6">1、所有的类Unix系统,都自带vi文本编辑器2、很多应用程序的编辑界面都会主动呼唤vi编辑器3、vim 具有程序编辑的能力,可以主动的以字体颜色辨别语法的正确性,方便程序设计;4、操作简单,编辑速度快。5、VIM是VI的升级版vi编辑器就是和w...
2021-11-30 19:52:58
908
原创 一、二、Linux基础命令(超级详细)
一、环境准备环境:VMware下的CentOS安装VMware与CentOShttps://blog.csdn.net/m0_62718093/article/details/121616250https://blog.csdn.net/m0_62718093/article/details/121616250二、基础命令2.1 命令格式的说明命令格式:命令 \[-选项][参数] 参数eg: ls -la /usr说明: 大部分命令遵从该格式多个选项时,
2021-11-29 18:50:54
625
原创 VMware 16与CenOS 7.7的安装
链接:https://pan.baidu.com/s/12WBjVSFH1akrHLKyvLirjQ 提取码:4v99安装环境:win10安装版本:VMware 16linux版本:7.7安装注意事项1.安装路径下不能有中文,空格,特殊符号(尽量不要安装在C盘),路径不能太深2.如果想要卸载重新安装,双击其安装文件,选择卸载软件,尽量不要手动去删除其安装目录3.如果使用手动删除VMware的安装目录进行卸载,要自行删除注册表中VMware的相关信息一、下载:1.VMwar
2021-11-29 18:44:59
163
原创 Java程序猿必学第三十四篇——JS(JavaScript)BOM
1. window操作 1.1 window对象 <script> /* BOM: 浏览器对象模型,有了BOM,使得js有能力与浏览器进行交互 浏览器中主要通过window对象来操作js的代码 js中所有内容都属于window,通过window可以调任意内容,包括document,console等对象 * */ var a = "abc"; window.document.write(window.a.length); //全.
2021-11-26 20:38:18
100
原创 Java程序猿必学第三十三篇——JS(JavaScript)DOM
1.正则表达式/* 正则表达式: 描述一组特定字符模式规则的对象(java中就是字符串,规则一致) *//* 关键要弄清楚规则: */ <head> <meta charset="UTF-8"> <title></title> <script type="text/javascript"> /* 定义正则表达式 */ //var rep = new RegExp("\\w+"); var rep = .
2021-11-25 18:41:35
140
原创 Java程序猿必学第三十二篇——JS(JavaScript)基础
1. HTML的扩展属性 <head> <meta charset="UTF-8"> <title></title> <style type="text/css"> div{ width: 180px; line-height: 50px; background-color: red; text-align: center; border-radius: 20px; /* 设置圆角弧度.
2021-11-24 17:31:24
3741
原创 Java程序猿必学第三十一篇——CSS
1.HTML的框架集 1.1 框架集概述 <!-- 通过多个子页面的组合,形成了框架集 应用场景:一般只做模板形式的框架页面,现在用得少,都被div所取代;(以前老项目常用) 使用:frameset标签,与body标签不能共存 子标签:frame,通过src属性去引入子页面 noresize="noresize":固定大小 --> <!-- 案例:在框架集中显示3列的子页面 --> <frameset cols="20%,.
2021-11-24 16:04:16
107
原创 Java程序猿必学第三十篇——HTML
1. Html 概述:用于开发网页的html格式的文档 什么是html? 超文本标记语言: 超文本:包含文本和二进制内容(图文并茂形式) 标记语言:通过标签进行开发 主要用途:用于展示数据 书写规范: 一般包含起始标签和结束标签,通常包含属性,往往标签都是单词小写,例如 <html id='值'></html> 1.1 基本标签<!DOCTYPE html><!-- ctrl+shift+/: 注释 --&g.
2021-11-22 18:33:09
2656
原创 Java程序猿必学第二十九篇——JDBC的事务
//1. 事务(重点) //案例: 转账功能 //发送方减钱int result = accountDao.update(sendAccount);//完成一个功能后,后面的接收方操作无法完成,数据出现问题,如何处理//接收方加钱result = accountDao.update(recvAccount);/*事务:将转账功能的多条SQL语句放入事务中,要么都成功,则提交;要么都失败,则回滚事务如何加?在哪个层次加,为什么?service层,如果只完成一个SQL语句,.
2021-11-22 18:27:30
3955
原创 Java程序猿必学第二十八篇——JDBC与三层雏形
//1. 工具类的封装(重点)//问题: 每次进行CRUD操作,都要写一套JDBC,很繁琐//解决方案:将重复的操作,抽取到工具类中封装//1.加载驱动只需要一次---放到静态代码块//问题2: 直接在工具类中将数据库驱动,数据库名,用户名,密码写死了,不方便后续变更---硬编码//解决方案:需要变为软编码形式,使程序更灵活,维护性更强public class LoginTest { public static void main(String[] args) { Sy.
2021-11-18 19:48:14
104
原创 Java程序猿必学第二十七篇——MySQL视图与JDBC
1. 视图概念: 从一张或多张表中抽取的虚拟表,操作虚拟表的CRUD与原表完全一样优点:1.简单化,从多张表抽取后,只需要管理虚拟表即可2.安全性,能看到的只是抽取到虚拟表的字段3.逻辑独立性缺点:1.性能没有提升,简单表会变得复杂2.修改不方便,有多种情况不能修改虚拟表的创建视图:create view myView asselect employee_id,first_name,last_name,salary from t_employees;select * f..
2021-11-18 16:25:13
2108
原创 Java程序猿必学第二十六篇——MySQL入门(2)
7.12 子查询(作为条件判断)SELECT 列名 FROM 表名 Where 条件 (子查询结果)7.12.1 查询工资大于Bruce 的员工信息#1.先查询到 Bruce 的工资(一行一列)SELECT SALARY FROM t_employees WHERE FIRST_NAME = 'Bruce';#工资是 6000#2.查询工资大于 Bruce 的员工信息SELECT * FROM t_employees WHERE SALARY > 6000;#3.
2021-11-16 18:20:12
1626
原创 Java程序猿必学第二十五篇——MySQL入门(1)
一、引言1.1 现有的数据存储方式有哪些? Java程序存储数据(变量、对象、数组、集合),数据保存在内存中,属于瞬时状态存储。 文件(File)存储数据,保存在硬盘上,属于持久状态存储。 1.2 以上存储方式存在哪些缺点? 没有数据类型的区分。 存储数据量级较小。 没有访问安全限制。 没有备份、恢复机制。 二、数据库2.1 概念数据库是“按照数据结构来组织、存储和管理数据的仓库。是一个长期存储在计算机内的、有组织
2021-11-15 18:16:07
1480
原创 史上最简单,最全面的MySQL157与Navicat安装教程
一、下载链接:https://pan.baidu.com/s/1Y0lZOE7x80Gm403WD3HUFQ提取码:cae3https://pan.baidu.com/s/1Y0lZOE7x80Gm403WD3HUFQ 提取码:cae3二、安装
2021-11-15 18:04:15
1093
转载 IDEA插件——界面更加漂亮美观,赏心悦目
一、哔哩哔哩视频手把手教你安装IDEA插件让Java开发爽到爆! 精品IDEA插件大汇总 | 附教程_哔哩哔哩_bilibili二、另附
2021-11-13 12:35:31
745
原创 Java程序猿必学篇——总结
Java程序猿必学篇就是Java的一些基础语法,掌握了这些语法、用法、引用场景就算是已经圆满了!在剩下的时间里,我会继续更新内容,但不是Java后续内容了,下个周我会学习Java的最后两个篇章MySQL和JDBC!JavaWeb暂时还不学......后续我学习的大数据方向,具体哪个岗位,具体方向我也不知道,大概就是大数据方向,一个技术打工人!感谢那些关注了我的粉丝们,后续我会继续更新,从现在的学习到工作,我都会努力更新!!为了money,加油吧!加油!...
2021-11-13 11:25:38
2618
原创 Java程序猿必学第二十四篇——设计模式与JDK8新特性
/*1. 设计模式(重点) 概述:是一套经人反复使用的代码设计经验的总结 也可以理解为特定问题的特定的解决方案 好处:可读性更强,更容易复用 设计模式的归类,分三大类:(23种) 1.对象型模式:对象的创建方式;例如:单例,工厂模式等 2.结构型模式:组织结构的包装;例如:装饰者模式(处理流),代理模式等 3.行为型模式:对象的行为监听;例如:观察者模式等 */ //1.1 工厂模式(重点)/* 概述:从工厂中根据需求,获取产品(对象) 两种工厂模式:1.静.
2021-11-11 17:31:39
967
原创 Java程序猿必学第二十三篇——网络编程(聊天室)与反射
//1. 网络编程案例//1.1 注册功能//案例:注册功能//分析://1.客户端与服务器建立连接//2.客户端准备好注册数据,拼成一个字符串;例如:{id:"1001",name:"zs",age:30}//3.发送注册数据,服务器接收数据//4.服务器拆分数据,取出id对应的value作为key,接收的注册信息作为value//5.判断key在配置文件中是否存在,如果存在,则返回"已存在"//6.不存在,把这些数据存到配置文件,并返回“注册成功”//-----服务器--...
2021-11-10 17:52:10
117
原创 Java程序猿必学第二十二篇—— 网络编程
//1.File相关//1.1 FileFilter//FileFilter:文件过滤器//listFiles方法用于将当前层的文件和目录的File对象放入数组//FileFilter则是在放入过程中的过滤//案例:在指定的a目录下,查找当前层txt为后缀的文件//分析:1.后缀为txt;2.是文件//具体操作:实例化a目录的对象;取出下面的文件和目录;再进行判断public class Test1 { public static void main(String[] args) { .
2021-11-09 18:05:18
825
原创 Java程序猿必学第二十一篇—— IO字符流
//1. 字节流-对象流//对象流: ObjectOutputStream/ObjectInputStream//1. 也是一个处理流,是一个带缓冲区的流//2. 增加了存储对象的功能//=========================对象流存单个对象========================//案例: 对象流存储自定义对象//存储自定义对象的类,必须实现序列化,才可通过对象流存储//Serializable:标记型接口,无需实现重写方法class Person imple.
2021-11-08 21:07:05
156
原创 Java程序猿必学第二十篇—— IO字节流
//1.线程安全的HashMap//ConcurrentHashMap: 并发的HashMap(前提是安全)//Coolections中也提供了线程安全的Map,只不过锁的是整个hash表public class Test1 { public static void main(String[] args) { Map<String, String> map = new ConcurrentHashMap<String, String>(); for(int i=0.
2021-11-05 18:32:05
272
原创 Java程序猿必学第十九篇—— 多线程高级
/*1.生产者消费者模型 技术点: 多线程模型,安全锁机制,等待与唤醒 男人挣钱,女人花钱天经地义 有钱就花,没钱限制借钱消费 男人挣钱---生产者负责生产 女人花钱---消费者负责消费 有钱就花---我们需要准备一个仓库存钱,消费者看库存,库存有钱才能消费 库存没钱---等待消费 库存满了---生产者停止生产,等待消费者消费后,有库存空间才挣*/ //======================代码案例=========...
2021-11-04 17:35:17
167
原创 Java程序猿必学第十八篇—— 多线程
/*1.1 休眠方法语法: Thread.sleep(毫秒)用法: 可以用在主线程或子线程中目的: 在线程中可以复现互抢资源的现象 *///1.2 线程优先级设置//线程优先级设置:给线程设置优先级,可以大概率的确定谁先执行完; 但不是绝对的//案例:创建两个子线程,分别打印1~200,并设置优先级,查看执行结果//分析:创建一个线程类,new两次;其中一个设置高的优先级;一个设置低的优先级//细节://1.调用设置优先级方法:setPriority//2.给定线...
2021-11-03 19:00:01
94
原创 Java程序猿必学第十七篇—— 异常处理
/*1. 异常概述:程序的不正常执行处理异常的必要性:如果不处理,程序则会中断异常的分类:Throwable:错误与异常的父类,子类有Error,ExceptionError: 错误异常,例如硬件问题,JVM异常,程序员无法处理Exception:一般性异常,程序员能处理,包含两个子类:运行时和编译时异常运行时异常:非受检异常,运行时出现问题,直接奔溃 例如:类型转换异常,下标越界,空指针异常,算数异常,输入不匹配异常,数字格式异常 编译时异常:受检异常, 编译时报错,需要再一次处.
2021-11-02 17:34:09
143
原创 Java程序猿必学第十六篇—— Map集合
/*1.Set实现类TreeSet(重点) 实现排序的方式 1.自然排序法------存储对象的类实现Comparable接口 2.比较器法 ------带参构造方法传入比较器对象(Comparator)*///1.1 验证原理-存储单个属性的对象 class Person implements Comparable<Person>{ String name; public Person(String name) { this.name=name; } ..
2021-11-01 19:01:30
144
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人