程序猿的博客

原创 Hive 临时修改非严格模式

错误:FAILED: SemanticException [Error 10096]: Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=nonstricthive处于严格模式,不允许动态插入hive命令行执行:set hive.exec.dynamic.partition=

原创 Presto

一、Presto的概述1.1 Presto的简介官网：Presto | Distributed SQL Query Engine for Big DataPresto是facebook的一个开源，并完全基于内存的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。presto的架构由关系型数据库的架构演化而来。presto之所以能在各个内存计算型数据库中脱颖而出，在于以下几点： 具有良好的清晰的体系架构，是一个能够独立运行的系统，不依赖于任何其他外部系统。 例如

原创 Hbase

一. Hbase的概述1.1 Hbase简介1) 简要介绍1. Hbase是一个hadoop数据库2. 是一个非关系型数据库,具有分布式,良好的扩展性,面向列式存储的数据库3. 灵感来源与Google的《Big Table》论文,java语言编写,开源2) 特性- 强一致性读写,适合统计分析聚合类任务- 自动分片- 自动RegionServer故障转移- hbase存储是基于HDFS的- Hbase可以与MapReduce进行整合,进行数据分析- Hbase还提供jav

原创 MapReduce

一、Mapreduce的基础1.1 为什么要学习Mapreduce1. 单机资源受限，比如CPU，磁盘2. 分布式计算的程序的复杂度特别高，难度大​mapreduce就是解决以上问题的： 1. 利用集群的所有cpu，所有内存，所有磁盘 2. mapreduce就将公共的功能的开发封装成了框架，不需要开发人员操心，开发人员只需要关注具体的业务逻辑​1.2 Mapreduce的简介1.2.1 简介1. mapreduce是hadoop的三大重要模块之一2. ...

原创 Windows 任意窗口置顶显示

让任意窗口置顶显示Window TopMost Control是一款非常小巧简单的 Windows 软件，功能也只有一个——就是让任意窗口置顶显示。官网：Window TopMost Control 网盘:https://pan.baidu.com/s/1asfduTA5tMes5kJFc9aRmQ 提取码：toqx 使用方法软件为绿色版，下载后解压到文件夹中，双击运行 TopMost(_x64).exe，然后就能在任务栏托盘中看到软件图标了。右键软件图标 -> W...

原创 为没有后缀名的文件设置默认打开方式——Notepad++

1. 管理员运行cmd2.设置2.1 运行: ftype2.2 运行 assoc .="自己取个名字" ,名字自己取(不要和上面的一样)如果拒接访问,就是没有管理员运行2.3 运行 ftype "取的名字"="默认程序的绝对路径" "%1"不知道绝对路径的:先右击快捷方式,选择打开文件位置,如果还是一个快捷键,继续打开文件位置2.4 运行 ftype...

原创 Zookeeper

第一章：Zookeeper的概述1.1 Zookeeper的简介1. 是一个分布式管理框架，用java语言编写的2. 主要为分布式应用程序(hdfs,hbase)提供协调服务管理3. 提供了类似于Unix的目录树结构的一个数据存储模拟4. 提供了相应的API接口，供其他编程语言来调用。1.2 Zookeeper集群的特点1. 也是一个分布式集群，一个领导者(leader),多个跟随者(follower).2. 集群中只要有半数以上的节点存活，Zookeeper集群就能正常服务。

原创 七、八、九、HDFS体系机构，工作机制，DHFSAPI，读写流程

目录七、hdfs的体系结构(重中之重)4.1 整体的概述4.2 fsimage和edit文件的查看八、hdfs中的工作机制1.1 开机启动流程（重点）1.2 安全模式1.3 心跳机制(重点)1.4 检查点机制（重点）1.5 网络拓扑以及机架感知1.6 集群工作节点的动态上下线九、hdfs的api十、读写流程(重点)3.1 读流程3.2 写流程七、hdfs的体系结构(重中之重)4.1 整体的概述<span style="backg

原创 五、六Hadoop常用shell指令，HDFS块的概念

五、常用的shell指令在命令上输入hdfs dfs 或者是hadoop fs后，直接回车就会提示相关的参数的用法Usage: hadoop fs [generic options]-- 创建目录指令 [-mkdir [-p] <path> ...] --文件的上传指令 [-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>] [-put [-f...

原创 第三、四章：安装模式之本地模式与伪分布式搭建

3.1 本地模式介绍3.1.1 特点：运行在单台机器上，没有分布式思想，使用的是本地文件系统3.1.2. 用途用于对MapReduce程序的逻辑进行调试，确保程序的正确。由于在本地模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。3.2 平台软件说明- 操作系统: win10/win7- 虚拟软件: VMware14- 虚拟机: 主机名：qianfeng01 ip:192.16

原创 第一、二章大数据与Hadoop的概述

第一章：大数据的概述1.1 大数据的概念最近几年，IT行业最火的名词中，少不了"大数据"、"人工智能"、"云计算"、"物联网"、"区块链"等等这些名词。针对于"大数据"这个名词，现在更是全国老百姓，老少皆知的一个词语。但是什么是大数据，除了IT行业的专业人士外，其他人乃至其他行业的人，除了能说出"数据量大"之外，好像真的不能再更深层次的解释了。那么我们来看看下面几个权威机构给出的解释。维基百科 给出的定义：数据规模巨大到无法通过人工在合理的时间内达到截取，管理，处理并整理成为人类所解读的信

原创 六、Linux的Shell脚本编程

第六章：shell编程1.1 shell的概念介绍1.1.1 命令解释器Shell是命令解释器(command interpreter)，是Unix操作系统的用户接口，程序从用户接口得到输入信息，shell将用户程序及其输入翻译成操作系统内核（kernel）能够识别的指令，并且操作系统内核执行完将返回的输出通过shell再呈现给用户，下图所示用户、shell和操作系统的关系：一个系统可以存在多个shell，可以通过cat /etc/shells命令查看系统中安装的shell。.

原创 五、Linux的其他常用操作

五、Linux的其他常用操作5.1 虚拟机的克隆步骤1）先克隆机器先关掉要克隆的机器，然后右键点击机器名称--->管理-->克隆-->虚拟机的当前状态-->创建完整克隆-->虚拟机名称--完成步骤2）修改IP和主机名以及映射文件，然后重启[root@qianfeng01 ~]# hostnamectl set-hostname qianfeng02[root@qianfeng01 ~]# vim /etc/sysconfig/network-scri

原创 三续、四、Liunx 软件管理机制

3.7 文件权限命令3.7.1 Linux系统相对安全的原因<span style="background-color:#333333"><span style="color:#b8bfc6">总有人问，Linux系统为什么比windows系统相对安全呢？我们可以总结如下：​1. 使用Linux系统的人数少，尤其在国内，很少有人关注Linux。2. 因为Linux开源，任何的系统漏洞都会被民间高手，或者是官方人员很快的发现。从漏洞的发现到补丁的放出，时间相当短，没有时

原创 三、Linux的高阶指令(无比详细版)

3.1 vi/vim编辑器及其相关指令3.1.1 为什么要学习VI/VIM<span style="background-color:#333333"><span style="color:#b8bfc6">1、所有的类Unix系统，都自带vi文本编辑器2、很多应用程序的编辑界面都会主动呼唤vi编辑器3、vim 具有程序编辑的能力，可以主动的以字体颜色辨别语法的正确性，方便程序设计；4、操作简单，编辑速度快。5、VIM是VI的升级版​​vi编辑器就是和w...

原创 一、二、Linux基础命令(超级详细)

一、环境准备环境:VMware下的CentOS安装VMware与CentOShttps://blog.csdn.net/m0_62718093/article/details/121616250https://blog.csdn.net/m0_62718093/article/details/121616250二、基础命令2.1 命令格式的说明命令格式：命令 \[-选项][参数] 参数​eg: ls -la /usr​说明： ​大部分命令遵从该格式​多个选项时，

原创 VMware 16与CenOS 7.7的安装

链接：https://pan.baidu.com/s/12WBjVSFH1akrHLKyvLirjQ 提取码：4v99安装环境:win10安装版本:VMware 16linux版本:7.7安装注意事项1.安装路径下不能有中文，空格，特殊符号（尽量不要安装在C盘）,路径不能太深2.如果想要卸载重新安装，双击其安装文件，选择卸载软件，尽量不要手动去删除其安装目录3.如果使用手动删除VMware的安装目录进行卸载，要自行删除注册表中VMware的相关信息一、下载:1.VMwar

原创 Java程序猿必学第三十四篇——JS(JavaScript)BOM

1. window操作 1.1 window对象 <script> /* BOM： 浏览器对象模型，有了BOM，使得js有能力与浏览器进行交互 浏览器中主要通过window对象来操作js的代码 js中所有内容都属于window，通过window可以调任意内容，包括document，console等对象 * */ var a = "abc"; window.document.write(window.a.length); //全.

原创 Java程序猿必学第三十三篇——JS(JavaScript)DOM

1.正则表达式/* 正则表达式： 描述一组特定字符模式规则的对象（java中就是字符串，规则一致） *//* 关键要弄清楚规则： */ <head> <meta charset="UTF-8"> <title></title> <script type="text/javascript"> /* 定义正则表达式 */ //var rep = new RegExp("\\w+"); var rep = .

原创 Java程序猿必学第三十二篇——JS(JavaScript)基础

1. HTML的扩展属性 <head> <meta charset="UTF-8"> <title></title> <style type="text/css"> div{ width: 180px; line-height: 50px; background-color: red; text-align: center; border-radius: 20px; /* 设置圆角弧度.

原创 Java程序猿必学第三十一篇——CSS

1.HTML的框架集 1.1 框架集概述 <!-- 通过多个子页面的组合，形成了框架集 应用场景：一般只做模板形式的框架页面，现在用得少，都被div所取代；(以前老项目常用) 使用：frameset标签，与body标签不能共存 子标签：frame，通过src属性去引入子页面 noresize="noresize":固定大小 --> <!-- 案例：在框架集中显示3列的子页面 --> <frameset cols="20%,.

原创 Java程序猿必学第三十篇——HTML

1. Html 概述：用于开发网页的html格式的文档 什么是html？ 超文本标记语言： 超文本：包含文本和二进制内容（图文并茂形式） 标记语言：通过标签进行开发 主要用途：用于展示数据 书写规范: 一般包含起始标签和结束标签，通常包含属性，往往标签都是单词小写，例如 <html id='值'></html> 1.1 基本标签<!DOCTYPE html><!-- ctrl+shift+/: 注释 --&g.

原创 Java程序猿必学第二十九篇——JDBC的事务

//1. 事务（重点） //案例： 转账功能 //发送方减钱int result = accountDao.update(sendAccount);//完成一个功能后，后面的接收方操作无法完成，数据出现问题，如何处理//接收方加钱result = accountDao.update(recvAccount);/*事务：将转账功能的多条SQL语句放入事务中，要么都成功，则提交；要么都失败，则回滚事务如何加？在哪个层次加，为什么？service层，如果只完成一个SQL语句，.

原创 Java程序猿必学第二十八篇——JDBC与三层雏形

//1. 工具类的封装（重点）//问题： 每次进行CRUD操作，都要写一套JDBC，很繁琐//解决方案：将重复的操作，抽取到工具类中封装//1.加载驱动只需要一次---放到静态代码块//问题2： 直接在工具类中将数据库驱动，数据库名，用户名，密码写死了，不方便后续变更---硬编码//解决方案：需要变为软编码形式，使程序更灵活，维护性更强public class LoginTest { public static void main(String[] args) { Sy.

原创 Java程序猿必学第二十七篇——MySQL视图与JDBC

1. 视图概念： 从一张或多张表中抽取的虚拟表，操作虚拟表的CRUD与原表完全一样优点：1.简单化，从多张表抽取后，只需要管理虚拟表即可2.安全性，能看到的只是抽取到虚拟表的字段3.逻辑独立性缺点：1.性能没有提升，简单表会变得复杂2.修改不方便，有多种情况不能修改虚拟表的创建视图：create view myView asselect employee_id,first_name,last_name,salary from t_employees;select * f..

原创 Java程序猿必学第二十六篇——MySQL入门(2)

7.12 子查询（作为条件判断）SELECT 列名 FROM 表名 Where 条件 (子查询结果)7.12.1 查询工资大于Bruce 的员工信息#1.先查询到 Bruce 的工资（一行一列）SELECT SALARY FROM t_employees WHERE FIRST_NAME = 'Bruce';#工资是 6000​#2.查询工资大于 Bruce 的员工信息SELECT * FROM t_employees WHERE SALARY > 6000;​#3.

原创 Java程序猿必学第二十五篇——MySQL入门(1)

一、引言1.1 现有的数据存储方式有哪些？ Java程序存储数据（变量、对象、数组、集合），数据保存在内存中，属于瞬时状态存储。 文件（File）存储数据，保存在硬盘上，属于持久状态存储。 1.2 以上存储方式存在哪些缺点？ 没有数据类型的区分。 存储数据量级较小。 没有访问安全限制。 没有备份、恢复机制。 二、数据库2.1 概念数据库是“按照数据结构来组织、存储和管理数据的仓库。是一个长期存储在计算机内的、有组织

原创 史上最简单,最全面的MySQL157与Navicat安装教程

一、下载链接：https://pan.baidu.com/s/1Y0lZOE7x80Gm403WD3HUFQ提取码：cae3https://pan.baidu.com/s/1Y0lZOE7x80Gm403WD3HUFQ 提取码：cae3二、安装

转载 禁用Java JDK的自动更新

转载 IDEA插件——界面更加漂亮美观，赏心悦目

一、哔哩哔哩视频手把手教你安装IDEA插件让Java开发爽到爆! 精品IDEA插件大汇总 | 附教程_哔哩哔哩_bilibili二、另附

原创 Java程序猿必学篇——总结

Java程序猿必学篇就是Java的一些基础语法,掌握了这些语法、用法、引用场景就算是已经圆满了！在剩下的时间里,我会继续更新内容,但不是Java后续内容了，下个周我会学习Java的最后两个篇章MySQL和JDBC！JavaWeb暂时还不学......后续我学习的大数据方向,具体哪个岗位,具体方向我也不知道，大概就是大数据方向，一个技术打工人！感谢那些关注了我的粉丝们，后续我会继续更新，从现在的学习到工作，我都会努力更新！！为了money，加油吧！加油！...

原创 Java程序猿必学第二十四篇——设计模式与JDK8新特性

/*1. 设计模式（重点） 概述：是一套经人反复使用的代码设计经验的总结 也可以理解为特定问题的特定的解决方案 好处：可读性更强，更容易复用 设计模式的归类，分三大类：（23种） 1.对象型模式：对象的创建方式；例如：单例，工厂模式等 2.结构型模式：组织结构的包装；例如：装饰者模式(处理流)，代理模式等 3.行为型模式：对象的行为监听；例如：观察者模式等 */ //1.1 工厂模式（重点）/* 概述：从工厂中根据需求，获取产品(对象) 两种工厂模式：1.静.

原创 Java程序猿必学第二十三篇——网络编程（聊天室）与反射

//1. 网络编程案例//1.1 注册功能//案例：注册功能//分析：//1.客户端与服务器建立连接//2.客户端准备好注册数据，拼成一个字符串；例如:{id:"1001",name:"zs",age:30}//3.发送注册数据，服务器接收数据//4.服务器拆分数据，取出id对应的value作为key，接收的注册信息作为value//5.判断key在配置文件中是否存在，如果存在，则返回"已存在"//6.不存在，把这些数据存到配置文件，并返回“注册成功”//-----服务器--...

原创 Java程序猿必学第二十二篇—— 网络编程

//1.File相关//1.1 FileFilter//FileFilter:文件过滤器//listFiles方法用于将当前层的文件和目录的File对象放入数组//FileFilter则是在放入过程中的过滤//案例：在指定的a目录下，查找当前层txt为后缀的文件//分析：1.后缀为txt；2.是文件//具体操作：实例化a目录的对象;取出下面的文件和目录；再进行判断public class Test1 { public static void main(String[] args) { .

原创 Java程序猿必学第二十一篇—— IO字符流

//1. 字节流-对象流//对象流： ObjectOutputStream/ObjectInputStream//1. 也是一个处理流，是一个带缓冲区的流//2. 增加了存储对象的功能//=========================对象流存单个对象========================//案例： 对象流存储自定义对象//存储自定义对象的类，必须实现序列化，才可通过对象流存储//Serializable：标记型接口，无需实现重写方法class Person imple.

原创 Java程序猿必学第二十篇—— IO字节流

//1.线程安全的HashMap//ConcurrentHashMap: 并发的HashMap(前提是安全)//Coolections中也提供了线程安全的Map，只不过锁的是整个hash表public class Test1 { public static void main(String[] args) { Map<String, String> map = new ConcurrentHashMap<String, String>(); for(int i=0.

原创 Java程序猿必学第十九篇—— 多线程高级

/*1.生产者消费者模型 技术点： 多线程模型，安全锁机制，等待与唤醒 男人挣钱，女人花钱天经地义 有钱就花，没钱限制借钱消费 男人挣钱---生产者负责生产 女人花钱---消费者负责消费 有钱就花---我们需要准备一个仓库存钱，消费者看库存，库存有钱才能消费 库存没钱---等待消费 库存满了---生产者停止生产，等待消费者消费后，有库存空间才挣*/ //======================代码案例=========...

原创 Java程序猿必学第十八篇—— 多线程

/*1.1 休眠方法语法： Thread.sleep(毫秒)用法： 可以用在主线程或子线程中目的： 在线程中可以复现互抢资源的现象 *///1.2 线程优先级设置//线程优先级设置：给线程设置优先级，可以大概率的确定谁先执行完； 但不是绝对的//案例：创建两个子线程，分别打印1~200，并设置优先级，查看执行结果//分析：创建一个线程类，new两次；其中一个设置高的优先级；一个设置低的优先级//细节：//1.调用设置优先级方法：setPriority//2.给定线...

原创 Java程序猿必学第十七篇—— 异常处理

/*1. 异常概述：程序的不正常执行处理异常的必要性：如果不处理，程序则会中断异常的分类：Throwable：错误与异常的父类，子类有Error，ExceptionError： 错误异常，例如硬件问题，JVM异常，程序员无法处理Exception：一般性异常，程序员能处理，包含两个子类：运行时和编译时异常运行时异常：非受检异常，运行时出现问题，直接奔溃 例如：类型转换异常，下标越界，空指针异常，算数异常，输入不匹配异常，数字格式异常 编译时异常：受检异常， 编译时报错，需要再一次处.

原创 Java程序猿必学第十六篇—— Map集合

/*1.Set实现类TreeSet（重点） 实现排序的方式 1.自然排序法------存储对象的类实现Comparable接口 2.比较器法 ------带参构造方法传入比较器对象（Comparator）*///1.1 验证原理-存储单个属性的对象 class Person implements Comparable<Person>{ String name; public Person(String name) { this.name=name; } ..