似渊※-CSDN博客

原创 spark笔记

spark1.1 为什么是spark为分布式数据集的处理提供了一个有效框架，并以高效的方式处理分布式数据集。Spark集批处理、实时流处理、交互式查询、机器学习与图计算于一体，避免了多种运算场景下需要部署不同集群带来的资源浪费。Spark实现了一种分布式的内存抽象，称为弹性分布式数据集（Resilient Distributed Dataset，RDD ）。它支持基于工作集的应用，同时具有数据流模型的特点：自动容错、位置感知性调度和可伸缩（RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，

2021-07-02 16:57:44 205

原创 java.security.AcessControlException: access denied (“javax.management.MBeanirustPermission“ “ regist

sqoop向hive传输数据时权限不足造成的冲突，解决方法如下：在jdk安装目录下找到此文件jre/lib/security/java.policy找到最后一行，添加：permission javax.management.MBeanT’rustPermission “register”;2018-06-10 22:40:06,737 main ERROR Could not register mbeans java.security.AcessControlException: access de.

2021-06-22 19:16:21 354

原创 18/06/10 22:36:31 ERROR exec.DLTask: java.lang,.NoSuchMethodError: com.fasterxm1.jackson.databind.Ob

上图为报错信息，是在用sqoop向hive传输数据时造成的jar包冲突，解决方法如下：将sqoop目录下的lib/ jackson*. jar备份为文件bak，然后复制hive包下的lib/jackson*到sqoop目录下，继续执行完成传输

2021-06-22 19:06:11 133

原创线程的安全性

线程的安全性什么是线程的安全性？当多个线程访问某个类，不管运行时环境采用何种调度方式或者如何交替执行，并且在主调代码中不需要任何的同步或者协同，这个类都能表现出正确的行为，那么这个类就是线程安全的。什么是线程不安全？多线程访问某个类时，得不到正确的结果，就称为线程不安全原子性操作什么是原子性？简单来说就是要么成功，要么失败，不存在第三种情况，这样，就可以在一定程度上避免线程同步出现的问题，这样就可以减少线程安全问题。具体怎么操作呢？synchronized关键字能够帮助我们实现线程的原子

2021-06-17 15:52:38 131 1

原创线程的操作

线程的操作线程的挂起及恢复什么是线程的挂起？线程的挂起操作实质上是让线程进入“不可执行”的状态下，在这个状态下，CPU不会给线程分配时间片，以达到让线程暂停当前的任务。线程被挂起后，可以通过唤醒线程来让它继续运行为什么要挂起线程为了避免资源的浪费。当我们不看电视的时候，就把电视关掉，这样是为了省电，同理，当自己当前状况不用线程的时候就将其挂起，暂停它当下的状态，以达到方便使用节约资源的目的如何挂起线程？ suspend()：挂起线程，已废弃，原因是挂起后不能

2021-06-17 10:43:00 74

原创什么是线程

线程线程是什么？线程和进程有什么区别？回答什么是线程那么就需要先回答什么是进程？在我们执行程序的时候，系统就会为进程分配一些资源，如内存、磁盘、IO等，所以进程是系统分配资源最基本的单位。那么线程呢？线程是进程中执行程序最小的单位，也就是说当程序开始执行时，系统会先为进程分配资源，然后进程会让自己下面的线程去执行具体的程序，所以进程中会包括线程，线程是进程的一部分，而且一个程序最少有一个进程，一个进程最少有一个线程，那么为什么不直接使用进程来执行程序，非得要先让进程分配任务给线程让线程来执行程序呢？

2021-06-16 20:57:45 88

原创什么是并发编程

什么是并发编程最初的计算机诞生时使用的一直都是单进程跑程序，一台计算机只跑一个程序，的确，这样做速度非常快，而且现在一台机器跑一个程序肯定比一台机器跑多个程序要快，但是这样会造成相应的资源浪费，直到有操作系统的出现，计算机的资源才开始了进一步的利用，直到一台机器可以由多个进程，一个进程有多个线程出现。那什么是并发编程呢？就是让计算机在一定时间内同时跑多个程序所进行的程序 <!–小弟年轻，文笔简陋，如有错误，欢迎指出，多谢多谢—>那这样就可以解决一个问题，为什么

2021-06-16 15:13:40 1291 1

原创数据库创建图书馆管理系统

CREATE DATABASE libraryCREATE TABLE book(bId VARCHAR(10) NOT NULL COMMENT ‘图书编号,必填项’,PRIMARY KEY(bId),bName VARCHAR(10) NOT NULL COMMENT ‘图书书名,必填’,author VARCHAR(10) COMMENT ‘作者姓名’,pubComp VARCHAR(10) COMMENT ‘出版社’,pubDate DATE COMMENT ‘出版日期’,bCount

2021-06-05 22:38:22 2860 2

原创修改HIVE删表就卡顿的问题

修改HIVE删表就卡顿的问题前一段时间，在好不容易安装好hive时之后遇到了新的问题，就是hive表删除卡顿的情况。创建数据库没问题，创建表没问题，插入没问题，最多时间延长一些，但是一删表，就跟打嗝打到一半卡喉咙一样，就卡死到哪里，一动不动，坚持了几分钟，就像下图：上网查资料，终于明白事情真相，MySQL的编码出现了问题，自己安装的mysql，字符集都改成了utf-8，如果要解决的话，需要都改成latin1首先找到mysql安装目录下的my.cny文件，我的是在根目录下usr下面，找到之后vim

2021-05-17 16:09:16 891

原创复习HIVE

HIVE基础知识点复习数据仓库什么是数据仓库数据仓库的特点：数据仓库是面向主题的数据仓库是随时间改变的数据仓库是相对稳定的数据处理种类：OLTP（联机数据处理）和OLAP（联机分析处理） OLTP主要应用于传统关系数据库，主要针对的是基本的日常事务处理，如银行转账 OLAP主要应用于数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并提出直观易懂的查询结果，如商品的推荐系统。数据仓库的结构数据源数据管理和存储OLAP管理器前端展示工具数据仓库的数据模型

2021-04-25 18:49:52 154

原创输出5000以内的亲密数

public static void hann() { List<Integer>list = new ArrayList<>(); for(int i = 3;i<5000;i++) { for (int j = i; j < 5000; j++) { if(resolve(j)==i&&resolve(i)==j&&j!=i) { list.add(i); list.add(j); }

2021-01-12 11:45:30 555 1

原创编辑hdfs-site.xml时，配置namenode和datanade细节

1、集群中有两个namenode2、两个namenode是通过Journal Node节点连接，namenode2是通过Journal Node集群里的指定位置上获取信息，才达到热备效果3、使用隔离机制需要ssh免密登录4、如果不配置namenode和datanode存放元数据的目录，则默认放到临时目录下，一般为hadoop.tmp.dir...

2020-11-26 14:32:39 512

原创递归（计算阶乘、斐波那契数列、递归辅助方法、递归排序，递归查找)

递归递归是一种针对使用简单的循环难以编程实现的问题，提供优雅解决方案的技术使用递归就是使用递归方法编程那个，递归方法就是设计调用自身的方法。递归是一种很有用的程序设计技术。计算阶乘递归方法是直接或间接调用自身的方法0！ = 1；n! = n * (n - 1)!; n > 0对给定的n如何求n！呢？由于已经知道了0！=1，而1!=1 * 0!,因此很容易求得1!。假设已经知道(n-1)!,使用n!=n * (n-1)!就可以立即得到n!。这样，计算n!的问题就简化为计算(n-1)!。当

2020-08-24 13:10:27 406

原创二进制 IO（全套）

二进制I/O文件分为文本文件和二进制文件Java源程序：文本文件，用文本编译器读取Java类文件：二进制文件，由Java虚拟机读取文本文件由字符序列构成，二进制文件由位（bit）序列构成，文本文件中的字符使用某种字符编码模式（例如ASCII编码或者Unicode编码）来进行编码。二进制文件的优势在于它的处理效率比文本文件高在Java中如何处理文本I/OJava中许多用于各种目的的I/O类，通常分为输入类和输出类。输入类包含读数据的方法，而输出类包含写数据的方法，如PrintWriter是一个输出

2020-08-20 11:35:41 802

原创 JavaFX（面板和组）

JavaFXJavaFX中容纳节点的容器有面板和组（group）特点：1. Group类常用于将节点组合成组并作为一个组进行转换和缩放 2. 面板和UI组件对象是可以改变大小的，但是组，形状，以及文本对象是不能改变大小的下面是用于容纳和组织节点的面板pane 布局面板的基类，它有getChildren()方法来返回面板中的节点列表StackPane 节点放置在面部中央，并且叠加在其他

2020-08-10 12:30:15 2513

原创 Java第五章（选择与循环）

文章目录选择与循环选择语句单分支if语句双分支if-else语句嵌套if-else语句switch 语句循环语句for循环while循环do-while循环语句循环嵌套语句break和continue语句选择与循环选择语句单分支if语句单分支if语句是选择语句中最容易掌握的语句，大家看以下代码****代码中的condition是布尔表达式，它的值为true或false，为了让大家看得清楚直观，上图中定义的是false，布尔表达式在条件语句中一定要用括号括起来，然后展开判断。以上的操作流程是：

2020-05-13 19:28:46 237

原创 Java语言第四章（Java的数据类型）

今天开始写Java数据类型的笔记，希望对大家能有所帮助。Java数据类型有两种，基本数据类型和引用数据类型，这是掌握Java最基础也是最必不可少的知识，下面进行详细解释Java的数据类型基本数据类型引用数据类型整数类型(byte,short,int,long)数制类型浮点数类型(float,double)字符类型常见的转义字符序列基本数据类型Java基本数据类型分为数值型和非数值型，其中数值型分为整数类型(byte,short,int,long)和浮点数类型(float,double),非数值型分为

2020-05-12 15:17:29 186

原创 Java第三章（标识符与常量）

文章目录标识符与常量标识符规定区分大小写标识符字母变量和常量标识符与常量标识符规定由字母、下划线（_）、美元符号（$）、和数字组成，并且第一个字符不能是数字。但是程序员都知道，Java语言中有一些规定的特殊关键字，这些是不能做标识符的，如class，new，int等。区分大小写标识符中有时会出现大小写的情况，这些是需要注意的，在Java语言中，标识符是严格区分大小写的，如name和Name就是绝对不能混为一谈的。在前文中我们已经提到，Java语言特殊的关键字是不能做标识符的，这些关键字都有一个特性

2020-05-11 22:21:53 157

原创 Java第二章（Java与Android）

Java第二章文章目录Java与Android背景Android框架内核层类库层框架层应用层Java与Android背景Android是基于Liunx2.6内核的软件平台和操作系统，早期由Google收购了一个移动开放平台，然后进行持续不断的开发，后来开放手机，后由开放手机联盟（Open Handest Alliance）开发。Android的底层由C语言开发，在应用层使用Java程序编写，为了适应移动环境下的执行效率和能量限制就对解释器和类库进行重新的设计Android框架Android框架分

2020-05-11 14:17:59 191

原创 Java语言第一章（Java语言的概述）

欢迎来到似渊※的博客大家好！我是似渊，一名计算机小白，这是第一次为大家写博客，博客的内容也许枯燥无味，但是绝对干货，它将以笔记的形式向大家展示。博客的内容是Java语言概述，希望大家能够给大家提供帮助。Java语言第一章Java语言的概述Java起源Java平台与开发环境Java平台三大版本JDK 、JRE、JVMJava的跨平台特性Java API文档Java语言的概述Java语言是目前十分流行的面向对象程序设计语言。具有简单性，跨平台性，安全性，分布性等优点。可以广泛应用于移动设备和企业应用的开

2020-05-10 16:55:12 387

siyuao的博客