笑里笑外~-CSDN博客

原创 Kerberos认证（二）——看了都能懂得认证原理

文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步骤1.引入库代码如下（示例）：import numpy as npimport

2020-12-22 18:12:57 848 2

原创 Kerberos认证（一）——简明详细的安装和说明

Kerberos认证（一）——超详细的安装和说明文章目录Kerberos认证（一）——超详细的安装和说明准备一、安装Kerberos server安装指令修改krb5.conf配置kdc.conf配置kadm5.acl创建数据库启动服务创建管理员二、安装Kerberos client安装修改配置测试kadmin三、常见操作指令Kerberos常用命令kadmin模式下常用命令总结准备两台Centos7机器：机器服务192.168.44.132Kerberos server（

2020-12-21 18:17:31 3293

原创 Java基础——超级实用的使用FastJson完成JSONObject、Java对象、JSON串的转换

文章目录前言一、 Java对象—>JSON串二、Java对象—>JSON对象三、JSON串—>Java对象总结前言本站主要是记录下常用的api方法，完成常见的转换:Java对象转成JSON串Java对象转成JSON对象JSON串转成Java对象JSON串转成JSON对象JSON对象转成Java对象JSON对象转成JSON串一、 Java对象—>JSON串//JavaBean People people = new People("老王",22); St

2020-12-11 09:49:34 397 1

原创 Java基础整理——Math、BigDecimal、BigInteger 的api详细总结

文章目录前言一、Math函数二、BigDecimal1.常用方法2.可参考下面代码：三、BigInteger总结前言这段时间经常要用java计算以及实现一些数学公式的计算，说实话python真香~不过也罢这三个java计算里常用的类记录一下，方便下次查阅~一、Math函数Math.E //自然常数e=2.7182818284590452354Math.abs(12.3); //12.3 返回该值的绝对值 M

2020-12-10 14:48:22 160

原创 Elasticsearch7.x（二）——详细的记录一个简易的 Spring boot 2.x 集成 ELK的demo

文章目录前言一、Elasticsearch基本介绍定义特点基本概念Cluster（集群）Node(节点)Index(索引)Document（文档）Shard(分片)Replia(副本)二、安装Elasticsearch1.下载2.安装启动解压创建elastic用户给解压目录elasticsearch-7.3.2更改权限启动3. 测试三、安装kibana1.下载（必须要和elasticsearch版本一致）2. 安装解压给kibana-7.3.2 赋权 elastic修改配置启动3. 测试总结前言本章将

2020-12-10 14:11:32 370

原创解决:java.lang.IllegalStateException: Cannot call sendRedirect() after the response has been committed

项目场景：springboot 项目，自定义Filter过滤器，拦截请求处理业务。问题描述：启动项目访问接口时，在自定义过滤器中调用resp.sendRedirect()报错了。原因分析：报错翻译：在response已经提交后，不能在调 sendRedirect() 方法了。其实就是说：执行了 chain.doFilter(req, resp);后，不能在使用resp对象的 sendRedirect()所以查看代码发现：... HttpServletRequest httpRe

2020-12-10 13:57:36 2683 1

原创 Elasticsearch7.x（一）——lucene的详细介绍和使用

文章目录前言一、搜索是什么？1.普通搜索二、使用步骤1.引入库2.读入数据总结前言前段时间由于工作需要，用到ES做数据索引框架，便学习了一阵子。最近想想忘得也差不多了，于是便决定写下文章帮助自己复习一下~讲Elasticsearch分布式检索框架前，我们先重点学习一下elasticsearch中的核心——lucene框架。一、搜索是什么？1.普通搜索比如：程序猿老王，掏出自己一堆银行卡和数十把

2020-12-09 10:49:03 1419

原创记录一次排查Linux系统用户进程占满，无法登录问题

项目场景：通过http请求获取源数据，然后处理数据存入数据库。问题描述和定位：由于本次解决问题，生产现场反馈的问题。无法得到想要的截图，基本通过语音沟通，询问问题情况，最后定位和解决问题。1.报错登录不上操作用户~su 用户名su: cannot set user id: Resource temporarily unavailable2.查看用户连接数切换root用户~su root#查看用户连接数ps -u 用户 -L | wc -l41453.查询系统给用户配置的

2020-12-08 10:02:37 2668 1

原创 Java基础整理——java反射的详细介绍和使用

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、什么是反射二、反射的使用1.定义一个类2.获取类对象的三种方式3.获取属性4.获取类的方法5.获取类的Constructor并创建对象总结前言闲来无事，整理一下很久以前学习的笔记，顺便记录下来，留作日后参考~提示：以下是本篇文章正文内容，下面案例可供参考一、什么是反射程序在运行时，动态的去获取类的信息、加载类、创建对象、操作类或方法和属性。获取类对象，也就知道这个类的信息（定义什么方法、属性、类名等）可以

2020-12-07 21:41:04 88

原创简单的梳理JVM（四）——GC回收回收机制

文章目录概述一、GC回收流程二、对象存活判断1.引用计数2.可达性分析3.举个栗子4.GC Roots包括：三、GC垃圾回收算法1.标记 -清除算法2.复制算法3.标记压缩算法四、GC收集器1.Serial （-XX:+UseSerialGC）2.ParNew（-XX:+UseParNewGC）3.Parallel Scavenge（-XX:+UseParallelGC）4.Serial Old（-XX:+UseSerialOldGC）5.CMS（重点）（-XX:+UseConcMarkSweepGC）Pa

2020-12-07 19:51:43 154

原创无法创建线程异常 Java.lang.OutOfMemoryError： unable to create new native thread

项目场景：使用问题描述：提示：这里描述项目中遇到的问题：例如：数据传输过程中数据不时出现丢失的情况，偶尔会丢失一部分数据APP 中接收数据代码：@Override public void run() { bytes = mmInStream.read(buffer); mHandler.obtainMessage(READ_DATA, bytes, -1, buffer).sendToTarget(); }

2020-12-07 18:38:15 1335

原创简单的梳理JVM（三）——JVM内存结构

文章目录前言一、整体结构1.结构简图介绍2. 工作流程二、组成介绍1.堆2.栈虚拟机栈本地方法栈3. 元区间（方法区）4. 程序计数器总结前言基本所有程序员在开发工作中都会遇到OOM问题，都会面对堆区，栈区各种花式内存泄漏的情况。所以熟悉JVM内存模型结构是必须的了，以下我会带你慢慢了解清楚。一、整体结构1.结构简图介绍啥都别说，直接看图~JVM内存结构分为两部分：线程共享区和线程独占区线程共享区堆区和元区间（方法区）线程独占区栈区和本地方法栈以及程序计数器（pc寄存器）

2020-12-04 15:13:09 301

转载文本分词——anjs

anjs文章目录anjs前言一、引入依赖包二、测试代码三、停词文本（stop_word.txt）四、测试结果五、词性前言这是一个基于n-Gram+CRF+HMM的中文分词的java实现. 分词速度达到每秒钟大约200万字左右（mac air下测试），准确率能达到96%以上目前实现了.中文分词. 中文姓名识别 . 用户自定义词典,关键字提取，自动摘要，关键字标记等功能可以应用到自然语言处理等方面,适用于对分词效果要求高的各种项目.一、引入依赖包compile group: 'o

2020-12-04 13:54:48 488

原创简单的梳理JVM（二）——JVM类加载机制

文章目录一、类的加载器四种类加载器介绍Bootstrap ClassLoaderExtension ClassLoaderApp ClassLoaderCustom ClassLoader加载流程简述二、JVM类加载机制1.全盘负责、父类委托、缓存机制2.双亲委派模型2.1 工作流程2.2 双亲委派模型意义总结一、类的加载器先看下图：四种类加载器介绍Bootstrap ClassLoader负责加载$JAVA_HOME中 jre/lib/rt.jar里所有的class或Xbootclass

2020-12-04 13:50:53 105

原创 Spark操作Es报错：sHadoopIllegalArgumentException: resource must be specified for Elasticsearch resources

项目场景：使用spark sql 操作读取 es中的数据版本：es ：6.4.2es-hadoop: 6.4.2spark:2.1.1部分代码：Map<String,String> cfg = new HashMap();cfg.put("es.query","....");cfg.put("es.read.field.incloude","...")Dataset ds = sparkSession.read().format("org.elasticsearch.spar

2020-12-04 11:58:55 1019

原创简单的梳理JVM（一）——JVM生命周期、类的生命周期

文章目录前言一、简介二、JVM的介绍JVM生命周期JVM进程和线程三、类的生命周期1.类的概念2. 生命周期2.1 加载2.2 连接2.2.1 验证2.2.2 准备2.2.3 解析2.3 初始化2.4 使用2.4.1 主动使用2.4.2 被动使用2.5 卸载总结前言最近闲来无事，索性去学习了一下JVM的基础知识。虽然知识浅显的学习，但是收获还是非常大的，于是决定记录下来。一、简介简单来说，JVM就是java虚拟机。它是是由软件技术模拟出计算机运行的一个虚拟的计算机。主要作用是把我们编写的ja

2020-12-04 10:32:54 759 2

原创 Springboot2.x Jpa ——详细的多数据源配置和使用案例

文章目录前言一、准备阶段1.数据表和存储过程1.1 数据源一1.2 数据源二二、集成配置1.引入依赖2.设置application.yml3.config配置多数据源3.1 DataSourceConfig.java3.2.PrimaryJpaConfig.java3.3.SecondJpaConfig.java4. 定义实体和映射4.1 TestDataModel.java4.2 TestDataMapper.java4.3 TestJpa.java4.4 TestJpaMapper.java三、测试四、

2020-12-03 11:48:01 903

原创 Springboot2.x Jpa ——调用数据库存储过程，得到出参结果

系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录系列文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例

2020-12-03 10:38:58 657

原创简单详细的Centos7下使用crontab 定时器

文章目录前言一、crontab 是什么？二、介绍1.安装2.启停指令3. 操作指令4. corn配置三、demo演示1. 编辑脚本2. 赋权测试3.crontab配置4.查看日志总结前言最近工作上有些脚本需要定时执行的需求，于是上网搜索学习了cron定时器的使用。于是编写本篇文章做为学习记录。一、crontab 是什么？Linux crontab是用来定期执行程序的命令。操作系统会根据配置的时间，定时执行操作。完整启动指令（每分钟执行一次test.sh脚本）：* * * * * /root

2020-12-01 14:41:45 742

原创 Kafka学习（三）——Java工具类、Springboot集成批量消费、SparkStreaming集成

Kafka学习（三）——Java工具类、Springboot集成、SparkStreaming集成Kafka学习（三）——Java工具类、Springboot集成、SparkStreaming集成文章目录Kafka学习（三）——Java工具类、Springboot集成、SparkStreaming集成前言一、pandas是什么？3. Java中工具类消费者：KafkaConsumerTest生产者：KafkaProducerTest4. SpringBoot中使用4.1 引入依赖4.2 applic

2020-11-30 11:52:57 1003

原创 Kafka学习（二）——组成以及原理分析

Kafka学习（二）——组成以及原理分析Kafka学习（二）——组成以及原理分析文章目录Kafka学习（二）——组成以及原理分析前言二、使用步骤1.引入库2.读入数据总结前言本章主要内容：讲解kafka的组成部分，介绍kafka的工作原理先看一张图：简单描述一下（图上）：生产者producer1和producer2 发送消息到主题(Topic)中消息主题（Topics）中使用多个partition存储消息存放消息的partition,是存储在Broker中，且同时会有副本re

2020-11-30 11:52:17 190

原创 Kafka学习（一）——kafka和kafka-manager的安装

Kafka——简单学习入门文章目录Kafka——简单学习入门简介一、工作原理二、简单安装1.安装kafka2.安装kafka-manager3. Java中工具类消费者：KafkaConsumerTest生产者：KafkaProducerTest总结简介 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务

2020-11-18 22:44:26 536

原创相似度算法——SimHash算法(附带：python和java实现)

SimHash算法文章目录SimHash算法概述一、实现思路二、实现流程图三、代码实现python版——jieba分词Java 版——ansj分词概述SimHash算法来自于 GoogleMoses Charikar发表的一篇论文“detecting near-duplicates for web crawling” ，其主要思想是降维，将高维的特征向量映射成低维的特征向量，通过两个向量的Hamming Distance（汉明距离）来确定文章是否重复或者高度近似。Hamming Di

2020-11-18 22:07:21 7412 1

原创相似度算法——余弦相似度（附带Java现实）

余弦相似度文章目录余弦相似度概述一、实现思路二、实现流程三、代码实现总结概述用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量。余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似。一、实现思路分词：对需要比较的文本进行分词，获得词和词频（key/num）。统计：统计所有的词（去重），作为向量的维度。构建：以词作为维度，词频作为当前维度的值，构建向量。没有的以0填充。计算：二、实现流程举个简单的例子

2020-11-18 21:57:37 3780 1

原创 Hadoop三大核心组件——HDFS、YARN、MapReduce原理解析

Hadoop文章目录Hadoop一、简介二、工作原理1.HDFS原理组成介绍执行流程图2.YARN原理组成介绍执行流程图3.MapReduce原理什么是MapReduce完整工作流程图流程详细描述MapTask流程Shuffle流程Reduce Task流程总结一、简介Hadoop主要在分布式环境下集群机器，获取海量数据的处理能力，实现分布式集群下的大数据存储和计算。其中三大核心组件: HDFS存储分布式文件存储、YARN分布式资源管理、MapReduce分布式计算。二、工作原理1.HD

2020-11-18 21:44:23 10871

原创非常详细的CDH6环境安装（离线版）

大数据学习总结系列——CDH6环境安装（离线版）CDH6环境安装（离线版）一、预备阶段1. 集群机器2. 准备安装包二、环境安装（关闭防火墙~）1.修改hostname和hosts(所有节点)2.SSH免密登录（所有节点）3.配置NTP服务（所有节点）4.安装JDK（所有节点）5.安装Mysql5.安装CM组件(所有节点)总结CDH6环境安装（离线版）官网介绍: CDH是Cloudera的100％开源平台发行版

2020-10-18 14:56:48 5943 3

原创超级详细的使用VMware安装Centos7环境

大数据学习安装环境安装VMware安装Centos7分配IP地址插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入安装环境你好！欢迎来到大数据劝退系列之环境安装。正如你所视，大多数准备学习大数据或对大数据稍有兴趣的人，在经历一这枯燥无味，问题频出的环境安装时，都会火大的让人抓头。所以，如

2020-10-17 11:09:15 987

笑里笑外~