lonely玩世不恭-CSDN博客

原创十大经典排序算法（冒泡排序、选择排序、插入排序、希尔排序、归并排序、快排排序、堆排序、桶排序、计数排序、基数排序）

排序算法：一、冒泡排序：（1）原理：　　1、从第一个数据开始，与第二个数据相比较，如果第二个数据小于第一个数据，则交换两个数据的位置。　　2、指针由第一个数据移向第二个数据，第二个数据与第三个数据相比较，如果第三个数据小于第二个数据，则交换两个数据的位置。　　3、依此类推，完成第一轮排序。第一轮排序结束后，最大的元素被移到了最右面。　　4、依照上面的过程进行第二轮排序，将第二大的...

2020-05-06 15:37:53 1346 1

原创七大查找算法(顺序查找、折半查找、插值查找、斐波那契查找、分块查找、哈希查找、树表查找)

一、顺序查找顺序查找适合于存储结构为顺序存储或链接存储的线性表。基本思想：顺序查找也称为线形查找，属于无序查找算法。从数据结构线形表的一端开始，顺序扫描，依次将扫描到的结点关键字与给定值k相比较，若相等则表示查找成功；若扫描结束仍没有找到关键字等于k的结点，表示查找失败。二、折半查找元素必须是有序的，如果是无序的则要先进行排序操作。基本思想：也称为是折半查找，属于有序查找算法。用给定值...

2020-05-06 15:35:58 3544 1

原创 Disconnected from the target VM, address: ‘127.0.0.1:60291‘, transport: ‘socket‘

Disconnected from the target VM, address: ‘127.0.0.1:60291’, transport: ‘socket’记录一次坑报错如下很多人说是端口冲突的问题是maven和idea兼容的问题是注解的问题是配置文件中的问题。。。。。具体看你自己情况我的问题就是创建项目的时候，引入依赖时引入的是spring boot devTools改为引入依赖spring web 就可以解决此问题注意，引入的spring boot devTools 需要注释

2021-06-11 11:14:12 8288 2

转载 Elasticsearch Java API的基本使用大全

转载自：https://www.cnblogs.com/shizhijie/p/10332970.html说明在明确了ES的基本概念和使用方法后，我们来学习如何使用ES的Java API.本文假设你已经对ES的基本概念已经有了一个比较全面的认识。客户端你可以用Java客户端做很多事情：执行标准的index,get,delete,update,search等操作。在正在运行的集群上执行管理任务。但是，通过官方文档可以得知，现在存在至少三种Java客户端。Transport ClientJ

2020-06-29 15:55:28 3654

原创 maven打包时找不到主类

打包时找不到主类[ERROR] Failed to execute goal org.springframework.boot:spring-boot-maven-plugin:2.1.12.RELEASE:repackage (repackage) on project job-etl: Execution repackage of goal org.springframework.boot:spring-boot-maven-plugin:2.1.12.RELEASE:repackage failed

2020-06-02 14:33:32 1419

原创 org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate

org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient解决办法：1、在hive-site.xml中增加配置hive.metastore.localfalsehive.metastore.uristhrift://192.168

2020-06-02 14:28:38 1429

原创 org.apache.spark.rpc.netty.Inbox : Ignoring error

org.apache.spark.rpc.netty.Inbox : Ignoring error解决办法：代码中加.config(“spark.dynamicAllocation.enabled”

2020-06-02 14:22:21 800

原创 ImpalaRuntimeException:The requested number of tablets is over the maximum permitted at creation tim

ImpalaRuntimeException: Error creating Kudu table ‘impala::kudu_pdw.v_checkinfo’ CAUSED BY: NonRecoverableException: The requested number of tablets is over the maximum permitted at creation time (60). Additional tablets may be added by adding range partit

2020-06-02 14:21:08 576

原创 DEBUG org.apache.hadoop.hive.serde2.lazy.LazyDouble - Data not in the Double data type range so con

DEBUG org.apache.hadoop.hive.serde2.lazy.LazyDouble - Data not in the Double data type range so converted to null. Given data is :java.lang.NumberFormatException: empty StringSparlkSql读取hive中数据时报的异常，问题是hive的数据类型转换，decimal无法直接转化为double，可以尝试转换成string，后面hiv

2020-06-02 14:17:22 535

原创 spark提交作业时的参数说明

–master master 的地址，提交任务到哪里执行，例如 spark://host:port, yarn, local–deploy-mode 在本地 (client) 启动 driver 或在 cluster 上启动，默认是 client–class 应用程序的主类，仅针对 java 或 scala 应用–name 应用程序的名称–jars 用逗号分隔的本地 jar 包，设置后，这些 jar 将包含在 driver 和 executor 的 classpath 下–packages 包含.

2020-05-15 15:02:05 390

转载 CDH 组件使用的端口

转载自：https://blog.csdn.net/liangkiller/article/details/102824447所有端口都是使用TCP访问要求: Internal(内部)用于组件间通信,External(外部)可用于组件间通信或用户访问;Hadoop组件服务端口访问要求配置项 QualifierHDFS DataNode 50010 外部 dfs.datanode.address 1004 外部 dfs.datanode.address Secur

2020-05-13 16:31:19 1836

转载 Spark参数详解（Spark1.6）

Spark参数详解（Spark1.6）参考文档：Spark官网在Spark的web UI在“Environment”选项卡中列出Spark属性。这是一个很有用的地方，可以检查以确保属性设置正确。注意，只有通过spark-defaults.conf, SparkConf, 或者 command line配置过的属性才会出现。对于所有其他配置属性，控制内部设置的大多数属性具有合理的默认值，在没有额外配置的额情况下，可以假定使用默认值。应用级别的参数参数名称默认值释义注释spark.ap

2020-05-13 11:44:44 389

原创 Elasticsearch的安装，Ubuntu，Linux下安装配置ES，搭建ES集群

安装Elasticsearch1、解压elasticserch：安装包kibana：交互工具tar -zxvf elasticsearch-6.6.0.tar.gz -C /home/briup/softwaretar -zxvf kibana-6.6.0-linux-x86_64.tar.gz -C /home/briup/software2、创建软链接ln -sf /home/briup/software/elasticsearch-6.6.0 /home/briup/links/el

2020-05-08 18:03:23 606

原创 Linux下命令不能用的解决方式

Linux下所有命令不能用由于/bin 不在PATH 环境变量中export PATH="/usr/sbin:/usr/bin:/usr/local/bin:/usr/local/sbin:/bin:/sbin"

2020-05-08 11:26:38 493

原创 Linux下修改用户名的最简单方式

linux下修改用户名ctrl + alt +f3 进入命令界面切换root用户登录;susudo passwd :更新root用户密码usermod -l 新用户名旧用户名如果失败，杀死进程或者重启后再执行usermod -l 新用户名旧用户名...

2020-05-08 11:25:34 1743

原创 Linux下Ubuntu修改设备名和用户名

问题描述：克隆虚拟机之后修改设备名和用户名解决办法：思路：修改/etc/hostname文件下的设备名以及/etc/hosts下面的172.0.1.1 对应的名称；修改/etc/sudoer文件，为自己要改的名字提前赋予较高的权限；修改/etc/shadow,这个文件中存储与登陆有关的内容格式如下：username: passwd: lastchg: min: max: warn: ina...

2020-05-08 11:24:08 863

原创 Maven项目中 project 报错：connot recconnect 该怎么解决？

更新一下mavne项目即可，如果不行，先更新本地maven仓库，再刷新maven

2020-05-08 09:44:02 1229

原创 hbase导出数据的方式

hbase org.apache.hadoop.hbase.mapreduce.Export aliyun_webpage /aliyun_webpage_datahbase org.apache.hadoop.hbase.mapreduce Export 表名数据文件位置hbase org.apache.hadoop.hbase.mapreduce.Driver export 表名 ...

2020-05-06 16:08:18 546

原创 kvm介绍内核虚拟化技术从基础到入门到高级

KVM备课笔记内核级虚拟化技术(Kernel-based Virtua Machine)1.云计算概念2.虚拟化与虚拟机3.硬件虚拟化与软件虚拟化4.KVM虚拟化5.KVM(CPU虚拟化)+Qemu(IO设备虚拟化)+Libvirt(提供管理控制台)虚拟化及虚拟机管理重量级虚拟化，轻量级虚拟化（docker容器计算）VMM将物理硬件整合宿主机(host)：跑VMM的机器客户机...

2020-05-06 16:04:01 759

原创 scala学习从基础到入门-scala介绍-从入门到高级

#day1# scala基础*.名词：*表达式：可计算的语句*常量：val，不能被重新赋值*变量：var，能被重新赋值*代码块*函数：带有参数的表达式*方法：由def定义，后面跟一个方法名、参数列表、返回类型和方法体*类：class定义，跟类名和构造参数*样例类：case class 跟类名和参数，默认情况下，样例类一般用于不可变对象，并且可作值比较，样例类可以不用new关键字...

2020-05-06 16:02:04 262

原创 storm学习从基础到入门-基础概念介绍

storm：实时处理引入：流式计算逻辑一般简单效率高(内存中运算，一遍取一边运算，能达到每秒55M的吞吐)处理日志，拿到ip，分区域类似：spark streaming，kafka;生产者消费者(storm，spark…) 做数据传输flume：高吞吐量分布式采集组件，用法以配置为主，source target滑动窗口案例：实时推荐，预警：疾病预警，趋势运算：报表概念：...

2020-05-06 16:00:24 192

原创 linux学习从基础到入门、Ubuntu16.04安装方式及磁盘扩容方式

#Linux内核：管理硬件shell：硬件和用户之间的桥梁文件系统：存储文件DNS:114.114.114.114, 223.5.5.5, 8.8.8.8窗口最大化:发送文件到另一个虚拟机scp 文件绝对地址文件名设备用户@ip：目的文件夹提取压缩包到桌面sudo ./vmware-install.plsudo apt updatesudo apt install ope...

2020-05-06 15:51:33 310

原创 redis学习从基础到入门详细介绍五种数据类型及持久化技术

1、概念：开源的K-V存储系统2、应用场景：配合关系型数据库做高速缓存，利用其多样的数据结构存储特定的数据3、单线程+多路IO复用技术stringmset …同时设置一个或多个 key-value对mget …同时获取一个或多个 valuemsetnx …同时设置一个或多个 key-value 对，当且仅当所有给定 key 都不存...

2020-05-06 15:47:25 122

原创大数据系统架构及技术体系介绍详细文档

作者：玩世不恭邮箱：18103410154@163.com一、数据采集1、日志采集系统（1）、Flume：Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处...

2020-05-06 15:44:30 2480

翻译 oracle 10g在windows下的安装详细步骤

Oracle 10g 安装步骤1.双击应用程序文件；2.进度条加载完成后出现下图：3.点击下一步，选择接受；4.可以自己选择安装路径，注意选择的路径不能存在中文字符。选择完成后点击下一步；5.设置登录数据库最高权限用户的账号和密码，一般账号和密码都设置为system，以防忘记；system用户的权利较大,可以做的操作多一些而已,例如可以创建新的用户。6.点击下一步后，出现下...

2020-05-06 15:39:32 1542

翻译 hadoop学习高级篇

hadoop笔记快照：游戏存档，关机存档一、HDFS1、HDFS优缺点2.全分布式搭建(1).三台机器：master、slave1、slave2(2).修改每台服务器的hosts文件，添加以下内容 [Master的ip] Master [Slave1的ip] Slave1 [Slave2的ip] Slave2 分布式配置可以保留localhost，也可以删掉，让 Master...

2020-04-30 16:12:17 263

原创 Hadoop学习从基础到精通

##Bigdata#day1tar zxvf weather.tgz退出安全模式： hdfs dfsadmin -safemode leave大数据：通过传统数据库存储技术以及数据处理工具不能处理的庞大而复杂的数据的集合大数据的四个特点：数量大，速度快，种类多，价值密度低大数据处理，大数据分析Hadoop离线分析Spark在线分析，实时分析大数据存储：HDFS： Hadoo...

2020-04-30 16:11:40 356

翻译 JDBC完整笔记

JDBC：一、Why JDBC我们一直说，计算机是用来帮助人们进行快速运算的。运算最根本的依据是数据。那么我们需要有操作的数据的来源，并且最终计算完成后，需要数据能够长久的保存，也就是数据能够持久化。持久化：写入到狭义上讲内存对象 -----------》持久化介质(磁带，磁盘，文件等。。)如果直接写入文件中，可以在应用程序中使用I/O操作来处理数据，但是...

2020-04-30 16:07:16 609

翻译 mysql数据库从入门到高级

Mysql数据库1.安装配置Mysql1.Windows操作Mysql服务器安装成功Mysql之后，会在"控制面板->管理工具->服务"中出现Mysql服务,选中Mysql服务右键选择启动，停止，重启选项。2.Linux操作Mysql服务器0.在线安装sudo apt install mysql-sever-5.7（Ubuntu 16.10和17.04这两个版本对于5.7...

2020-04-30 16:03:57 519

原创 Java基础到高级编程

#Section-11.windows下dos命令：dir：列出当前目录下的文件以及文件夹cd：进入指定目录cd…退回到上一级目录cls：清屏md：创建目录rd：删除目录del：删除文件notepad：创建文件type：显示文本文件内容命令ren：更改文件名命令del：删除文件命令tree：显示磁盘目录结构命令2.java语言特点优点：简单面向对象高性能 ...

2019-07-30 10:38:43 409

lonely_yfl的博客