- 博客(41)
- 资源 (2)
- 收藏
- 关注
原创 使用kudu的javaapi创建表报错
org.apache.kudu.client.NoLeaderFoundException: Master config, has no leader. Exceptions received: org.apache.kudu.client.RecoverableException: Failed to connect to peer master-cdh2:7051(cdh2:7051): Connection refused: no further information:运行程序的时候发现抱错ku
2020-05-19 15:31:07
595
原创 socket回顾
Socket是Java中为了支持基于TCP / UDP协议的通信所提供的编程模型 Socket分为Socket server和Socket client Socket server 监听某个端口, 接收Socket client发过来的连接请求建立连接, 连接建立后可以向Socket client发送TCP packet交互 (被动) S...
2020-05-07 09:35:20
120
原创 Linux安装netcat
1.联网状态下yum install nc.x86_642.离线状态下下载好nc-1.84-22.el6.x86_64.rpm 包,参考下载地址wget http://vault.centos.org/6.6/os/x86_64/Packages/nc-1.84-22.el6.x86_64.rpm执行rpm -iUv nc-1.84-22.el6.x86_64.rpm...
2020-05-07 09:31:24
638
原创 eclipse打开选择完工作空间之后,闪现不见
问题出在工作空间删除[workspace]/.metadata/.plugins/org.eclipse.e4.workbench/workbench.xmi 这个文件,此处的[workspace] 是你自己选择的工作空间
2020-04-21 10:58:52
264
原创 Eclipse错误: 找不到或无法加载主类
我的问题原因是,编码错误无法保存文件后编译成功。修改UTF-8编码时失败,找到项目下所有编码有问题的文件,将乱码删除后保存文件。然后clean再重新运行即可成功。...
2020-04-12 10:19:11
252
原创 notepad++远程连接FTP进行文件编辑
1.打开notepad++,点击插件--》插件管理,搜索NppFTP ,点击安装,安装完成后自动重启(此为在线安装,保持网络畅通)。2.重启后点击插件,会出现NppFTP,点击Show NppFTP Window,则会出现下图。3.点击此按钮,进行远程连接设置,,如下图所示,设置完毕后点击close关闭。4.点击该图标进行远程连接。5.点击能够看到连接过程。...
2020-04-05 11:26:18
540
原创 win10配置java环境变量
【我的电脑】--》【高级系统设置】--》【环境变量】--》【系统变量】--》【新建】变量名:JAVA_HOME变量值:D:\SYSTEM_CONFIG_PATH\Java\jdk1.8.0_101(这个路径就是java安装的目录)找到path变量,点击编辑,【编辑环境变量】中选择【新建】填写:%JAVA_HOME%\bin点击确定。win+R输入cmd,输入java -versi...
2020-03-28 14:45:07
218
原创 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask。无法使用函数查询
namenode和datanode 节点时间不一致导致。使用ntp服务统一时间。
2020-03-01 14:39:27
151
原创 HIVE建表问题解决:For direct MetaStore DB connections, we don't support retries at the client level.
其实是元数据库的编码问题,可以有以下2种解决方式,一是alter database hive character set latin1;二是创建元数据库时将数据库编码设置为 latin1,把个别表或者需要存储中文的字段备注的编码设置为utf8。修改hive-site.xml文件中的链接,jdbc:mysql://IP:3306/hive?characterEncoding=UTF-8修...
2020-02-29 19:59:22
512
原创 通过shell脚本定时上传日志文件到hdfs
#!/bin/bash#set java envexport JAVA_HOME=/home/hadoop/apps/jdk1.7.0_80export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/bin:$PATH#set ...
2020-02-08 17:39:55
489
原创 Hdfs
1介绍设计思想是分而治之,将大文件、大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析。 在大数据系统中的应用是为各类分布式运算框架提供数据存储服务。2.特性hdfs中的文件在物理上是分块存储(block),块的大小可以通过配置参数(dfs.blocksize)来规定,默认大小在hadoop2.x版本中是128M,老版本是64M.hdfs文件系统会...
2020-02-08 17:38:04
414
原创 Hadoop(三)---linux编译hadoop2.x
一、准备的资料· 64位linux系统。我使用的是 CentOS· JDK 1.7+。注:使用1.7即可,如果是1.8则会编译失败,1.6没有试过,看网上大牛的帖子说也能过· maven-3.2.5。 这是apache的一个产品,hadoop的编译要就是3.0以上· protobuf 注:谷歌的产品,最好是提前百度准备...
2020-02-08 17:33:58
160
原创 Hadoop(二)--aliyun下安装hadoop集群2.x
0.服务器节点规划hdp01 nn dn nm snn rmhdp02 dn nmhdp03 dn nm1.修改主机名vi /etc/sysconfig/network在NETWORKING_IPV6=noPEERNTP=no后追加一行HOSTNAME=hdp03reboot 之后主机名并没有修改,若是centos7以上的系统则继续使用以下命令host...
2020-02-08 17:32:15
207
原创 Hadoop(一)
1.介绍HADOOP是apache旗下的一套开源软件平台HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理HADOOP的核心组件有 : HDFS(分布式文件系统) YARN(运算资源调度系统) MAPREDUCE(分布式运算编程框架)2.产生背景 HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎...
2020-02-08 17:30:36
121
原创 maven项目出现如下错误Could not calculate build plan
CoreException: Could not calculate build plan: Plugin org.apache.maven.plugins:maven-compiler-plugin:2.3.2 or one of its dependencies could not be resolved: Failed to read artifact descriptor for org....
2020-02-07 15:55:01
388
原创 网络编程模型框架netty(一)
1.介绍netty是一个基于java nio的网络通信框架。Netty是一个NIO client-server(客户端服务器)框架,使用Netty可以快速开发网络应用,例如服务器和客户端协议。Netty提供了一种新的方式来使开发网络应用程序,这种新的方式使得它很容易使用和有很强的扩展性。Netty的内部实现时很复杂的,但是Netty提供了简单易用的api从网络处理代码中解耦业务逻辑。Netty...
2020-02-05 20:25:33
301
原创 网络编程模型 nio
1.简介nio 是new io的简称,1.4之后提供。特性:为所有的原始类型提供缓存支持(Buffer),字符集编码解码解决方案,channel一个原始的i/o抽象,支持锁和内存映射文件的文件访问接口,提供多路(non-blcoking)非阻塞式的高伸缩性网络。2.比较bio 同步阻塞,jdk1.4之前使用,阻塞到读写方法,阻塞到线程来提高并发性能,效果一般nio 同步非阻塞io,...
2020-02-04 20:14:57
293
原创 消息队列(二)
1. JAVA JMSJMS即Java消息服务(Java Message Service)应用程序接口是一个Java平台中关于面向消息中间件(MOM)的API,用于在两个应用程序之间,或分布式系统中发送消息,进行异步通信。Java消息服务是一个与具体平台无关的API,绝大多数MOM提供商都对JMS提供支持。JMS是一种与厂商无关的 API,用来访问消息收发系统消息。它类似于JDBC(Java ...
2020-01-28 15:55:22
116
原创 消息队列(一)
消息队列常用于有生产者和消费者两类角色的多线程同步场景,BlockingQueue是java.util.concurrent下的主要用来控制线程同步的工具。主要方法有:put、take一对阻塞存取;add、poll一对非阻塞存取。插入:add(anObject):把anObject加到BlockingQueue里,即如果BlockingQueue可以容纳,则返回true,否则抛出异常;offe...
2020-01-28 15:44:29
182
原创 redis--(二)
1.String数据类型(常作为缓存使用)一个key能存储512MB数据,String类型是线程安全的,可以存储任何数据,比如jpg图片或者序列化对象set key value / get key 设置值/获取值getrange key start end 截取字符串getset key value 将给定的key设置为value,并返回旧valuemget key...
2020-01-13 16:27:09
107
原创 Redis--(一)
1.nosql介绍not only sql。特点是以下: 不支持sql语法、存储结构和传统关系型数据库中的关系表完全不同,nosql存储的数据都是kv形式、每种nosql数据库都有自己的api和语法以及擅长的业务场景。种类有:mongodb:文档型nosql数据库、擅长做cms内容管理系统、redis:内存数据库,数据结构服务器,号称瑞士军刀,比较轻巧。 hbase:ha...
2020-01-13 11:01:15
148
原创 Zookeeper(二)
1.一致性同步的时间延迟:是实时的。zookeeper中数据的更新和读取是基于paxos一致性算法。2.zookeeper的数据结构: 目录树,每个节点叫做znode,并且有唯一的一个路径标识,每个节点可以携带一份二进制数据,不能超过1M,最好是1k以内。3.节点类型 短暂的(断开连接自己删除)ephemeral 永久的 (断开连接不删除) persistent4....
2020-01-10 21:06:23
147
原创 Zookeeper(一)
Zookeeper是一个分布式系统中的协调服务,就是为用户的分布式应用程序提供协调服务,而zookeeper本身就是一个分布式程序(只要半数以上节点存活,zk就能正常服务),它所提供的服务涵盖:主节点的主备切换、主节点的选举、分布式共享锁、服务器节点动态上下线、统一配置管理。但zookeeeper在底层其实只提供2个功能:管理(存储,读取)用户程序提交的数据,并未用户程序提供数据节点监听服务。...
2019-12-27 09:25:26
108
原创 mysql--日志(五)
1.mysql数据库服务相关的几类日志文件1.1 错误日志error log:记录mysql服务进程mysqld在启动、关闭或运行过程中遇到的几类日志文件1.2 查询日志query log:1.2.1 普通查询日志 general query log:记录客户端连接信息和执行的sql语句信息1.2.2 慢查询日志 slow query log:记录执行时间超出指定值long_que...
2019-10-04 15:34:27
87
原创 mysql--存储引擎(四)
1.存储引擎:常用的有MyISAM 和InnoDB。mysql的每种存储引擎在mysql里是通过插件的方式使用的。支持多种存储引擎。2.事务回顾mysql支持事务的引擎:innodb/ndb。事务四大特性,ACID 原子性,一致性,隔离性,持久性。set autocommit=OFF 禁止自动提交 ON 开启自动提交rollback 回滚事务commit 提交事务3.M...
2019-10-04 15:10:46
148
原创 mysql 修改编码规则为utf8
1.修改linux系统编码vi /etc/sysconfig/i18n将 LANG的值改为"zh_CN.UTF-8"。2.修改my.cnf文件中客户端和服务器端编码为utf8vi my.cnf在[client]下新增default-character-set=utf8在[mysqld]下新增character-set-server=utf83.重启mysql服务...
2019-10-01 13:30:03
231
原创 mysql多实例登陆及关闭问题解决,无mysql进程却在启动的时候显示是运行中(服务启动不了)
初始化密码之后登陆无问题,再次修改密码之后登陆无问题,断掉连接之后重新登陆报错。多实例可用客户端连接,crt却无法登陆,并且关闭报错,rm -rf /data/3306/mysql.sockrm -rf /data/3306/mysql.pid是脚本的问题。...
2019-10-01 13:16:33
283
原创 mysql--多实例安装(3)
1.多实例的作用与问题1.1 有效利用服务器资源。1.2 节约服务器资源。1.3 资源互相抢占的问题:当某个服务实例并发很高或者有慢查询时,整个实例会消耗更多的内存,cpu、磁盘、IO资源,导致服务器上的其他实例提供服务的质量下降。2.什么是多实例在一台机器上开启多个不同的服务端口,运行多个mysql服务进程,这些服务进程通过不同的socket监听不同的服务端口来提供各自的服务...
2019-09-20 15:27:49
65
原创 mysql--cmake安装(2)
1.先安装相关工具依赖包yum -y install lrzszyum install gccyum install gcc-c++yum install ncurses-devel -yyum install bison2.再安装cmakecd /usr/local/src/上传 cmake 包和mysql.tar.gz包tar xf cmake-2.8.8....
2019-09-20 15:26:22
103
原创 mysql--介绍(1)
1.优点: 1.1 性能卓越,服务稳定,很少出现异常宕机 1.2 开放源代码且无版权制约,自主性及使用成本低 1.3 历史悠久,社区及用户非常活跃,遇到问题可寻求帮助。 1.4 软件体积小,安装使用简单,并且易于维护,安装及维护成本低。 1.5 品牌口碑效应,使得企业无需考虑就会用, 1.6 支持多种操作系统,提供多种API接...
2019-09-17 21:40:20
286
原创 数据结构(十)--哈希表
1.什么是哈希表?是一种数据结构,提供了快速的插入和查找操作,基于数组实现。2.哈希化2.1 直接将关键字作为索引。当索引值不再为int型时,大多数索引值是string类型。2.2 将单词转换为索引。2.2.1 将字母转换成ASCII码,然后进行相加。此种方式,当key的哈希码相同时,就会出现不同的key找到同一个值的问题,比如abc和bbb的哈希编码相同。...
2019-09-15 00:11:30
116
原创 数据结构(九)--图
一、图的基本概念1.什么是图和树相像的一种数据结构,通常有一个固定的形状,这是由物理和 抽象的问题来决定的。2.邻接如果两个顶点被同一条边连接,就称这两个顶点是邻接的。3.路径路径是从一个顶点到另一个顶点经过的边的序列。4.连通图和非连通图至少有一条路径可以连接所有的顶点,那么这个图就是连通的,否则就是不连通的。5.有向图和无向图有向图的边是有方向的,如只...
2019-09-14 13:58:22
108
原创 数据结构(八)--二叉树
一、树的基本概念1.优点有序数组插入数据项和删除数据项太慢。链表查找数据太慢。在树中能快速的查找、插入、删除数据项。2.路径顺着连接节点的边从一个节点到另一个节点,所经过的节点顺序排列称为路径。3.根树最上面的节点称为根节点。一棵树只有一个根,而且从根到任何节点有且只有一条路径。4.父节点每个节点都有一条边向上连接到另一个节点,这个节点就称为是下面这个节点的...
2019-09-13 16:56:17
147
原创 数据结构(七)--快速排序
1.快排思想通过将一个数组划分成两个子数组,然后通过递归调用自身为每个子数组进行快速排序来实现。2.划分规则设定关键字,将比关键字小的数据放在一组,比关键字大的放在另外一组,3.自动设定关键字设置数组最右端的数据为关键字。4.代码实现...
2019-09-12 22:20:06
58
原创 数据结构(六)-递归的应用
1 汉诺塔问题 所有的盘子刚开始都放在A上,要求将所有的盘子从A移到C,每次移动一个盘子,任何盘子不能放在比自己小的盘子上。2.代码实现...
2019-09-12 21:44:52
104
原创 数据结构(五)--希尔排序
1. 产生是由科学家Donald L.Shell提出来的,希尔排序基于插入排序,并添加了一些新的特性,从而大大提高插入排序的执行效率。2.插入排序缺点多次移动。假如一个很小的数据在靠右端的位置上,那么要将该数据排序到正确的位置上,则所有的中间数据都需要向右移动一位。3.希尔排序优点通过加大插入排序中元素之间的间隔,并对这些间隔的元素进行插入排序,从而使得数据可以大幅度的移动。当...
2019-09-12 21:43:46
104
原创 数据结构(四)--链表、双端链表、双向链表
一、链表Node类和LinkList类。二、双端链表 链表中保存着对最后一个链节点引用的链表。 从头部进行插入时,要对链表进行判断,如果为空要设置尾节点为新添加的节点。 从尾部进行插入时,如果链表为空,则直接设置头节点为新添加的节点,否则设置尾节点的后一个结点为新添加节点。 从头部进行删除时,判断头节点是否有下一个节点,如果没有则设置尾节点为...
2019-09-12 21:37:18
264
原创 数据结构(三)--栈与队列
一、栈public class MyStack1 {private int top;private long[] arr;public MyStack1(){arr=new long[50];top = -1;}public MyStack1(int maxsize){arr=new long[maxsize];top = -1;}/*** 添加...
2019-09-12 21:32:39
80
原创 数据结构(一)--数组
一、定义数组 long[] arr = new long[]{2,3,4}; long[] arr = new long[10]; arr[0]=1; ... 二、自定义类封装数组public class MyArray1 {private long[] arr;private int element;public MyArray1(){arr=ne...
2019-09-12 21:24:44
756
client.jar
2020-01-10
server.jar
2020-01-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人