- 博客(41)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 使用kudu的javaapi创建表报错
org.apache.kudu.client.NoLeaderFoundException: Master config, has no leader. Exceptions received: org.apache.kudu.client.RecoverableException: Failed to connect to peer master-cdh2:7051(cdh2:7051): Connection refused: no further information:运行程序的时候发现抱错ku
2020-05-19 15:31:07
590
原创 socket回顾
Socket是Java中为了支持基于TCP / UDP协议的通信所提供的编程模型 Socket分为Socket server和Socket client Socket server 监听某个端口, 接收Socket client发过来的连接请求建立连接, 连接建立后可以向Socket client发送TCP packet交互 (被动) S...
2020-05-07 09:35:20
119
原创 Linux安装netcat
1.联网状态下yum install nc.x86_642.离线状态下下载好nc-1.84-22.el6.x86_64.rpm 包，参考下载地址wget http://vault.centos.org/6.6/os/x86_64/Packages/nc-1.84-22.el6.x86_64.rpm执行rpm -iUv nc-1.84-22.el6.x86_64.rpm...
2020-05-07 09:31:24
624
原创 eclipse打开选择完工作空间之后，闪现不见
问题出在工作空间删除[workspace]/.metadata/.plugins/org.eclipse.e4.workbench/workbench.xmi 这个文件,此处的[workspace] 是你自己选择的工作空间
2020-04-21 10:58:52
255
原创 Eclipse错误: 找不到或无法加载主类
我的问题原因是，编码错误无法保存文件后编译成功。修改UTF-8编码时失败，找到项目下所有编码有问题的文件，将乱码删除后保存文件。然后clean再重新运行即可成功。...
2020-04-12 10:19:11
244
原创 notepad++远程连接FTP进行文件编辑
1.打开notepad++,点击插件--》插件管理，搜索NppFTP ，点击安装，安装完成后自动重启（此为在线安装，保持网络畅通）。2.重启后点击插件，会出现NppFTP，点击Show NppFTP Window,则会出现下图。3.点击此按钮，进行远程连接设置，，如下图所示，设置完毕后点击close关闭。4.点击该图标进行远程连接。5.点击能够看到连接过程。...
2020-04-05 11:26:18
516
原创 win10配置java环境变量
【我的电脑】--》【高级系统设置】--》【环境变量】--》【系统变量】--》【新建】变量名：JAVA_HOME变量值：D:\SYSTEM_CONFIG_PATH\Java\jdk1.8.0_101（这个路径就是java安装的目录）找到path变量，点击编辑，【编辑环境变量】中选择【新建】填写：%JAVA_HOME%\bin点击确定。win+R输入cmd,输入java -versi...
2020-03-28 14:45:07
215
原创 Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask。无法使用函数查询
namenode和datanode 节点时间不一致导致。使用ntp服务统一时间。
2020-03-01 14:39:27
146
原创 HIVE建表问题解决：For direct MetaStore DB connections, we don't support retries at the client level.
其实是元数据库的编码问题，可以有以下2种解决方式，一是alter database hive character set latin1;二是创建元数据库时将数据库编码设置为 latin1,把个别表或者需要存储中文的字段备注的编码设置为utf8。修改hive-site.xml文件中的链接，jdbc:mysql://IP:3306/hive?characterEncoding=UTF-8修...
2020-02-29 19:59:22
507
原创 通过shell脚本定时上传日志文件到hdfs
#!/bin/bash#set java envexport JAVA_HOME=/home/hadoop/apps/jdk1.7.0_80export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/bin:$PATH#set ...
2020-02-08 17:39:55
480
原创 Hdfs
1介绍设计思想是分而治之，将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析。 在大数据系统中的应用是为各类分布式运算框架提供数据存储服务。2.特性hdfs中的文件在物理上是分块存储(block),块的大小可以通过配置参数(dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M,老版本是64M.hdfs文件系统会...
2020-02-08 17:38:04
405
原创 Hadoop(三)---linux编译hadoop2.x
一、准备的资料· 64位linux系统。我使用的是 CentOS· JDK 1.7+。注：使用1.7即可，如果是1.8则会编译失败，1.6没有试过，看网上大牛的帖子说也能过· maven-3.2.5。 这是apache的一个产品，hadoop的编译要就是3.0以上· protobuf 注：谷歌的产品，最好是提前百度准备...
2020-02-08 17:33:58
158
原创 Hadoop(二)--aliyun下安装hadoop集群2.x
0.服务器节点规划hdp01 nn dn nm snn rmhdp02 dn nmhdp03 dn nm1.修改主机名vi /etc/sysconfig/network在NETWORKING_IPV6=noPEERNTP=no后追加一行HOSTNAME=hdp03reboot 之后主机名并没有修改，若是centos7以上的系统则继续使用以下命令host...
2020-02-08 17:32:15
203
原创 Hadoop(一)
1.介绍HADOOP是apache旗下的一套开源软件平台HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理HADOOP的核心组件有 ： HDFS（分布式文件系统） YARN（运算资源调度系统） MAPREDUCE（分布式运算编程框架）2.产生背景 HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎...
2020-02-08 17:30:36
117
原创 maven项目出现如下错误Could not calculate build plan
CoreException: Could not calculate build plan: Plugin org.apache.maven.plugins:maven-compiler-plugin:2.3.2 or one of its dependencies could not be resolved: Failed to read artifact descriptor for org....
2020-02-07 15:55:01
380
原创 网络编程模型框架netty(一)
1.介绍netty是一个基于java nio的网络通信框架。Netty是一个NIO client-server(客户端服务器)框架，使用Netty可以快速开发网络应用，例如服务器和客户端协议。Netty提供了一种新的方式来使开发网络应用程序，这种新的方式使得它很容易使用和有很强的扩展性。Netty的内部实现时很复杂的，但是Netty提供了简单易用的api从网络处理代码中解耦业务逻辑。Netty...
2020-02-05 20:25:33
293
原创 网络编程模型 nio
1.简介nio 是new io的简称，1.4之后提供。特性：为所有的原始类型提供缓存支持(Buffer),字符集编码解码解决方案，channel一个原始的i/o抽象，支持锁和内存映射文件的文件访问接口，提供多路(non-blcoking)非阻塞式的高伸缩性网络。2.比较bio 同步阻塞，jdk1.4之前使用，阻塞到读写方法，阻塞到线程来提高并发性能，效果一般nio 同步非阻塞io，...
2020-02-04 20:14:57
289
原创 消息队列(二)
1. JAVA JMSJMS即Java消息服务（Java Message Service）应用程序接口是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。Java消息服务是一个与具体平台无关的API，绝大多数MOM提供商都对JMS提供支持。JMS是一种与厂商无关的 API，用来访问消息收发系统消息。它类似于JDBC(Java ...
2020-01-28 15:55:22
113
原创 消息队列(一)
消息队列常用于有生产者和消费者两类角色的多线程同步场景，BlockingQueue是java.util.concurrent下的主要用来控制线程同步的工具。主要方法有：put、take一对阻塞存取；add、poll一对非阻塞存取。插入：add(anObject):把anObject加到BlockingQueue里,即如果BlockingQueue可以容纳,则返回true,否则抛出异常；offe...
2020-01-28 15:44:29
176
原创 redis--(二)
1.String数据类型（常作为缓存使用）一个key能存储512MB数据，String类型是线程安全的，可以存储任何数据，比如jpg图片或者序列化对象set key value / get key 设置值/获取值getrange key start end 截取字符串getset key value 将给定的key设置为value,并返回旧valuemget key...
2020-01-13 16:27:09
103
原创 Redis--（一）
1.nosql介绍not only sql。特点是以下： 不支持sql语法、存储结构和传统关系型数据库中的关系表完全不同，nosql存储的数据都是kv形式、每种nosql数据库都有自己的api和语法以及擅长的业务场景。种类有:mongodb:文档型nosql数据库、擅长做cms内容管理系统、redis：内存数据库,数据结构服务器，号称瑞士军刀，比较轻巧。 hbase:ha...
2020-01-13 11:01:15
145
原创 Zookeeper（二）
1.一致性同步的时间延迟:是实时的。zookeeper中数据的更新和读取是基于paxos一致性算法。2.zookeeper的数据结构： 目录树，每个节点叫做znode,并且有唯一的一个路径标识，每个节点可以携带一份二进制数据，不能超过1M，最好是1k以内。3.节点类型 短暂的（断开连接自己删除）ephemeral 永久的 (断开连接不删除) persistent4....
2020-01-10 21:06:23
146
原创 Zookeeper(一)
Zookeeper是一个分布式系统中的协调服务，就是为用户的分布式应用程序提供协调服务，而zookeeper本身就是一个分布式程序（只要半数以上节点存活，zk就能正常服务）,它所提供的服务涵盖：主节点的主备切换、主节点的选举、分布式共享锁、服务器节点动态上下线、统一配置管理。但zookeeeper在底层其实只提供2个功能：管理（存储，读取）用户程序提交的数据，并未用户程序提供数据节点监听服务。...
2019-12-27 09:25:26
104
原创 mysql--日志(五)
1.mysql数据库服务相关的几类日志文件1.1 错误日志error log:记录mysql服务进程mysqld在启动、关闭或运行过程中遇到的几类日志文件1.2 查询日志query log：1.2.1 普通查询日志 general query log:记录客户端连接信息和执行的sql语句信息1.2.2 慢查询日志 slow query log:记录执行时间超出指定值long_que...
2019-10-04 15:34:27
82
原创 mysql--存储引擎(四)
1.存储引擎：常用的有MyISAM 和InnoDB。mysql的每种存储引擎在mysql里是通过插件的方式使用的。支持多种存储引擎。2.事务回顾mysql支持事务的引擎：innodb/ndb。事务四大特性，ACID 原子性，一致性，隔离性，持久性。set autocommit=OFF 禁止自动提交 ON 开启自动提交rollback 回滚事务commit 提交事务3.M...
2019-10-04 15:10:46
142
原创 mysql 修改编码规则为utf8
1.修改linux系统编码vi /etc/sysconfig/i18n将 LANG的值改为"zh_CN.UTF-8"。2.修改my.cnf文件中客户端和服务器端编码为utf8vi my.cnf在[client]下新增default-character-set=utf8在[mysqld]下新增character-set-server=utf83.重启mysql服务...
2019-10-01 13:30:03
229
原创 mysql多实例登陆及关闭问题解决，无mysql进程却在启动的时候显示是运行中(服务启动不了)
初始化密码之后登陆无问题，再次修改密码之后登陆无问题，断掉连接之后重新登陆报错。多实例可用客户端连接，crt却无法登陆，并且关闭报错，rm -rf /data/3306/mysql.sockrm -rf /data/3306/mysql.pid是脚本的问题。...
2019-10-01 13:16:33
279
原创 mysql--多实例安装(3)
1.多实例的作用与问题1.1 有效利用服务器资源。1.2 节约服务器资源。1.3 资源互相抢占的问题：当某个服务实例并发很高或者有慢查询时，整个实例会消耗更多的内存，cpu、磁盘、IO资源，导致服务器上的其他实例提供服务的质量下降。2.什么是多实例在一台机器上开启多个不同的服务端口，运行多个mysql服务进程，这些服务进程通过不同的socket监听不同的服务端口来提供各自的服务...
2019-09-20 15:27:49
62
原创 mysql--cmake安装(2)
1.先安装相关工具依赖包yum -y install lrzszyum install gccyum install gcc-c++yum install ncurses-devel -yyum install bison2.再安装cmakecd /usr/local/src/上传 cmake 包和mysql.tar.gz包tar xf cmake-2.8.8....
2019-09-20 15:26:22
98
原创 mysql--介绍(1)
1.优点： 1.1 性能卓越，服务稳定，很少出现异常宕机 1.2 开放源代码且无版权制约，自主性及使用成本低 1.3 历史悠久，社区及用户非常活跃，遇到问题可寻求帮助。 1.4 软件体积小，安装使用简单，并且易于维护，安装及维护成本低。 1.5 品牌口碑效应，使得企业无需考虑就会用， 1.6 支持多种操作系统，提供多种API接...
2019-09-17 21:40:20
281
原创 数据结构(十)--哈希表
1.什么是哈希表？是一种数据结构，提供了快速的插入和查找操作，基于数组实现。2.哈希化2.1 直接将关键字作为索引。当索引值不再为int型时，大多数索引值是string类型。2.2 将单词转换为索引。2.2.1 将字母转换成ASCII码，然后进行相加。此种方式，当key的哈希码相同时，就会出现不同的key找到同一个值的问题,比如abc和bbb的哈希编码相同。...
2019-09-15 00:11:30
110
原创 数据结构(九)--图
一、图的基本概念1.什么是图和树相像的一种数据结构，通常有一个固定的形状，这是由物理和 抽象的问题来决定的。2.邻接如果两个顶点被同一条边连接，就称这两个顶点是邻接的。3.路径路径是从一个顶点到另一个顶点经过的边的序列。4.连通图和非连通图至少有一条路径可以连接所有的顶点，那么这个图就是连通的，否则就是不连通的。5.有向图和无向图有向图的边是有方向的，如只...
2019-09-14 13:58:22
103
原创 数据结构（八）--二叉树
一、树的基本概念1.优点有序数组插入数据项和删除数据项太慢。链表查找数据太慢。在树中能快速的查找、插入、删除数据项。2.路径顺着连接节点的边从一个节点到另一个节点，所经过的节点顺序排列称为路径。3.根树最上面的节点称为根节点。一棵树只有一个根，而且从根到任何节点有且只有一条路径。4.父节点每个节点都有一条边向上连接到另一个节点，这个节点就称为是下面这个节点的...
2019-09-13 16:56:17
142
原创 数据结构(七)--快速排序
1.快排思想通过将一个数组划分成两个子数组，然后通过递归调用自身为每个子数组进行快速排序来实现。2.划分规则设定关键字，将比关键字小的数据放在一组，比关键字大的放在另外一组，3.自动设定关键字设置数组最右端的数据为关键字。4.代码实现...
2019-09-12 22:20:06
53
原创 数据结构（六）-递归的应用
1 汉诺塔问题 所有的盘子刚开始都放在A上，要求将所有的盘子从A移到C，每次移动一个盘子，任何盘子不能放在比自己小的盘子上。2.代码实现...
2019-09-12 21:44:52
101
原创 数据结构(五)--希尔排序
1. 产生是由科学家Donald L.Shell提出来的，希尔排序基于插入排序，并添加了一些新的特性，从而大大提高插入排序的执行效率。2.插入排序缺点多次移动。假如一个很小的数据在靠右端的位置上，那么要将该数据排序到正确的位置上，则所有的中间数据都需要向右移动一位。3.希尔排序优点通过加大插入排序中元素之间的间隔，并对这些间隔的元素进行插入排序，从而使得数据可以大幅度的移动。当...
2019-09-12 21:43:46
103
原创 数据结构（四）--链表、双端链表、双向链表
一、链表Node类和LinkList类。二、双端链表 链表中保存着对最后一个链节点引用的链表。 从头部进行插入时，要对链表进行判断，如果为空要设置尾节点为新添加的节点。 从尾部进行插入时，如果链表为空，则直接设置头节点为新添加的节点，否则设置尾节点的后一个结点为新添加节点。 从头部进行删除时，判断头节点是否有下一个节点，如果没有则设置尾节点为...
2019-09-12 21:37:18
257
原创 数据结构(三)--栈与队列
一、栈public class MyStack1 {private int top;private long[] arr;public MyStack1(){arr=new long[50];top = -1;}public MyStack1(int maxsize){arr=new long[maxsize];top = -1;}/*** 添加...
2019-09-12 21:32:39
76
原创 数据结构(一)--数组
一、定义数组 long[] arr = new long[]{2,3,4}; long[] arr = new long[10]; arr[0]=1; ... 二、自定义类封装数组public class MyArray1 {private long[] arr;private int element;public MyArray1(){arr=ne...
2019-09-12 21:24:44
736
client.jar
2020-01-10
server.jar
2020-01-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人