自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 MySQL主备操作

MySQL版本:8.0.18 参考 前提:保持主从mysql版本一致,数据库和表数据一致(可以通过dump操作。)。并且在配置主备的过程中必须保证master上不能有更新操作(可以通过锁库来操作)。 1.在master和slave节点机器上修改/etc/mysql/mysql.conf.d/mys...

2020-01-03 18:00:44

阅读数 18

评论数 0

原创 Elasticsearch6.3.2的安装

一、下载 下载地址:链接:https://pan.baidu.com/s/17JD8NEE3IV_I56z-n_d99g提取码:v2qp 二、解压 tar -zxvfelasticsearch-6.3.2.tar.gz 三、用root用户修改limits.conf文件,在文件末尾添加以...

2019-07-26 18:41:49

阅读数 124

评论数 0

原创 Elasticsearch的简单使用

一、介绍 Elasticsearch是一个实时分布式搜索和分析引擎。维基百科、卫报、Stack Overflow、GitHub都使用了Elasticsearch。Elasticsearch 是一个开源的搜索引擎,建立在一个全文搜索引擎库Apache Lucene™基础之上。Elasticsea...

2019-07-26 10:39:13

阅读数 25

评论数 0

原创 循环队列的JAVA实现

循环队列1:(通过预留一个元素空间来判断队空或队满)  public class SqQueue { private final int MAXSIZE = 100; int rear; int front; int[] data = new int[MAXSIZE]; publi...

2019-02-15 22:39:19

阅读数 48

评论数 0

原创 Hive命令的执行过程

1.入口/bin/cli.sh 调用CliDriver类进行初始化过程 >处理-e,-f, -h等信息,如果是-h,打印提示信息,并退出 >读取hive的配置文件,设置HiveConf >创建一个控制台,进入交互模式 2.在交互方式下,读...

2018-12-02 17:02:22

阅读数 1661

评论数 2

原创 windows桌面右键菜单以及文件右键菜单添加自定义应用程序

一、桌面右键菜单添加应用程序(以计算器为例) 1.使用命令regedit打开注册表,来到\HKEY_CLASSES_ROOT\Directory\Background\shell\ 目录下 2、在shell目录下新建项为Calculator的目录,并且在右边双击“(默认)”,输入...

2018-12-02 11:42:54

阅读数 1013

评论数 1

原创 python中lxml模块下的xpath用法

安装  pypi下载地址:https://pypi.python.org/pypi/lxml/3.4.2#downloads pip install lxml XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。XPath 是 W3...

2018-12-02 08:09:33

阅读数 307

评论数 0

翻译 MapReduce的shuffle过程

shuffle和排序     MapReduce确保每个reducer的输入都是按键排序的。系统执行排序、将map输出作为输入传给reducer的过程称为shuffle。在此,我们将学习shuffle 是如何工作的,因为它有助于我们理解工作机制(如果需要优化MapReduce程序)。shuff...

2018-11-29 10:54:12

阅读数 117

评论数 1

转载 JVM(HotSpot)垃圾回收器

首先了解两个概念: 新生代GC(Minor GC) 指发生在新生代的垃圾收集动作,因为Java对象大多都具备朝生夕灭的特性,所以Minor GC非常频繁,一般回收速度也比较快。 老年代GC(Major GC/Full GC) 指发生在老年代的GC,出现了Major GC,经常会伴随至...

2018-11-28 22:21:26

阅读数 225

评论数 0

原创 剖析HDFS文件的读取

   客户端通过调用FileSystem对象的open()方法来打开希望读取的文件,对于HDFS来说,这个对象是DistributedFileSystem的一个实例(图中的步骤1)。DistributedFileSystem通过使用远程过程调用(RPC)来调用namenode,以确定文件起始块...

2018-11-27 08:50:29

阅读数 237

评论数 0

原创 剖析HDFS的文件写入

客户端通过对DistributedFileSystem对象调用create()来新建文件(步骤1)。DistributedFileSystem对namenode创建一个RPC调用,在文件系统的命名空间中新建一个文件,此时该文件中还没有相应的数据块(步骤2)。namenode执行各种不同的检查以确...

2018-11-22 08:37:08

阅读数 290

评论数 0

原创 剖析MapReduce作业运行机制

作业的提交 Job的submit()方法创建一个内部的JobSummiter 实例,并且调用其submitJobInternal()方法(参见步骤1)。提交作业后,waitForCompletion()每秒轮询作业的进度,如果发现自上次报告后有改变,便把进度报告到控制台。作业完成后,如果成功,...

2018-11-21 20:02:34

阅读数 286

评论数 0

原创 java对象的初始化

public class B{ public static B t1 = new B(); public static B t2 = new B(); { System.out.println("构造块"); } sta...

2018-11-20 09:34:55

阅读数 200

评论数 0

原创 数据库的事务锁

S是共享锁,X是排他锁。 如果对一个事物加了X锁,则不能加任何锁。 如果对一个事物加了S锁,则只能加S锁不能加X锁。

2018-11-19 20:19:11

阅读数 122

评论数 0

原创 HBase

HBase: HBase是一个建立在HDFS之上的分布式,提供高可靠性,高性能,列存储,可伸缩,实时读写NoSQL的数据库系统。 优点:  (1)大:一个表可以有上十亿行,上百万列。 (2)面向列:面向列(簇)的存储和权限控制,列(簇)独立检索。 (3)稀疏:对于为空(null)的...

2018-11-18 10:07:25

阅读数 240

评论数 0

原创 线程的6种状态

以下是java源码 public enum State { /** * Thread state for a thread which has not yet started. */ NEW, /**...

2018-11-18 08:54:44

阅读数 176

评论数 0

原创 解决-bash: warning: setlocale: LC_CTYPE: cannot change locale (en_US.UTF-8): No such file or directory

一、vi /etc/sysconfig/i18n,添加下面两行语句 LC_ALL=C export LC_ALL 二、再执行下面的语句,使之生效 source /etc/sysconfig/i18n  

2018-11-16 21:30:58

阅读数 365

评论数 0

原创 解决/lib64/libc.so.6: version `GLIBC_2.14'问题

全程使用root用户,不要sudo 一、下载glibc-2.14.tar.gz 二、解压 tar -zxvf glibc-2.14.tar.gz 三、创建bulid文件夹 cd glibc-2.14.1 mkdir build 四、 cd build ../con...

2018-11-16 21:25:33

阅读数 1305

评论数 0

原创 /usr/lib64/libstdc++.so.6: version `GLIBCXX_3.4.15' not found的解决办法

一、下载libstdc++.so.6.0.18 二、将该文件放入/usr/lib64下 mv libstdc++.so.6.0.18 /usr/lib64 三、先删除软连接 cd /usr/lib64 rm -f libstdc++.so.6 四、再创建软连接 ln...

2018-11-16 21:13:21

阅读数 172

评论数 0

原创 Linux时间同步(Fri Nov 16 12:12:13 Local time zone must be set--see zic manual page 2018)解决办法

第一种方式: 1、选择时区: tzselect 2、提示将"TZ='Asia/Shanghai'; export TZ"语句添加到环境变量文件 sudo vi /etc/profile sudo source /etc/profile ...

2018-11-16 20:20:46

阅读数 363

评论数 1

原创 Linux安装MySQL(5.7.24)

前奏 一、使用命令查看是否已安装MySQL yum list installed | grep mysql 二、如果有安装MySQL,请先卸载 yum –y remove mysql-libs.X86_64 或 yum erase mysql-libs.x86_64 在线安装...

2018-11-16 11:22:53

阅读数 302

评论数 0

原创 hive(1.2.1)安装

一、点击下载hive 二、解压 tar -zxvf apache-hive-1.2.1-bin.tar.gz 三、创建软连接 ln -s apache-hive-1.2.1-bin hive 四、配置环境变量 vi ~/.bashrc HIVE_HOME=/home...

2018-11-16 11:08:17

阅读数 252

评论数 0

原创 hbase(1.3.1)的完全分布式安装

1、解压压缩包 tar -zxvf hbase-1.3.1-bin.tar.gz 2、创建软连接 ln -s hbase-1.3.1/ hbase 3、配置环境变量 HBASE_HOME=/home/sweeney/soft/hbase PATH=HBASE_HOME/...

2018-11-11 21:19:37

阅读数 179

评论数 0

原创 搭建High Availability(HA)集群使用 the Quorum Journal Manager(QJM)

一、手动HA 1、如果是创建全新的HA集群,请先完成这篇博客的前18步。 2、修改core-site.xml <property> <name>fs.defaultFS</name> &l...

2018-11-04 16:00:44

阅读数 185

评论数 0

原创 ZooKeeper3.4.6的安装

Apache ZooKeeper致力于开发和维护开源服务器,实现高度可靠的分布式协调。ZooKeeper是一种集中式服务,用于维护配置信息,命名,提供分布式同步和提供组服务。所有这些类型的服务都以分布式应用程序的某种形式使用。每次实施它们都需要做很多工作来修复不可避免的错误和竞争条件。由于难以实...

2018-11-04 15:40:37

阅读数 141

评论数 0

原创 namenode和datanode

HDFS集群有两类节点以管理节点-工作节点模式运行,即一个namenode(管理节点)和多个datanode(工作节点)。  namenode 维护命名空间、保存元数据和用户对hdfs的操作、副本数等等,管理文件系统命名空间的主服务器和管理客户端对文件的访问组成,它还确定了块到DataN...

2018-11-01 20:52:59

阅读数 241

评论数 0

原创 ifconfig命令看不到eth0

1.编辑 vim /etc/udev/rules.d/70-persistent-net.rules ,将eth0那行删去,下面的eth1改为eth0,将剩下那行的mac地址记下来。 2.打开 vim /etc/sysconfig/network-scripts/ifcfg-eth0,该文...

2018-10-28 15:03:36

阅读数 505

评论数 0

原创 hadoop完全分布式搭建

1、安装linux操作系统。本人的为CentOS6.8。(带不带图形化界面都无所谓) 2、配置网络,固定ip。本人一般采用nat模式。 3、关闭防火墙 老版本centos命令 ---------------------------- 查看防火墙状态 chkconfig iptabl...

2018-10-28 11:57:16

阅读数 412

评论数 0

原创 windows下搭建Hadoop开发环境

1、将集群上的hadoop压缩包解压到windows下。 2、将hadoop-eclipse-plugin-2.7.3.jar放在eclipse中的plugin目录下。重启eclipse 3、在eclipse->preferences中选择windows下的hadoop解压包路...

2018-10-24 21:25:23

阅读数 148

评论数 0

原创 Hadoop问题集

1、提交远程mr任务如果在eclipse控制台打印信息不是红色字体或者沒有输出 在HADOOP_HONE下搜索log4j.propertites,将只有10k左右大小的log4j.properties放到src下。 2、提交远程mr任务如果出现用户权限问题,大概有5种解决办法。 1、将w...

2018-10-24 21:24:48

阅读数 139

评论数 0

原创 让mapreduce任务在远程集群上运行

一、编写好map和reduce方法。 二、下载集群上的core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml四个文件并放到src根目录下。 三、编写驱动程序,然后在获取Job对象之前,添加以下代码: conf.set("...

2018-10-23 21:23:14

阅读数 384

评论数 0

原创 数据库系统的整体结构

从构件角度看,数据库系统由硬件、软件等部分组成。 从数据库管理系统角度看,数据库系统通常采用三级模式结构,这是数据库管理系统内部的系统结构。 从最终用户角度看,数据库系统结构可以分为集中式结构、分布式结构、客户/服务器结构和并行结构。这也是数据库系统外部的体系结构。 在数据库系统中,用户看到的数...

2018-10-06 15:40:23

阅读数 597

评论数 0

原创 HashMap原理

HashMap中定义了一个Node数组table用来存储元素。 transient Node<K,V>[] table; 如果调用HashMap的无参构造器创建HashMap对象,一开始,HashMap不会实例化table数组。只有第一次调用put(K k...

2018-10-06 15:26:43

阅读数 120

评论数 0

原创 优化Hibernate所鼓励的7大措施

1.尽量使用many-to-one,避免使用单项one-to-many 2.灵活使用单向one-to-many 3.不用一对一,使用多对一代替一对一 4.配置对象缓存,不使用集合缓存 5.一对多使用Bag 多对一使用Set 6.继承使用显示多态 HQL:from object polymorph...

2018-10-06 09:37:57

阅读数 108

评论数 0

原创 JVM堆内存

JVM堆内存分为2块:Permanent Space 和 Heap Space。 Permanent 即 持久代(Permanent Generation),主要存放的是Java类定义信息,与垃圾收集器要收集的Java对象关系不大。Heap = { Old + NEW = {Eden, fro...

2018-10-04 20:22:58

阅读数 139

评论数 0

原创 Java和C++的区别

1. Java是解释型语言,所谓的解释型语言,就是源码会先经过一次编译,成为中间码,中间码再被解释器解释成机器码。对于Java而言,中间码就是字节码(.class),而解释器在JVM中内置了。 2. C++是编译型语言,所谓编译型语言,就是源码一次编译,直接在编译的过程中链接了,形成了机器码。 ...

2018-10-04 18:21:41

阅读数 59

评论数 0

原创 JSP九大内置对象

内置对象名 类型 request HttpServletRequest response HttpServletResponse config ServletConfig application ServletContext...

2018-10-04 17:56:29

阅读数 93

评论数 0

原创 JVM怎样判断两个类是否相同

Java 虚拟机不仅要看类的全名是否相同,还要看加载此类的类加载器是否一样。只有两者都相同的情况,才认为两个类是相同的。即便是同样的字节代码,被不同的类加载器加载之后所得到的类,也是不同的。比如一个 Java 类 com.example.Sample,编译之后生成了字节代码文件 Sample.c...

2018-10-04 10:39:13

阅读数 664

评论数 1

原创 重定向&转发

重定向: 客户端发送请求,web服务器接收该请求后发送302状态码响应并且发送新的一个地址(location)给客户端浏览器,客户端接收到302则自动再发送一个新的请求,而这个请求就是新的location,既然是客户端发送的一个请求,就对web容器的request没关系了,它可以任意跳转到所有...

2018-10-03 11:08:23

阅读数 118

评论数 0

原创 shell编程之函数

在shell脚本中,我们也可以定义函数,封装逻辑,进行调用 定义语法: [function] functionName() {     逻辑 } 调用语法(不加小括号): functionName 说明: 1、关键字function,可以忽略不写 2、return关键字,可加可不...

2018-10-01 16:17:16

阅读数 124

评论数 0

提示
确定要删除当前文章?
取消 删除