- 博客(76)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 查看YARN上的HIVE 任务的完整SQL语句
问题hive执行sql提交到yarn上的任务名字是被处理过的，通常只能显示sql的前边一段和最后几个字符，这样就会带来一些问题：1）相近时间提交了几个相近的sql，相互之间无法区分；2）一个任务有问题，想看下这个任务具体执行的是什么？是谁的任务？解决办法通过以下方法可以查看：1）如果任务正在running，进入yarn的ApplicationMaster页面，进入job，点击configuration，右上角过滤框输入“hive.query.string”即可，如图：2）如果任务已经结束，进
2020-11-16 11:19:49
3637
原创 HBASE实践
安装HBASE前需要先安装java和zookeeper此处略过到cdh5下载5.7.0对应的CDH安装包，解压配置HBASE的环境变量修改$HBASE_HOME/conf/hbase-env.shexport JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_201.jdk/Contents/Home修改$HB...
2019-04-30 15:50:47
284
原创 kafka实践
kafka是Java写的，需要依赖jvm先安装jdk或者jre略去jdk安装部分kafka需要zookeeper,先安装zookeeper统一使用CDH5.7.0的包作为学习（http://archive.cloudera.com/cdh5/cdh/5/）配置zookeeper到环境变量export ZOOKEEPER_HOME=/Users/xiejundong/...
2019-04-29 22:36:12
256
原创 flume实践
flume是Java写的，需要依赖jvm，首先安装jre或jdk统一使用cdh5.7.0版本apache-flume-1.6.0-cdh5.7.0-bin，到cdh5下载加入环境变量export FLUME_HOME=/home/hadoop/app/flume export PATH=$FLUME_HOME/bin:$PATH source下让其配置生效拷贝$FLUM...
2019-04-29 17:19:09
285
转载 理解Java的Future模式
先上一个场景：假如你突然想做饭，但是没有厨具，也没有食材。网上购买厨具比较方便，食材去超市买更放心。实现分析：在快递员送厨具的期间，我们肯定不会闲着，可以去超市买食材。所以，在主线程里面另起一个子线程去网购厨具。但是，子线程执行的结果是要返回厨具的，而run方法是没有返回值的。所以，这才是难点，需要好好考虑一下。模拟代码1：package test;public class Commo...
2019-02-11 14:06:25
159
原创 数据库隔离级别
事务4个隔离界别Read UncommittedRead commitedRepeatable readSerializableRead Uncommitted.最低的隔离级别，Read Uncommitted最直接的效果就是一个事务可以读取另一个事务并未提交的更新结果。Read Committed.Read Committed通常是大部分数据库采用的默认隔离级别，它在Re...
2019-01-21 17:34:47
194
原创 java lambda表达式常用方式
代替匿名内部类before @Test public void oldRunable() { new Thread(new Runnable() { @Override public void run() { System.out.println("The old runable no...
2018-12-18 17:46:32
267
原创 Linux NetworkNameSpace Lab
记录一次Linux Network Namespace的实验过程大概思路：新建两个networknamespace test1和test2新建一对 neth peer将它连接到test1 test2给他们分配IP启动起来ping 验证[root@docker ~]# ip netns list #查看当前所有的networknamespace，目前没有[root@dock...
2018-09-18 12:50:02
158
2
转载 数据库断开
在Spring Boot JPA连接Mysql的过程中，经过 8小时后会发现断连的情况。application.properties配置如下(此坑我跳过，欢迎入坑)：spring.datasource.url=jdbc:mysql://localhost/test spring.datasource.username=dbuser spring.datasource.password=db...
2018-08-27 11:04:37
772
转载 数据库未完成
乐观锁乐观锁不是数据库自带的，需要我们自己去实现。乐观锁是指操作数据库时(更新操作)，想法很乐观，认为这次的操作不会导致冲突，在操作数据时，并不进行任何其他的特殊处理（也就是不加锁），而在进行更新后，再去判断是否有冲突了。通常实现是这样的：在表中的数据进行操作时(更新)，先给数据表加一个版本(version)字段，每操作一次，将那条记录的版本号加1。也就是先查询出那条记录，获取出versi...
2018-08-27 11:03:25
173
转载 加密算法(DES,AES,RSA,MD5,SHA1,Base64)比较和项目应用
加密算法分类加密技术通常分为两大类:”对称式”和”非对称式”。对称性加密算法：对称式加密就是加密和解密使用同一个密钥。信息接收双方都需事先知道密匙和加解密算法且其密匙是相同的，之后便是对数据进行加解密了。对称加密算法用来对敏感数据等信息进行加密。非对称算法：非对称式加密就是加密和解密所使用的不是同一个密钥，通常有两个密钥，称为”公钥”和”私钥”，它们两个必需配对使用，否...
2018-07-16 17:41:48
437
原创 springboot填坑日常--统一参数异常处理
最近做springboot项目，踩下的坑，留个笔记接收参数的对象package cn.invcloud.platform.optMnt.vo;import javax.validation.constraints.NotBlank;public class PasswordUserVO { @NotBlank(message = "用户名不能为空") privat...
2018-06-14 17:41:54
4063
原创 一次简单Python爬虫代码记录
顺手记录一次简单Python爬虫代码，留以后备用#!/usr/bin/python# -*- coding: UTF-8 -*-import cookielibimport urllib2from urllib import urlencodeimport MySQLdbfrom bs4 import BeautifulSoup# 数据库mydb = MySQLdb.conn...
2018-06-01 15:04:14
3213
原创 使用visual VM以及visual GC监控Tomcat内存、CPU、GC等信息
工作需要，需要监控Tomcat堆内存使用情况 Tomcat也是Java程序，可以使用visual VM等工具远程监控运行状态 大概步骤如下1.修改catalina.sh在文件中增加以下代码JAVA_OPTS='-Xms2048m -Xmx2048m -Dcom.sun.management.jmxremote -Djava.rmi.server.hostname=10.0.66.2...
2018-05-23 14:39:45
1234
原创 MAC的Python PIP源设置成阿里云
在终端进入目录：cd ~/mac用户家目录如果没有 .pip 文件夹，那么就要新建这个文件夹 mkdir .pip然后在.pip 文件夹内新建一个文件 vi pip.conf，编辑 pip.conf 文件，写入阿里云[global]index-url = http://mirrors.aliyun.com/pypi/simple/[install]trusted-host=mirrors.ali...
2018-05-21 11:51:00
7751
3
转载 深入理解Java字节码
1.概述Java虚拟机中定义的Class文件格式。每一个Class文件都对应着唯一一个类或接口的定义信息，但是相对地，类或接口并不一定都得定义在文件里（譬如类或接口也可以通过类加载器直接生成）。我们只是通俗地将任意一个有效的类或接口所应当满足的格式称为“Class文件格式”，即使它不一定以磁盘文件的形式存在。每个Class文件都是由8字节为单位的字节流组成，所有的16位、32位和64位长度的数据将...
2018-05-18 15:11:47
187
转载 String 、StringBuilder 、 StringBuffer的区别
这三个类之间的区别主要是在两个方面，即运行速度和线程安全这两方面。1.运行速度在这方面运行速度快慢为：StringBuilder > StringBuffer > StringString最慢的原因：String为字符串常量，而StringBuilder和StringBuffer均为字符串变量，即String对象一旦创建之后该对象是不可更改的，但后两者的对象是变量，是可以更改的。以下面...
2018-05-15 15:44:13
128
转载 java传参都是传值
原文链接：https://www.cnblogs.com/woshimrf/p/5263018.html目录首先是String。然后是StringBuffer同理，看自己创建的对象peoplejava中对象作为参数传递给一个方法，到底是值传递，还是引用传递？String和int参数传递是按值传递还是引用传递？一道面试题目，String的传递：?123456789public String chan...
2018-05-13 19:11:17
324
1
原创 mysql的三种外键约束方式
如果表A的主关键字是表B中的字段，则该字段称为表B的外键，表A称为主表，表B称为从表。外键是用来实现参照完整性的，不同的外键约束方式将可以使两张表紧密的结合起来，特别是修改或者删除的级联操作将使得日常的维护工作更加轻松。这里以MySQL为例，总结一下3种外键约束方式的区别和联系。这里以用户表和用户组表为例，这是一个典型的多对一关系，多个用户对应于一个用户组。首先创建用户组表： 创建用户组表 c...
2018-04-26 13:52:19
2409
原创 IDEA热加载springboot
第一步: 在pom.xml增加下面依赖<dependency> <groupid>org.springframework.boot</groupid> <artifactid>spring-boot-devtools</artifactid></dependency>第二步: 打开idea ，File-&...
2018-03-13 14:06:09
188
转载 设置阿里云pip源，加速pip更新速度
Linux系统：创建文件夹mkdir ~/.pip写入内容cat > ~/.pip/pip.conf << EOF[global]trusted-host=mirrors.aliyun.comindex-url=https://mirrors.aliyun.com/pypi/simple/EOFWindows系统：首先在window的文件夹窗口输入 ： %APPDATA%然后创建pip文件
2017-12-28 18:16:43
1049
转载 CentOS7 YUM安装mysql5.7
安装环境：CentOS7 64位 MINI版，安装MySQL5.71、配置YUM源在MySQL官网中下载YUM源rpm安装包：http://dev.mysql.com/downloads/repo/yum/ # 下载mysql源安装包shell> wget http://dev.mysql.com/get/mysql57-community-release-el7-8.n
2017-12-25 10:25:46
695
原创 谷歌浏览器插件开发
谷歌浏览器插件开发简介Chrome扩展主要用于对浏览器功能的增强，它更强调与浏览器相结合。比如Chrome扩展可以在浏览器的工具栏和地址栏中显示图标，它可以更改用户当前浏览的网页中的内容，直接操作浏览页面的DOM树等。这里用它来采集数据，类似于爬虫，然后将处理的数据发送到指定接口，导入数据库。 还有一种Chrome应用，但与浏览器内容相对独立，这里不介绍。开发环境开发浏览器插件不需要特别的工具，只
2017-11-27 16:01:10
7973
1
原创 欢迎使用CSDN-markdown编辑器
nginx+tomcat+memcache实现负载均衡与session共享利用nginx作为前端服务器，反向代理，将请求分发到后端tomcat服务器，同时使用两台memcache缓存服务器（主备）做session共享服务器，实现集群先给出参考文档链接https://github.com/magro/memcached-session-manager/wiki/SetupAndConfiguratio
2017-11-08 16:40:32
211
转载 FTP主动模式和被动模式的区别
基础知识： FTP只通过TCP连接,没有用于FTP的UDP组件.FTP不同于其他服务的是它使用了两个端口, 一个数据端口和一个命令端口(或称为控制端口)。通常21端口是命令端口，20端口是数据端口。当混入主动/被动模式的概念时，数据端口就有可能不是20了。 主动模式FTP： 主动模式下，FTP客户端从任意的非特殊的端口（N > 1023）连入到FTP服务器的命令端口--21
2017-10-19 15:14:13
262
转载 left join on and 与 left join on where的区别
数据库在通过连接两张或多张表来返回记录时，都会生成一张中间的临时表，然后再将这张临时表返回给用户。 在使用left jion时，on和where条件的区别如下：1、 on条件是在生成临时表时使用的条件，它不管on中的条件是否为真，都会返回左边表中的记录。2、where条件是在临时表生成好后，再对临时表进行过滤的条件。这时已经没有left join的含义（必
2017-10-19 14:51:24
169
转载 Linux基础知识之挂载详解（mount,umount及开机自动挂载）
挂载概念简述：根文件系统之外的其他文件要想能够被访问，都必须通过“关联”至根文件系统上的某个目录来实现，此关联操作即为“挂载”，此目录即为“挂载点”,解除此关联关系的过程称之为“卸载”1.挂载：根文件系统外通过关联至根文件系统上的某个目录来实现访问2.挂载点：mount_point，用于作为另一个文件系统的访问入口；(1) 事先存在；(2) 应该使用未被或不
2017-09-28 18:07:48
497
转载 Heartbeat安装
Linux-HA实战（1）— Heartbeat安装接触Heartbeat主要是因为之前项目中使用了TFS，最近想给nameserver做HA，因为TFS官方用的Heartbeat，所以刚好了解下，参考了网络上很多内容，这里简单记录下。内容环境和软件包Heartbeat源码安装Heartbeat yum安装Heartbeat配置测试FAQ参考链接
2017-09-26 14:49:02
591
转载 使用HeartBeat实现高可用HA的配置过程详解
一、写在前面 HA即(high available)高可用，又被叫做双机热备，用于关键性业务。简单理解就是，有2台机器 A 和 B，正常是 A 提供服务，B 待命闲置，当 A 宕机或服务宕掉，会切换至B机器继续提供服务。常见的实现高可用的开源软件有 heartbeat 和 keepalived。 这样，一台 web 服务器一天24小时提供web服务，难免会存在 web 服务挂掉
2017-09-26 10:48:46
193
原创 python3.5下Django +mysql
MySQL 5.7.18 的安装 和 Django 项目与 MySQL 的连接与测试,python3.5是不支持MySQLdb的换成pymysqlDATABASES = {'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': 'Jerry_DB', #数据库名 'USER': 'root', #
2017-09-20 15:00:27
390
转载 lamp环境一键安装
DescriptionLAMP is a powerful bash script for the installation of Apache + PHP + MySQL/MariaDB/Percona Server and so on. You can install Apache + PHP + MySQL/MariaDB/Percona Server in an very easy
2017-09-16 09:40:45
342
转载 Centos7.3安装和配置Mysql5.7
Centos7.3安装和配置Mysql5.7第一步：获取mysql YUM源进入mysql官网获取RPM包下载地址https://dev.mysql.com/downloads/repo/yum/ 点击 下载 右击 复制链接地址 https://dev.mysql.com/get/mysql57-co
2017-09-15 23:24:02
199
转载 python模块系列之 - subprocess
版权声明：本文为博主原创文章，可以转载，但得注明出处。更多精彩文章请关注微信公众号：gloryroadtrain目录(?)[+]在学习这个模块前，我们先用Python的help()函数查看一下subprocess模块是干嘛的：DESCRIPTION This module allows you to spawn processes,
2017-09-08 17:38:53
269
原创 CentOS7安装pip
1、首先安装epel扩展源：$ sudo yum -y install epel-release2、然后安装python-pip$ sudo yum -y install python-pip
2017-08-31 17:33:53
309
原创 CENTOS7使用iptables端口转发
centos7.3默认使用的防火墙应该是firewall，而不是iptables。而我们xxmj服务器使用的是iptables防火墙。所以，在配置防火墙之前，我们需要先关闭firewall，安装iptables。 查看firewall的安装和启动状态 [root@localhost ~]# yum list installed firewalld iptables[root@l...
2017-08-28 14:36:58
11196
2
转载 Tomcat开机启动
1，centos7 使用 systemctl 替换了 service命令查看全部服务命令：systemctl list-unit-files --type service查看服务systemctl status name.service启动服务systemctl start name.service停止服务systemctl stop name.service
2017-08-25 19:16:47
192
转载 开启Tomcat远程调试
在日常开发中，有时需要对远程服务器上的应用进行远程调试，对于tomcat，要进行远程调试其实很简单，只需要在启动tomcat时开启jpda服务即可。什么是JPDA呢？JPDA(Java Platform Debugger Architecture) 是 Java 平台调试体系结构的缩写，通过 JPDA 提供的 API，开发人员可以方便灵活的搭建 Java 调试应用程序。JPDA 主
2017-08-25 14:45:20
203
转载 Rsync详解
原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://atong.blog.51cto.com/2393905/1344829Rsync介绍一、什么是rsyncrsync是一款开源，快速，多功能的可实现增量的本地或远程的数据镜像同步备份的优秀工具。适用于多个平台。从软件名称可以看出来是远程同
2017-08-23 15:19:16
23858
2
转载 HA之DRBD详解（基于CentOS7.0）
作者：【吴业亮】云计算开发工程师 博客：http://blog.csdn.net/wylfengyujiancheng 一、DRBD简介 DRBD的全称为：Distributed ReplicatedBlock Device(DRBD)分布式块设备复制,DRBD是由内核模块和相关脚本而构成，用以构建高可用性的集群。其实现方式是通过网络来镜像整个设备。你可以把它看作是一种网络RAI
2017-08-22 15:40:59
3033
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人