行无止境的博客

原创 java - jstack java堆栈跟踪工具

jstack介绍jstack（stack trace for java）是java虚拟机自带的一种堆栈跟踪工具。jstack用于打印出给定的java进程ID或core file或远程调试服务的Java堆栈信息，如果是在64位机器上，需要指定选项"-J-d64"，Windows的jstack使用方式只支持以下的这种方式：jstack [-l] pid主要分为两个功能：针对活着的进程做本地的或远程的线程dump针对core文件做线程dumpjstack用于生成java虚拟机当前时刻的线程快照。

原创 xshell通过堡垒机登录服务器

具体方案：首先通过ssh的方式登录堡垒机（其实到这一步也是可以的，登录上堡垒机后会提示你要链接的哪个服务器，然后选择登录即可），并通过隧道对服务器建立监听 通过ssh链接上面创建隧道的监听配置新建会话，填写堡垒机的地址与端口号以及堡垒机的账号密码，如图所示配置隧道然后点击隧道，点击添加，类型选择Dynamic(SOCKS4/5)，侦听端口任意填写，保存连接并登录，如图所示：通过ssh链接隧道登录服务器重现新建正常会话窗口，依次填写目标机器地址、端口号、用户名与密码，在代理

原创 java - jstat : 虚拟机统计信息监控工具

jstat说明用于监控虚拟机各种运行状态信息的命令行工具。它可以显示本地或远程虚拟机进程中的类装载、内存、垃圾收集、JIT编译等运行数据，它是运行期定位虚拟机性能问题的首选工具。语法Usage: jstat -help|-options jstat -<option> [-t] [-h<lines>] <vmid> [<interval> [<count>]]Definitions: <option>

原创 java - jinfo jvm配置信息工具

命令说明jinfo（Configuration Info for Java）的作用是实时地查看和调整虚拟机的各项参数。使用jps -v 可以查看虚拟机启动时显示指定的参数列表，但是如果想知道未被显示指定的参数的系统默认值，除了去找资料外，就只能使用jinfo的-flag选项进行查询了。语法[root@localhost ~]# jinfoUsage: jinfo [option] <pid> (to connect to running process)

原创 java - jmap 内存映射工具

说明jdk安装后会自带一些小工具，jmap命令(Memory Map for Java)是其中之一。主要用于打印指定Java进程(或核心文件、远程调试服务器)的共享对象内存映射或堆内存细节。jmap命令可以获得运行中的jvm的堆的快照，从而可以离线分析堆，以检查内存泄漏，检查一些严重影响性能的大对象的创建，检查系统中什么对象最多，各种对象所占内存的大小等等。可以使用jmap生成Heap Dump。如果不想使用jmap命令，要想获取Java堆转储快照还有一些比较“暴力”的手段：譬如在前面用过的 -XX:

原创 hive中使用sql查询优化

目录SQL语句优化count优化count distinct 用sum...group by替换/count ... group by将两个join的表提前filterjoin 过滤掉ID为空的数据（与上面类似）join操作时，小表关联大表配置优化hive-site.xml配置动态分区：map阶段优化减少map数增大map数量reduce阶段优...

原创 hadoop中mapperReduce的shuffle过程

mappermapper的个数默认mapper个数与split个数比例是1:1，split个数，由splitSize决定，splitSize=max(minSize,max(blockSize,maxSize))，即，取这三个参数的中间值。shuffle过程mapper端会处理输入数据产生中间结果，这个中间结果会写入到本地磁盘，而不是HDFS。每个mapper的输出会先写到一个*环...

原创 如何获取mybatis 的sqlSession，获取spring中的sql方法

首先在mybatis.xml定义一个工厂bean，&lt;bean id="sqlSessionFactorySlave" class="org.mybatis.spring.SqlSessionFactoryBean"&gt;  &lt;property name="dataSource" ref="dataSourceSlave" /&gt;   &lt;property

转载 github与git，base操作

一1、安装完git后设置全局用户与邮箱$ git config --global user.name "Your Name"$ git config --global user.email "email@example.com"2、然后我们需要配置SSH2.1、创建SSH Key$ ssh-keygen -t rsa -C "youremail@example.com"登陆GitHub，打开“Ac...

原创 枚举值得使用说明

原创 异常处理

接口定义catch异常1：1、实现类里面可以throws 异常1及异常的子类或者不处理，不可剖出父异常2、实现类里面可以catch异常1及父异常，3、调用方需要throws异常1及父异常4、Try catch时，实际剖出new的异常只能是上一图片（3）的异常及子异常5、Catch处能catch住子异常，不能catch住父异常6、（都在try内）方法1调用方法2，方法2，catch住异常或try中抛...

原创 maven打包成jar文件与打包成tar.gz文件

一、普通main方法入口的jar程序打包 maven-jar-plugin插件与maven-jar-plugin插件用到maven-jar-plugin插件与maven-jar-plugin插件，打包完的jar文件所依赖包没有导包到jar文件中，管理不方便打包命令： maven  -package搭建过程：1、目录结构：2、Pox.xml配置：&lt;build&gt; &lt;final...

原创 linux上mysql安装与创建用户赋予权限（安装包安装）

安装包方式安装MySQL1、先删除自带mysql    yum remove mysql-libs   #yum删除MySQLlib2、上传tar格式安装包（mysql-5.7.19-1.el7.x86_64.rpm-bundle.tar为例）并解压tar -xvf mysql-5.7.19-1.el7.x86_64.rpm-bundle.tar -C /mysql3、进入 mysql目录、查看解...

原创 redis介绍与简单命令

String结构：name----&gt; value命令：SET runoobkey redisGet runoobkey SETNX key value       只有在 key 不存在时设置 key 的值。INCR key             将 key 中储存的数字值增一 DECR key             将 key 中储存的数字值减一DECRBY key decremen...

原创 hdfs shell 命令

在hadoop安装目录下：/hadoop2/hadoop-2.7.31、创建目录hdfs dfs -mkdir /userhdfs dfs -mkdir /user/llx在HDFS中创建一个名为path的目录，如果它的上级目录不存在，也会被创建，如同linux中的mkidr –p。hdfs dfs -mkdir -p /usr/file2、将本地文件或目录（eg:/home/grid/redis...

转载 Java提高篇——Java 异常处理

Java提高篇——Java 异常处理（https://www.cnblogs.com/Qian123/p/5715402.html阅读目录异常的概念异常的概念异常是程序中的一些错误，但并不是所有的错误都是异常，并且错误有时候是可以避免的。比如说，你的代码少了一个分号，那么运行出来结果是提示是错误java.lang.Error；如果你用System.out.println(11/0)，那么你是因为你...

转载 桥接与net模式

#########################桥接上网模式（感觉上网性能好差）#################################1、设置网路链接方式：2、编辑虚拟网路3、补充dns应该为：dns=114.114.114.114不知道可以：在本机上查看ip： 打开dos命令窗口 ，输入 ipconfig  /all4、在网络配置文件 /etc/sysconfig/network ...

原创 java创建注解

说明：1. @Documented 用于描述其它类型的annotation应该被作为被标注的程序成员的公共API，因此可以被例如javadoc此类的工具文档化。Documented是一个标记注解，没有成员2. @Inherited 元注解是一个标记注解，@Inherited阐述了某个被标注的类型是被继承的。如果一个使用了@Inherited修饰的annotation类型被

原创 自定义spring拦截器@Service和@Aspect

/** * @Service和@Aspect第一个注解是使得TimeMonitor受Spring托管并实例化。@Aspect就是使得这个类具有AOP功能（你可以这样理解）两个注解缺一不可eg: */@Service@Aspectpublic class TimeMonitor { //当UserServiceImpl.sayHello方法执行的时候执行此拦截器 @Ar

原创 java8 新特性 lambda

/** * Java 8 lambda表达式示例 * stream式编程 map readuce * * 通过对比方式讲解 * */// 用lambda表达式实现Runnable{其中，只能是任意接口的唯一一个方法}private void lambdaJieKou(){ /**lambda表达式的语法 * (params) -> expression

转载 selenium 操作浏览器

1、基本使用fromselenium importwebdriverfromselenium.webdriver.common.by importByfromselenium.webdriver.support importexpected_conditions asECfromselenium.webdriver.support.wait importWebDriverWaitbrows

原创 BeautifulSoup

from bs4 import BeautifulSoupimport requestsres = requests.get('http://www.baidu.com')res.encoding='UTF-8'bs5 =BeautifulSoup(res.text.encode('utf-8'),'lxml')# print(bs5.prettify())# print(bs5

原创 python requestsm

# 异常处理try: response = requests.get("http://httpbin.org/get", timeout = 0.5) print(response.status_code)except ReadTimeout:# 超时异常 print('Timeout')except ConnectionError:# 连接异常

原创 PyQuery

PyQuery类似于jQuery风格操作html#URL初始化 得到响应的HTMLres=pq(url='http://www.baidu.com',encoding='utf-8')# 输出选中的input标签# print(res('input'))# r = requests.get("http://www.baidu.com")# r.encoding='utf-8'

转载 logback的使用和logback.xml详解

一、logback的介绍　　Logback是由log4j创始人设计的另一个开源日志组件,官方网站： http://logback.qos.ch。它当前分为下面下个模块：　　logback-core：其它两个模块的基础模块　　logback-classic：它是log4j的一个改良版本，同时它完整实现了slf4j API使你可以很方便地更换成其它日志系统如log4j或JDK14 Logg

转载 robackMQ部署与简单使用

安装与启动笔记：/root/soft/RocketMQ/target/alibaba-rocketmq-3.2.2/alibaba-rocketmq/binvi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=vm10-140-28-63.ksc.comvim /etc/hosts127.0.0.1 vm10-140-28-63