- 博客(65)
- 收藏
- 关注
RSS订阅转载 JVM性能调优监控工具jps、jstack、jmap、jhat、jstat使用详解
JDK本身提供了很多方便的JVM性能调优监控工具，除了集成式的VisualVM和jConsole外，还有jps、jstack、jmap、jhat、jstat等小巧的工具，本博客希望能起抛砖引玉之用，让大家能开始对JVM性能调优的常用工具有所了解。 现实企业级Java开发中，有时候我们会碰到下面这些问题： OutOfMemoryError，内存不足 内存泄露 线程...
2018-12-25 11:32:01
299
转载 too many open files(打开的文件过多)解决方法
一、产生原因too many open files(打开的文件过多)是Linux系统中常见的错误，从字面意思上看就是说程序打开的文件数过多，不过这里的files不单是文件的意思，也包括打开的通讯链接(比如socket)，正在监听的端口等等，所以有时候也可以叫做句柄(handle)，这个错误通常也可以叫做句柄数超出系统限制。 引起的原因就是进程在某个时刻打开了超过系统限制的文件数量以及通讯链接数...
2018-12-25 11:13:45
1478
转载 loadrunner 常用事务判断
一、数据值比较 lr_start_transaction("终审") if (atoi(lr_eval_string("{MyOutputParm}"))==atoi("11-1")) { lr_end_transaction("终审",LR_PASS); } else lr_end_transaction("终审",LR_FAI...
2018-10-17 09:55:21
1615
原创 Python虚拟环境virtualenv的安装与使用详解
动态语言Ruby、Python都有自己的虚拟环境，虚拟环境是程序执行时的独立执行环境，在同一台服务器中可以创建不同的虚拟环境供不同的系统使用，项目之间的运行环境保持独立性而相互不受影响。例如项目可以在基于Python2的环境中运行，而项目B可以在基于Python3的环境中运行。Python通virtualenv工具管理虚拟环境。安装 virtualenv? 1 ...
2018-08-10 15:06:06
661
转载 Python_正则表达式二
1 ''' 2 正则表达式对象的sub(repl,string[,count=0])和subn(repl,string[,count=0])方法用来实现字符串替换功能 3 ''' 4 example='''Beautiful is better than ugly. 5 Explicit is better than implicit. 6 Simple is better...
2018-08-07 16:44:09
325
转载 Python_正则表达式一
''' 2 常用的正则表达式元字符 3 . 匹配换行符以外的任意单个字符 4 * 匹配位于'*'之前的字符或子模的0次或多次出现 5 + 匹配位于'+'之前的字符或子模式的1次或多次出现 6 - 用在[]之内用来表示范围 7 | 匹配位于'|'之前或之后的字符 8 ^ 匹配行首，匹配以^后面的字符开头的字符串 9 $ 匹配行尾，匹配以$之前的字符结束...
2018-08-07 10:39:59
325
转载 Python_正则表达式样例
1 ''' 2 正则表达式是字符串处理的有力工具和技术，正则表达式使用预定义的特定模式去匹配一类具有共同特征的字符串， 3 主要用于字符串处理，可以快速、准确地完成复杂的查找、替换等处理要求。 4 正则表达式由元字符及其不同组合来构成，通过巧妙地构造正则表达式可以匹配任意字符串，并完成复杂的字符串处理任务。 5 ''' 6 ''' 7 如果以'\'开头的元字符与转义字符相同，则需要使...
2018-08-07 10:26:30
321
转载 Python中__new__()方法的使用和实例化
new()是在新式类中新出现的方法，它作用在构造方法init()建造实例之前，可以这么理解，在Python 中存在于类里面的构造方法init()负责将类的实例化，而在init()调用之前，new()决定是否要使用该init()方法，因为new()可以调用其他类的构造方法或者直接返回别的对象来作为本类 的实例。 如果将类比喻为工厂，那么init()方法则是该工厂的生产工人，init()方法接受的初始...
2018-08-06 18:10:42
380
转载 python倒序排列方法梳理
1、数组倒序：原始元素的倒序排列arr = [1,2,3,4,3,4](1)print arr[::-1] ---->[4, 3, 4, 3, 2, 1](2)arr.reverse() print arr ---->[4, 3, 4, 3, 2, 1](3)reversed(arr) #返回一个倒序可遍历对象，需序遍历出a...
2018-08-06 14:42:04
12474
原创 python-map()、reduce()使用
3.map()/reduce()格式：map( func, seq1[, seq2...] )Python函数式编程中的map()函数是将func作用于seq中的每一个元素，并用一个列表给出返回值。如果func为None，作用同zip().map()函数功能是：map()是 Python 内置的高阶函数，它接收一个函数 f 和一个 list，并通过把函数 f 依次作用在 list 的每...
2018-08-02 17:53:22
169
转载 python中的zip、map、reduce 、lambda函数的使用。
lambda只是一个表达式，函数体比def简单很多。lambda的主体是一个表达式，而不是一个代码块。仅仅能在lambda表达式中封装有限的逻辑进去。lambda表达式是起到一个函数速写的作用。允许在代码内嵌入一个函数的定义。如下例子：定义了一个lambda表达式，求三个数的和。再看一个例子：用lambda表达式求n的阶乘。-------------------...
2018-08-01 18:33:36
216
转载 python列表排序方法reverse/sort/sorted详解
python语言中的列表排序方法有三个：reverse反转/倒序排序、sort正序排序、sorted可以获取排序后的列表。在更高级列表排序中，后两中方法还可以加入条件参数进行排序。reverse()方法将列表中元素反转排序，比如下面 >>> x = [1,5,2,3,4] >>> x.reverse() >>>...
2018-08-01 18:00:17
1594
转载 JVM调优总结 -Xms -Xmx -Xmn -Xss（转载）
堆大小设置 JVM 中最大堆大小有三方面限制：相关操作系统的数据模型（32-bt还是64-bit）限制；系统的可用虚拟内存限制；系统的可用物理内存限制。32位系统下，一般限制在1.5G~2G；64为操作系统对内存无限制。我在Windows Server 2003 系统，3.5G物理内存，JDK5.0下测试，最大可设置为1478m。典型设置： java -Xmx3550m -Xms3550m -...
2018-08-01 17:51:12
233
转载 python-序列化
序列化阅读: 137262在程序运行的过程中，所有的变量都是在内存中，比如，定义一个dict：d = dict(name='Bob', age=20, score=88)可以随时修改变量，比如把name改成'Bill'，但是一旦程序结束，变量所占用的内存就被操作系统全部回收。如果没有把修改后的'Bill'存储到磁盘上，下次重新运行程序，变量又被初始化为'Bob
2018-01-04 14:28:36
571
1
转载 python-使用元类
使用元类阅读: 254175type()动态语言和静态语言最大的不同，就是函数和类的定义，不是编译时定义的，而是运行时动态创建的。比方说我们要定义一个Hello的class，就写一个hello.py模块：class Hello(object): def hello(self, name='world'): print('Hello
2018-01-04 14:03:26
227
转载 python-使用@property
在绑定属性时，如果我们直接把属性暴露出去，虽然写起来很简单，但是，没办法检查参数，导致可以把成绩随便改：s = Student()s.score = 9999这显然不合逻辑。为了限制score的范围，可以通过一个set_score()方法来设置成绩，再通过一个get_score()来获取成绩，这样，在set_score()方法里，就可以检查参数：class Student(ob
2018-01-04 10:27:40
220
转载 python装饰器
由于函数也是一个对象，而且函数对象可以被赋值给变量，所以，通过变量也能调用该函数。>>> def now():... print '2013-12-25'...>>> f = now>>> f()2013-12-25函数对象有一个__name__属性，可以拿到函数的名字：>>> now.__...
2018-01-04 10:14:06
179
转载 python函数str.format()
自python2.6开始，新增了一种格式化字符串的函数str.format()，此函数可以快速处理各种字符串。语法它通过{}和:来代替%。请看下面的示例，基本上总结了format函数在python的中所有用法 1 #通过位置 2 print '{0},{1}'.format('chuhao',20) 3 4 print '{},{}'.format('chu
2018-01-03 09:53:04
276
原创 python测试dubbo接口
本文主要介绍使用Python调用Hession协议dubbo接口示例。关于Dubbo Hession协议：Dubbo本身支持多种远程调用方式，例如Dubbo RPC（二进制序列化 + tcp协议）、http invoker（二进制序列化 + http协议）、hessian（二进制序列化 + http协议）、WebServices （文本序列化 + http协议）等。Du
2017-12-27 23:46:45
7161
原创 Telent调试dubbo接口
[root@testenv conf]# telnet 10.1.60.61 20880Trying 10.1.60.61...Connected to 10.1.60.61.Escape character is '^]'.dubbo>dubbo>lscom.njq.nongfadai.service.funds.IWithdrawManageServicecom.n
2017-12-27 14:21:57
383
转载 采用Jmeter测试Dubbo服务接口
采用Jmeter测试Dubbo服务接口 准备两台机器，一台用于部署dubbo的服务端代码，另一台安装jmeter，用于运行客户端的测试脚本。采用zookeeper作为dubbo的注册中心。本次测试所有依赖的版本信息如下： · jdk版本：1.7 · maven版本：3.3 · jmeter版本：3.0 · dubbo版本：2.5.4
2017-12-26 15:45:21
1594
转载 mysql死锁问题
我的具体情况是：使用RobotFramework测试时，本来可以通过的一个case报错了，报错为：InternalError: (1205, u'Lock wait timeout exceeded; try restarting transaction。网上找了很多也没解决问题，还是这篇文章简单有效。2016-10-12更新：找到问题所在了，就是线上开发环境和开本地环境同时跑AT，结果因为争
2017-12-12 20:51:32
295
转载 Oracle 数据泵导入导出总结
Oracle数据泵导入导出是日常工作中常用的基本技术之一，它相对传统的逻辑导入导出要高效，这种特性更适合数据库对象数量巨大的情形，因为我日常运维的数据库对象少则几千，多则几万甚至几十万，所以传统exp/imp就会非常耗时，而数据泵方式就因此脱引而出，下面就详细总结一下数据泵的使用方法，希望能给初学者带来帮助。一、新建逻辑目录 最好以system等管理员创建逻辑目录，Or
2017-12-11 12:30:43
432
转载 Sqoop将MySQL数据库表中数据导入到HBase表中
问题导读： 1、--hbase-table、--hbase-row-key、--column-family及--hbase-create-table参数的作用？ 2、Sqoop将关系型数据库表中数据导入HBase中，默认Rowkey是什么？ 3、如果关系型数据库表中存在多关键字，该怎么办？一、简介及部分重要参数介绍
2017-12-08 20:16:57
2533
原创 Sqoop将MySQL中数据导入到Hive表中
问题导读： 1、--hive-import、--hive-overwrite的作用？ 2、如何处理关系型数据库字段中字符串含有分隔符问题？ 3、使用--hive-import默认字段分隔符是？一行记录分隔符是？ 4、NULL值是怎么处理的？--null-string和--null-string的作用？
2017-12-08 19:46:07
1005
转载 Hive命令行常用操作（数据库操作，表操作）
数据库操作查看所有的数据库hive> show databases ;使用数据库defaulthive> use default;查看数据库信息hive > describe database default; OK db_name comment location owner_name owner_type parame
2017-12-06 18:51:10
4575
转载 sqoop使用与原理
1、sqoop简介 sqoop是一个用来将hadoop中hdfs和关系型数据库中的数据相互迁移的工具，可以将一个关系型数据库（mysql、oracle等）中的数据 导入到hadoop的hdfs中，也可以将hdfs的数据导入到关系型数据库中。2、sqoop的特点： sqoop的底层实现是mapreduce，所以sqoop依赖于ha
2017-12-06 12:46:41
724
转载 sqoop基本操作
1. 查询mysql中的数据库sqoop list-databases --connect jdbc:mysql://haoguan-HP-Compaq-Pro-6380-MT:3306 --username root --password 123456 2. import从mysql中导入数据到hdfscreate database testdb; use
2017-12-06 12:42:09
341
转载 hadoop HDFS常用文件操作命令
命令基本格式:hadoop fs -cmd 1.lshadoop fs -ls /列出hdfs文件系统根目录下的目录和文件hadoop fs -ls -R /列出hdfs文件系统所有的目录和文件2.puthadoop fs -put local file > file >hdfs file的父目录一定要存在，否则命令不会执行
2017-12-06 10:06:50
277
转载 mysql数据导入Hadoop之Sqoop安装
如何将mysql数据导入Hadoop之Sqoop安装 Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop项目开始于
2017-12-06 10:00:35
321
原创 mysql导入导出
导出[root@testenv ~]# mkdir -p /root/mysqlbakup/[root@testenv ~]# mysqldump -uroot -ptest123 --default-character-set=utf8 s72 > /root/mysqlbakup/s72_bak.dump[root@testenv ~]# mysqldump -uroot -p
2017-12-06 09:57:34
157
转载 Hadoop2.6.4、zookeeper3.4.6、HBase1.2.2、Hive1.2.1、sqoop1.99.7、spark1.6.2安装
一、准备虚拟机与编译hadoop">1. 安装虚拟机与编译Hadoop 创建3个虚拟机，分别为hsm01, hss01, hss02hostnameiphsm01192.168.99.145hss01192.168.99.151hss02192.168.99.1522. 配置服务器
2017-12-05 14:36:50
791
转载 HADOOP+ZOOKEEPER+HBASE+HIVE
1.配置yum源Xftp 10.72.39.160 /etc/yum.repo.d/RHEL.repo目的机器上：cd /etc/yum.repos.d/mkdir bakmv CentOS-*.repo bakyum clean allyum makecacheyum list 2.编译64位库yum in
2017-12-05 12:30:35
233
转载 NotServingRegionException: Region is not online: .META.,,1
有时候hbase启动后，通过hbase的shell命令status发现节点都是活着的，但运行其它命令比如list等等时，会报错如：org.apache.hadoop.hbase.NotServingRegionException: Region is not online: .META.,,1 这个原因经过验证，很可能是zookeeper引起的，通常这种情况往往是在你正在运
2017-12-05 10:37:36
1058
转载 HBase Shell命令
下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'添加记录 put '表名称', '行名称', '列名称:', '值'
2017-12-04 21:14:37
160
转载 centos6.5环境下Zookeeper-3.4.6集群环境部署 【系统】Centos 6.5 集群部署 【软件】准备好jdk环境，此次我们的环境是open_jdk1.8.0_101
centos6.5环境下Zookeeper-3.4.6集群环境部署【系统】Centos 6.5集群部署【软件】准备好jdk环境，此次我们的环境是open_jdk1.8.0_101 zookeeper-3.4.6.tar.gz【步骤】1. 准备条件如果有内部dns或者外网有域名，则直接使用域名如果没有需要修改/etc/hosts文件，或者直接使用
2017-12-04 15:27:01
263
转载 Centos6.5 + hadoop2.6.4环境搭建
[整理]Centos6.5 + hadoop2.6.4环境搭建搭建Hadoop集群环境（3台机器）1 准备环境1.1 安装系统，并配置网络使3台机器互联互通，且SSH可直连（无需密码、保存私钥）1.1.1 安装系统安装Centos 6.5系统安装过程略1.1.2 配置网络设置三台机器的iP分别为IP主机名称
2017-11-30 14:28:59
308
原创 JVM监控
JAVA_HOME=/opt/jdk1.7.0_45CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/jre/lib/rt.jar:$CLASSPATH:/app/soft/scheduler/lcfarm-scheduler-0.0.1-RELEASE.jar:/app/soft/scheduler/config/:/app/soft/schedul
2017-11-27 17:17:36
168
转载 Linux逻辑卷管理（LVM）详细教程
测试环境：RHEL5.3；硬盘8G，1000M一个分区分成6个一、创建逻辑卷的步骤：1）通过pvcreate命令将linux分区处理成物理卷（PV)；2）通过vgcreate命令将创建好的物理卷处理成卷组（Vg)；3）通过lvcreate命令将卷组分成若干个逻辑卷（Lv)；之后我们可以对逻辑卷进行格式化，挂载，删除等操作，我们可以动态的调整逻辑卷的大小，并且该操作不会影响我们在
2017-11-25 00:42:43
598
转载 CentOS安装Python2.7与Python2.6并存的方法
最近买了VPS用CentOS用服务系统，以前用Ubuntu的时候感觉Linux还挺好用但是这几天用CentOS的时候让我对Linux有了新的认识，Linux也能让你抓狂！我在原来系统上装了Python2.7后出现各种问题，各种库找不到呀！，因为ContOS里的很多库依赖Python2.6，当安装完Python2.7后会出现各种问题。如果能让其2个版本很好的并存可以解决此问题。后来发现了一篇博客解决
2017-11-24 14:59:58
2162
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人