- 博客(287)
- 收藏
- 关注
RSS订阅转载 微信支付/支付宝支付
版权声明：本文为CSDN博主「魅Lemon」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/lemon_TT/article/details/124173111
2022-06-30 09:38:20
3610
原创 hue快速入门--Hadoop可视化分析利
1. 需求引入在大数据生态圈中有很多的技术，每一个技术的使用和管理都有自己的规范，例如hdfs操作有相关的插件，mr任务的监控有相关的页面，hbase的操作也有相对应的页面，那么这些零零散散的管理页面能否统一到一个软件中进行管理呢？2. hue的简介2.1. hue概述Hue是一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公司将其贡献给Apache基金会的Hadoop社区，它是基于Python Web框架Django实现的。 通过
2017-10-10 10:06:50
2393
1
原创 python调用linux命令---神算子
第一种方式，没有返回结果在脚本中import osos.system("在此执行任何linux命令")例如：os.system("ls")第二种方式：在脚本中可以接收返回值import osddd = os.popen('ps -ef | grep java | wc -l').read()if d
2016-03-24 16:22:00
912
原创 内存分配与回收策略---神算子
下面是使用Serial/Serial Old收集器下（ParNew/Serial Old收集器组合的规则也基本一致）的内存分配和回收的策略对象优先在Eden分配1、大多数情况下，对象在新生代Eden区中分配。当Eden区没有足够空间进行分配时，虚拟机将发起一次MinorGC。2、执行GC后，将存活的对象分配到Survivor空间3、无法放到Survivor空
2016-03-24 16:20:32
1011
原创 GC的触发时间
GC的回收是自动的，那么什么时候GC才会做回收呢？在JDK1.6中，CMS收集器的启动阈值时92%，也就是当老年代的内存达到92%时触发GC其他的收集器，等到老年代几乎被填满在进行GC在GC阶段，有个很重要的概念，safepoint点，在safepoint会执行GC还有个概念是safe region，在saferegion中，随时GC其中涉及到的3个重要的特点：
2016-03-24 16:20:04
1482
转载 理解GC日志
GC 堆1、GC 分为两种：Minor GC、Full GC ( 或称为 Major GC )。2、Minor GC 是发生在新生代中的垃圾收集动作，所采用的是复制算法。 a、新生代几乎是所有 Java 对象出生的地方，即 Java 对象申请的内存以及存放都是在这个地方。 b、Java 中的大部分对象通常不需长久存活，具有朝生夕灭
2016-03-24 16:19:39
595
原创 垃圾收集算法
标记-清除算法（Mark-Sweep）1、标记出所有需要回收的对象，在标记完成后统一回收所有被标记的对象2、在标记完成后统一回收所有被标记的对象缺点：一个是效率问题，标记和清除两个过程的效率都不高；另一个是空间问题，标记清除之后会产生大量不连续的内存碎片，空间碎片太多可能会导致以后在程序运行过程中需要分配较大对象时，无法找到足够的连续内存而不得不提前触发另一次垃
2016-03-24 16:16:38
448
原创 对象的访问定位
建立对象是为了使用对象，我们的Java程序需要通过栈上的reference数据来操作堆上的具体对象。由于reference类型在Java虚拟机规范中只规定了一个指向对象的引用，并没有定义这个引用应该通过何种方式去定位、访问堆中的对象的具体位置，所以对象访问方式也是取决于虚拟机实现而定的。目前主流的访问方式有使用句柄和直接指针两种。如果使用句柄访问的话，那么Java堆中将会划分出一块
2016-03-24 16:14:05
655
原创 对象的内存布局
在HotSpot虚拟机中，对象在内存中存储的布局可以分为3块区域：对象头（Header）、实例数据（InstanceData）和对齐填充（Padding）。HotSpot虚拟机的对象头包括两部分信息，第一部分用于存储对象自身的运行时数据，如哈希码（HashCode）、GC分代年龄、锁状态标志、线程持有的锁、偏向线程ID、偏向时间戳等，这部分数据的长度在32位和64位的虚拟机（未开启
2016-03-24 16:13:01
1015
原创 对象的创建
Java是一门面向对象的编程语言，在Java程序运行过程中无时无刻都有对象被创建出来。在语言层面上，创建对象（例如克隆、反序列化）通常仅仅是一个new关键字而已，而在虚拟机中，对象（文中讨论的对象限于普通Java对象，不包括数组和Class对象等）的创建又是怎样一个过程呢？虚拟机遇到一条new指令时，首先将去检查这个指令的参数是否能在常量池中定位到一个类的符号引用，并且检查
2016-03-24 16:12:17
441
原创 JVM内存划分
2.2.1 程序计数器程序计数器（Program Counter Register）是一块较小的内存空间，它可以看作是当前线程所执行的字节码的行号指示器。在虚拟机的概念模型里（仅是概念模型，各种虚拟机可能会通过一些更高效的方式去实现），字节码解释器工作时就是通过改变这个计数器的值来选取下一条需要执行的字节码指令，分支、循环、跳转、异常处理、线程恢复等基础功能都需要依赖这个计数器来完
2016-03-24 16:11:25
386
转载 eclipse启动时间插件
Eclipse插件开发1. 下载并安装jdk和eclipse 这里强调一下: 需要下载Eclipse for RCP and RAP Developers, 否则无法新建Plug-in Development 项目.2. 新建项目 安装好之后打开eclipse, 点击 File->NewProject。选择Plug-in Project，点击Next。新建一个名
2016-03-24 16:10:00
1025
原创 JVM调优总结
年轻代大小选择响应时间优先的应用：尽可能设大，直到接近系统的最低响应时间限制（根据实际情况选择）。在此种情况下，年轻代收集发生的频率也是最小的。同时，减少到达年老代的对象。吞吐量优先的应用：尽可能的设置大，可能到达Gbit的程度。因为对响应时间没有要求，垃圾收集可以并行进行，一般适合8CPU以上的应用。年老代大小选择响应时间优先的应用：年老代使用并发收集
2016-03-24 16:09:08
396
原创 垃圾回收器
Serial收集器：1、是一个单线程的收集器，“Stop The World”2、对于运行在Client模式下的虚拟机来说是一个很好的选择4、简单而高效Serial Old收集器1、Serial收集器的老年代版本，它同样是一个单线程收集器，使用“标记-整理”算法。2、主要意义也是在于给Client模式下的虚拟机使用。3、如果在Server模式下，那么它主
2016-03-24 16:08:19
388
原创 GC日志分析、年轻代、老年代
堆内存Java 中的堆是 JVM 所管理的最大的一块内存空间，主要用于存放各种类的实例对象。在 Java 中，堆被划分成两个不同的区域：新生代 ( Young )、老年代 ( Old )。新生代 ( Young ) 又被划分为三个区域：Eden、From Survivor、To Survivor。这样划分的目的是为了使 JVM 能够更好的管理堆内存中的对象，包括内存的分配以及回收。
2016-03-24 16:05:12
2433
1
转载 eclipse设置jvm
设置参数：-Xverify:none -Xms512m -Xmx512m -Xmn128m -XX:PermSize=96m -XX:MaxPermSize=96m -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -Xnoclassgc -XX:CMSInitiatingOccupancyFraction=85参数解释：-Xverify:none
2016-03-24 16:03:10
1928
原创 jvm的参数查询列表
典型JVM参数设置格式：java -Xmx3550m -Xms3550m -Xmn2g -Xss128k-Xmx3550m：最大堆内存-Xms3550m：初始化堆内存-Xmn2g：年轻代内存。-Xss128k：每个线程的堆栈大小。-XX:NewRatio=4:年轻代与年老代的比值。-XX:SurvivorRatio=4：年轻代中E
2016-03-24 16:02:33
1285
原创 docker
下面再运行$ sudo docker run -d apache2命令来启动运行apache的container,运行结果如下：说明：这条命令是在这个镜像上运行一个容器。 再运行sudo docker logs \9d4d3566e55c0b8829086e9be2040751017989a47b5411c9c4f170ab865afcef 命令，运行结果如下：
2016-03-24 16:01:09
675
转载 IDEA快捷键
IntelliJ Idea 常用快捷键列表Alt+回车 导入包,自动修正Ctrl+N 查找类Ctrl+Shift+N 查找文件Ctrl+Alt+L 格式化代码Ctrl+Alt+O 优化导入的类和包Alt+Insert 生成代码(如get,set方法,构造函数等)Ctrl+H 类的继承关系则可用Ctrl+
2016-03-24 15:58:01
439
原创 Hadoop2.6.0自动化部署脚本（一）---神算子
1 概述最近自己写了一个Hadoop自动化部署脚本，包括Hadoop集群自动化部署脚本和Hadoop增加单节点自动化部署脚本。需要快速部署Hadoop集群的童鞋可以使用该脚本。这些脚本我在用5台虚拟机进行了测试，如果在使用中还有bug，欢迎指出。本文主要介绍Hadoop集群自动化部署脚本，安装的Hadoop版本为2.6.0。2 依赖安装Hadoop2.6.0集群需要依赖JDK和Zookeeper。本
2015-10-21 15:31:34
4747
2
转载 Hbase1.0 客户端api---神算子
最近在试用Hbase1.0的客户端API，发觉变化还是挺大（以前版本也不熟）。到处都是deprecated。现在应该是这样子：Configuration conf = HBaseConfiguration.create();conf.set("hbase.zookeeper.quorum", "quorum1,quorum2,quorum3");conf.set("h
2015-10-07 15:18:49
481
转载 远程调试hadoop各组件
远程调试对应用程序开发十分有用。例如，为不能托管开发平台的低端机器开发程序，或在专用的机器上（比如服务不能中断的 Web 服务器）调试程序。其他情况包括：运行在内存小或 CUP 性能低的设备上的 Java 应用程序（比如移动设备），或者开发人员想要将应用程序和开发环境分开，等等。为了进行远程调试，必须使用 Java Virtual Machine (JVM) V5.0 或更新版本。JP
2015-10-05 19:00:32
380
转载 源代码制作成RPM包
由于自动化运维的需求，需要把所有的源代码打成RPM包，方便以后运维安装管理，一般来说源代码制作成RPM一般需要一下的步骤即可。1，确定Linux 环境中安装了gcc rpmbuild make install等2，从源代码中找到spec文件，用来控制包建立的过程3，打包4，查看制作完成的RPM包以下是一个实例：[html] view plaincopy1
2015-10-05 19:00:07
3226
转载 校验码检验
客户端上传数据或DataNode从其他DataNode上接收数据时，都会检查校验和，把真实数据的校验和同datanode上的校验和进行比较。每创建一个文件filename.txt时，就会在同目录下创建.filename.txt.crc检验和文件，默认情况下，每512个字节就会生成一个32位的校验和，可以在core-site.xml文件中修改默认值： io.bytes.per.checksu
2015-10-05 18:59:40
418
转载 探讨LoadRunner的并发用户和集合点
近来跟踪一个项目，发现同事们在执行性能测试时，比较热衷于使用集合点，从概念上认为要得到并发用户就必须设置集合点，认为在执行一个压力测试脚本时，设置了集合点才算是有效的并发用户，没有设置结合点，就认为可能这个就不能准确的代表并发用户数。当前我并反对这个观点，不过却让我有一种疑虑，促使我想更深入的理解并发用户和集合点，我相信大多数进入性能测试研究领域的朋友都应该有疑惑，主要原因我觉得还是由于不能深入理
2015-10-05 18:58:35
344
转载 使用zookeeper管理多个hbase集群
zookeeper是hbase集群的"协调器"。由于zookeeper的轻量级特性，因此我们可以将多个hbase集群共用一个zookeeper集 群，以节约大量的服务器。多个hbase集群共用zookeeper集群的方法是使用同一组ip，修改不同hbase集群 的"zookeeper.znode.parent"属性，让它们使用不同的根目录。比如cluster1使用/hbase-c1,cluster
2015-10-05 18:57:58
735
转载 让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2
本帖最后由 pig2 于 2014-7-16 02:56 编辑问题导读：1.什么是flume？2.如何安装flume？3.flume的配置文件与其它软件有什么不同？一、认识flume1.flume是什么？这里简单介绍一下，它是Cloudera的一个产品2.flume是干什么的？收集日志的3.flume如何搜集日志？我们把flume比作
2015-10-05 18:57:18
453
转载 对称与非对称加密
1、非对称加密：（用颜色形状区分不同的公钥私钥）1、 把私钥比喻成钥匙，钥匙的底部是一个凹下去的刚戳。2、 把公钥比喻成锁头，与对用私钥相对应。3、 明文用私钥签名，比喻成用私钥底部的戳盖了个凹下去的刚戳（类似于咱们玩游戏中，密码山洞中凹下去的那种锁），签名后，你手头可能有不同的公钥，找到能放进去的对应公钥，不仅可以打开密文文件，还可以知道是哪个私钥加的密。4、
2015-10-05 18:56:16
511
转载 动态代理
代码如下： Java代码 package cn.xiaolu; import java.lang.reflect.InvocationHandler; import java.lang.reflect.Method; import java.lang.reflect.Proxy; /** * 动态代理类使用到了一个接口InvocationHandler和
2015-10-05 18:54:54
301
转载 常用监控命令总结
监控web应用脚本#!/bin/bash result=`curl -s http://192.168.1.220:8080/inote/selfcheck/check.html` if [[ $result = *ok* ]]; then echo 'success' else echo 'error' fi监控CPU的load值（队列中的线程数）：不大于
2015-10-05 18:54:28
393
转载 常用端口
著名端口端口号码 / 层名称注释1tcpmuxTCP 端口服务多路复用5rje远程作业入口7echoEcho 服务9discard用于连接测试的空服务11systat用于列举连接了的端口的系统状态
2015-10-05 18:53:33
590
转载 zookeeper的领导者选举和原子广播
目录： 1、工作原理概述 2、Fast Leader选举算法（领导者选举） 3、Leader与Follower同步数据（原子广播）1、工作原理概述link：http://www.codedump.info/?p=207zookeeper3.3.3源码分析(一)工作原理概述阅读时参考的版本是3.3.3.简单的说
2015-10-05 18:52:58
269
转载 wordcount学习
昨天在自己的电脑上配置了hadoop，也运行了第一个MapReduce程序WordCount程序。但是对mapreduce的编程还很不清楚，在网上转了一段对wordcount的解释，转载学习下。Wordcount的输入是文件夹，文件夹内是多个文件，内容是以空格作分隔符的单词序列，输出为单词，以及他们的数量。首先，在mapreduce程序中，程序会按照setInputFormat中设
2015-10-05 18:51:17
445
转载 window7使用eclipse提交Hadoop作业到Hadoop集群运行方法
Hadoop集群：Hadoop2.6.0，系统：windows7，开发环境：eclipseEclipse调用Hadoop运行MapReduce程序其实就是普通的java程序可以提交MR任务到集群执行而已。1、首先需要配置环境变量：在系统变量中新增：然后再Path中增加：%HADOOP_HOME%\bin;2、需要在开发的MapReduce的m
2015-10-05 18:50:37
2834
转载 window7使用eclipse环境本地运行MapReduce程序方法-----源自网站“神算子”：www.wangsenfeng.com
一、编写目的 开发的MapReduce在提交到Hadoop集群运行之前，测试是否有bug，希望能在本地使用启动main方法的形式查看是否有错误存在，方便程序的检查和修改。本文档主要针对Windows环境下进行MapReduce开发。二、环境 系统：Windows7 开发环境：eclipse Hadoop版本：2.6.0
2015-10-05 18:49:47
3342
转载 vi 显示行号-----源自网站“神算子”：www.wangsenfeng.com
添加行号：在VI的命令模式下输入“:set nu”或者修改vi配置文件“vi ~/.vimrc”，在其中添加“set nu”在VI的命令模式下输入“:set nu”，就有行号了。但是想将这个设置写进VI的配置文件，就# vi ~/.vimrc在这个文件中，添加set nu就行了set nu -- to display line noset n
2015-10-05 18:49:13
634
转载 swap--源自网站“神算子”：www.wangsenfeng.com
简介Linux中Swap（即：交换分区），类似于Windows的虚拟内存，就是当内存不足的时候，把一部分硬盘空间虚拟成内存使用,从而解决内存容量不足的情况。Android是基于Linux的操作系统，所以也可以使用Swap分区来提升系统运行效率[1] 。交换分区，英文的说法是swap，意思是“交换”、“实物交易”。它的功能就是在内存不够的情况下，操作系统先把内存中暂时不用的数据，存到硬盘的交
2015-10-05 18:48:45
4132
转载 shell小节--源自网站“神算子”：www.wangsenfeng.com
1、shell中，获取一个命令的执行结果a=`ps -ef | grep tomcat`注意：“ ` ”这个符号不是单引号，而是esc下面的那个小撇2、读取配置文件[root@master local]# vi host.conf master="192.168.56.200 master" slave1="192.168.56.201 slave1" slav
2015-10-05 18:48:18
919
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人