- 博客(169)
- 收藏
- 关注
RSS订阅转载 测试
testSystem.out.print("test");Java虚拟机内存机制测试部分第一条test转载于:https://www.cnblogs.com/tq03/p/5959959.html
2016-10-14 12:47:00
187
转载 IntelliJ Idea 常用快捷键 列表
1. -----------自动代码-------- 常用的有fori/sout/psvm+Tab即可生成循环、System.out、main方法等boilerplate样板代码 例如要输入for(User user : users)只需输入user.for+Tab 再比如，要输入Date birthday = user.getBirthday();只需输入user.getBir...
2016-02-25 23:12:00
186
转载 解决Linux不能上网ping:unknown host的问题
修改配置文件：/etc/sysconfig/network-scripts/ifcfg-eth0 vim /etc/sysconfig/network-scripts/ifcfg-eth0在里面添加上dns解析的配置即可：重新network： service network restart转载于:https://www.cnblo...
2016-01-30 21:37:00
206
转载 阿里云服务器上开启linux远程桌面连接
一、说明： 本文的目的是实现在windows机器上利用远程桌面连接来访问远程的linux桌面。 这里使用的是阿里云服务器，操作系统为Centos6.5。 二、基本步骤： 1、首先保证服务器已经安装完毕。 2、安装桌面环境，使用下述的命令： yum groupinstall "Desktop"3、安装xrdp服务器，使用如下命令： yum ins...
2016-01-30 20:48:00
1426
转载 Hadoop中的问题排查思路
一、概述： 在实际使用hadoop的过程中，由于涉及到多台服务器、每台机器上可能还有多个服务等。所以当集群环境出现问题时，快速定位到错误出现的地方尤为重要。 在排查错误的过程中，基本上就是通过既有的工具来检测集群的运行时环境、集群日志等来分析导致错误的原因。 二、Java heap： hadoop需要运行在Java运行时环境之上。因此jvm中的内存分配是否处于合理的状态，就是需要...
2016-01-27 16:46:00
144
转载 Flume（4）实用环境搭建：source(spooldir)+channel(file)+sink(hdfs)方式
一、概述： 在实际的生产环境中，一般都会遇到将web服务器比如tomcat、Apache等中产生的日志倒入到HDFS中供分析使用的需求。这里的配置方式就是实现上述需求。 二、配置文件： #agent1 nameagent1.sources=source1agent1.sinks=sink1agent1.channels=channel1#Spoolin...
2016-01-24 11:46:00
113
转载 Flume（3）source组件之NetcatSource使用介绍
一、概述： 本节首先提供一个基于netcat的source+channel（memory）+sink（logger）的数据传输过程。然后剖析一下NetcatSource中的代码执行逻辑。 二、flume配置文件： 下面的配置文件netcat.conf中定义了source使用netcat，它会监听44444端口。 # Name the components on this a...
2016-01-22 21:54:00
464
转载 Flume（2）组件概述与列表
上一节搭建了flume的简单运行环境，并提供了一个基于netcat的演示。这一节继续对flume的整个流程进行进一步的说明。 一、flume的基本架构图： 下面这个图基本说明了flume的作用，以及flume中的基本组件：source、channel、sink。 Source:完成对日志数据的收集，分成transtion 和 event 打入到channel之中。 Channe...
2016-01-22 17:42:00
242
转载 Flume（1）使用入门
一、概述： Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。 先来看几张数据流图： 从上面的图大致可以知道，flume就...
2016-01-20 20:02:00
94
转载 解决虚拟机中使用ntpdate报错：ntpdate[46700]: no server suitable for synchronization found
在使用ntpdate同步时间时出现上述错误： ntpdate[46700]: no server suitable for synchronization found 没有找到好的解决方案，只能换另外一个工具来完成时间同步。 这里使用的Centos6.5，yum源使用的是阿里云的镜像。 yum install -y rdate安装完毕后，使用下述命令即可...
2016-01-20 11:13:00
434
转载 Hive的三种安装方式（内嵌模式，本地模式远程模式）
一、安装模式介绍： Hive官网上介绍了Hive的3种安装方式，分别对应不同的应用场景。 1、内嵌模式（元数据保村在内嵌的derby种，允许一个会话链接，尝试多个会话链接时会报错） 2、本地模式（本地安装mysql 替代derby存储元数据） 3、远程模式（远程安装mysql 替代derby存储元数据） 二、安装环境以及前提说明： ...
2016-01-07 00:25:00
1248
转载 攻城狮在路上（陆）-- 提交运行MapReduce程序到hadoop集群运行
此种方式不能直接在eclipse中调试代码。 首先需要在src下放置服务器上的hadoop配置文件:core-site.xml\yarn-site.xml\hdfs-site.xml\mapred-site.xml 1、在本地直接调用，执行过程在服务器上（真正企业运行环境） a、首先把MR程序打包（jar），直接放到本地,比如C:\\Users\\Administrator...
2016-01-05 12:35:00
108
转载 攻城狮在路上（陆）-- 配置hadoop本地windows运行MapReduce程序环境
本文的目的是实现在windows环境下实现模拟运行Map/Reduce程序。最终实现效果：MapReduce程序不会被提交到实际集群，但是运算结果会写入到集群的HDFS系统中。 一、环境说明： 操作系统：win7 eclipse：Version: Mars Release (4.5.0) hadoop：2.5.1 二、预备文档(仅是说明，以第三步为准)：...
2016-01-05 12:14:00
120
转载 攻城狮在路上（陆）-- hadoop分布式环境搭建(HA模式)
一、环境说明： 操作系统：Centos6.5 Linux node1 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux jdk版本：java version "1.7.0_79" hadoop版本：Apache hadoop-2...
2016-01-04 19:35:00
93
转载 攻城狮在路上（陆）-- hadoop单机环境搭建（一）
一、环境说明： 操作系统：Centos6.5 Linux node1 2.6.32-431.el6.x86_64 #1 SMP Fri Nov 22 03:15:09 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux jdk版本：java version "1.7.0_79" hadoop版本：Apache hadoop-...
2016-01-01 12:19:00
62
转载 Linux下Keepalived+LVS-DR模式配置高可用负载均衡集群
一、环境说明： 操作系统：Centos-6.5_x86_64 keepalived软件安装在node2和node3机器上。 实际安装之前，先关闭keepalived节点（node2,node3）上的防火墙。 [root@node2 ~]# service iptables stop二、软件安装： 这里需要安装的软件是keepa...
2015-12-28 18:26:00
130
转载 Git版本控制管理学习笔记5-提交
这个标题其实有些让人费解，因为会想这个提交是动词还是名称？ 提交动作是通过git commit命令来实现的，提交之后会在对象库中新增一个提交对象。提交过程中会发生哪些变化，在上一篇笔记里面已经介绍过，看下那几张过程图就可以了。 需要明确的是，在Git中，版本库的变更和提交是一一对应的关系，也就是说，提交是将变更引入到版本库的唯一方法。 Git在提交时...
2015-12-05 21:43:00
91
转载 Git版本控制管理学习笔记4-文件管理和索引
可以认为使用Git时，我们会遇到3个空间：工作目录、索引、版本库。我们关心的，就是在新建、修改等操作时，这三者之间发生了怎样的变化。 笼统的讲，就是在工作目录下编辑，在索引中积累修改，然后把索引中累计的修改作为一次性的变更提交给版本库。 这就意味着，可以在最终提交前添加、删除、移动或者重复编辑文件，只有在提交后才会在版本库里实现累计的变更。 本章将介...
2015-12-02 22:31:00
117
转载 Git版本控制管理学习笔记3-基本的Git概念
为了更近一步的学习和理解Git的理念，这一节介绍一下Git中的一些基本概念。 基本概念 对象库图示 Git在工作时的概念 一、基本概念： 1、版本库： Git的版本库就是一个简单的数据库，其中包含所有用来维护和管理项目的修订版本和历史的信息。 Git不仅提供版本库中所有文件的副本，还提供了版本库本身的副本。 Git在每个版...
2015-11-30 22:38:00
77
转载 Error staring Tomcat Cannot connect to VM错误解决办法
最近经常遇myEclipse以debug方式启动tomcat的错误提示如下： 直接run方式启动没有问题。 一般这个问题等一会就不再出现，如果有耐心的话，就等几分钟再启动。如果没有耐心，可以试试下面的两个办法。 解决办法一: 在win下使用 netsh winsock reset 可以解决此问题 解决办法二： 用360安全卫士里面的修复网络功能修复了一下...
2015-11-30 14:17:00
96
转载 Git版本控制管理学习笔记2--起步
首先确保系统中已经安装了git，这里使用的linux系统。 一、命令行初步使用： 1、git命令： 列出它的选项和最常用的子命令。标准命令格式中，COMMAND代表的就是下面列出的子命令。 [root@flower1 ~]# git 2、显示版本号： [root@flower1 ~]# git --versiongit version 1....
2015-11-29 19:05:00
151
转载 Git版本控制管理学习笔记1-介绍
几乎所有的版本控制工具都是出于同样的目的：开发以及维护开发出来的代码，方便读取代码的历史，记录所有的修改。这里，介绍的是当前在开源社区内非常流行的版本控制工具Git。它是由Linus Torvalds发明的，最初是为了方便管理linux内核的开发工作。Git的诞生：通常来说，当工具跟不上项目需求时，开发人员就会开发一个新的工具来替代它。大部分工具在发明之前，都会已经存在一...
2015-11-29 14:50:00
57
转载 Linux使用ssh-keygen实现SSH无密码登录
一、原理简介： 1、SSH公钥认证的基本原理： SSH是一个专为远程登录会话和其他网络服务提供安全性的协议。默认状态下SSH链接是需要密码认证的，可以通过添加系统认证（即公钥-私钥）的修改，修改后系统间切换可以避免密码输入和SSH认证。 对信息的加密和解密采用不同的key，这对key分别称作private key和public key，其中，public key存放...
2015-11-23 23:57:00
174
转载 公开密钥加密
以下信息来自于维基百科。 公开密钥加密（英语：public-key cryptography，又译为公开密钥加密），也称为非对称加密（asymmetric cryptography），一种密码学算法类型，在这种密码学方法中，需要一对密钥，一个是私人密钥，另一个则是公开密钥。这两个密钥是数学相关，用某用户密钥加密后所得的信息，只能用该用户的解密密钥才能解密。如果知道了其中一个，并不能计算...
2015-11-23 21:28:00
292
转载 XSS跨站点脚本攻击
XSS攻击：跨站脚本攻击(Cross Site Scripting)，为不和层叠样式表(Cascading Style Sheets, CSS)的缩写混淆，故将跨站脚本攻击缩写为XSS。 以下为Java web项目中的解决方案： Filter代码： import java.io.IOException;import javax.servlet.Filter;i...
2015-11-23 10:08:00
279
转载 Linux下安装JDK多种方式
一、环境说明： 操作系统：Linux xx-4 2.6.32-431.23.3.el6.x86_64 #1 SMP Thu Jul 31 17:20:51 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux jdk版本：java-1.7.0-openjdk.x86_64二、rpm方式安装：1、下载rpm软件包，这里下载的是jdk...
2015-11-20 11:12:00
73
转载 一键删除.svn文件bat脚本
用过SVN或CVS版本控制工具的朋友，在享受着它们给我们带来的方便的同时，也许也在为这么一件事情苦恼： 如果某个目录在SVN或CVS版本控制工具的控制之下时。该目录下以及该子孙目录下都会有一个.svn目录或CVS目录。当我们想让该目录脱离版本控制工具控制时，想删除这些.svn目录或CVS目录。一个一个手动删除吗？目录树大了呢？有成百上千个分支目录也要手动删除吗？ NO。有更简便的方...
2015-11-20 10:05:00
91
转载 JDK常用工具集——jps
该命令的作用是罗列出目标系统（target system）中所有具有访问权限到的Java进程。 一、命令简介： jps [option] [hostid] 二、参数说明： options：命令行选项，参见下面的Options。 hostid：需要生成进程列表的主机标识符。它由通讯协议、端口号、或其他特定的数据组成。用来描述目标系统的一系列标识符。 三、...
2015-11-18 17:45:00
85
转载 JDK自带工具列表
JDK是一个功能强大的Java开发套装，它不仅仅为我们提供了Java运行环境，还给开发人员提供了许多有用的开发组件(位于bin目录中，如下图所示)。仅仅使用JDK，就能够解决我们在Java开发过程中遇到的许多问题。 下图是JDK1.7版本下的工具列表：后续会针对每一个工具 下面，我们就按照工具文件名称的英文顺序来逐一介绍JDK内置的工具。 ...
2015-11-17 17:12:00
130
转载 【转载】Linux常用命令列表
原文地址：http://www.cnblogs.com/Javame/p/3968343.html 1 目录与文件操作 1.1 ls(初级) 使用权限：所有人 功能 : 显示指定工作目录下之内容（列出目前工作目录所含之档案及子目录)。 参数 : -a 显示所有档案及目录 (ls内定将档案名或目录名称开头为"."的视为隐藏档，不会列出) -l 除档案名...
2015-11-16 09:09:00
101
转载 hadoop入门（3）——hadoop2.0理论基础：安装部署方法
一、hadoop2.0安装部署流程 1、自动安装部署：Ambari、Minos（小米）、Cloudera Manager（收费） 2、使用RPM包安装部署：Apache hadoop不支持、HDP与CDH提供 3、使用jar包安装部署：各版本均提供。（初期为了理解hadoop，建议使用这种方式） 部署流程： ...
2015-11-15 22:12:00
117
转载 hadoop入门（2）——HDFS2.0应用场景、原理、基本架构及使用方法
一、HDFS概述 优点：高容错性、适合批处理、适合大数据处理、流式文件访问：一次写入，多次读取。 缺点：不适合低延迟数据访问、不适合小文件存取（受限于NameNode）、不适合并发写入。 二、HDFS基本架构和原理 考虑一个问题：如何实现一个分布式文件系统？ 业务场景：目前有几个T级别的大文件，有数个大容量存储主机...
2015-11-15 20:25:00
147
转载 【转载】scribe、chukwa、kafka、flume日志系统对比
原文地址：http://www.ttlsa.com/log-system/scribe-chukwa-kafka-flume-log-system-contrast/ 1. 背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联...
2015-11-15 19:09:00
62
转载 hadoop入门（1）——hadoop概述
一、hadoop生态系统特点 开源、社区活跃、涉及分布式存储和计算的整个生态系统、已得到企业界验证。 hadoop1.0与2.0版本的比较： 1.0包含HDFS+MapReduce。 2.0包括HDFS+YARN+MapReduce+Others 主要区别在于引入了YARN层。集群资源管理层。二、h...
2015-11-15 18:48:00
103
转载 学习过程中用到的各种命令、工具等统计
一、Linux命令： 1、fdisk -l; //查看所有的分区 2、fdisk /dev/sdb; // 对某个分区进行操作 3、mkfs;//磁盘格式化,例如: mkfs -t ext4 /dev/sdb3 4、dumpe2fs /dev/sdb2;//观察文件系统：显示superblock、block数量、空闲block、group等信息 5、free -m; 查看内存和...
2015-11-15 14:01:00
117
转载 Spring Web MVC 多viewResolver视图解析器解决方案
viewResolver的定义如下： public interface ViewResolver { View resolveViewName(String viewName, Locale locale) throws Exception; }在spring 中，常用的ViewResolver 有如下几种： ...
2015-11-12 10:57:00
200
转载 myeclipse eclipse 使用git插件访问github 的解决方案
具体的步骤很多帖子都有写，这里不再赘述，需要说明的一点，git插件的版本很重要，在官网上下载的最新版本在MyEclipse8.5，MyEclipse9.1，MyEclipse10上面都没有成功。这里推荐一个下载地址org.eclipse.egit-updatesite-1.3.0.201202151440-r-site.zip：51CTO上面的：点击跳转到下载页面51CTO百...
2014-12-01 15:54:00
52
转载 tomcat 常用优化配置
1.精简Tomcat和配置文件 1．删除不需要的管理应用和帮助应用，提高tomcat安全性。 # 删除webapps下所有文件 # rm –fr $CATALINA_HOME/webapps/* # 删除server/wenapps下所有文件 # rm –fr $CATALINA_HOME/server/webapps/* 2．精简se...
2014-11-28 14:59:00
70
转载 Oracle查询实用命令
1、设置每行的长度：SET LIN[ESIZE] 200;2、设置分页数量：SET PAGES[IZE] 50;3、查看表空间相关信息： select file_id, tablespace_name, file_name from dba_data_files;4、查看系统中所有的表：select owner, table_na...
2014-11-20 11:36:00
53
转载 Myeclipse 运行maven控制台中文乱码
需要在pom中的properties中增加一行配置：<properties> <argLine>-Dfile.encoding=UTF-8</argLine></properties>或者是新增一个环境变量MAVEN_OPTS ：-Xms256m -Xmx512m -Dfile.encoding=UTF-8...
2014-11-19 16:54:00
80
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人