kafka实战(一):kafka版本滚动升级到1.0.0 第一步:先把新版安装包拷贝到对应机器上,并解压。第二步:更新所有broker(新旧版本)上的配置文件config/server.propertiesinter.broker.protocol.version=0.10.1(旧版本号)log.message.format.version=0.10.1(现正在使用clien...
maven-source-plugin 自动将源码打包并发布 maven-source-plugin提供项目自动将源码打包并发布的功能,在需要发布源码项目的pom.xml文件中添加如下代码即可:<!-- Source attach plugin --><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-s...
Apache Httpd安装with ssl 以及OpenSSL心脏出血漏洞修复 一、背景:web网站需要搭建https,计划使用apache做代理,同时使用https加密传输二、工具:操作系统:Red Hat Enterprise Linux Server release 6.5 (Santiago)Apache:httpd-2.4.39openssl:openssl-devel-1.0.1e-57.el6.x86_64.rpm,openssl-1.0.1...
配置yarn多线程运行模式 修改yarn-site.xml文件,添加如下:<!-- scheduler configuration, for multi-tasks run in queue, avoid mapreduce-run & pyspark ACCEPTED not run problem --> <property> <name>...
Linux iptables 封ip, Linux iptables 屏蔽ip iptables 博大精深,知道基本语法其他 需要什么就去查资料好了这里列几条Linux 屏蔽ip的命令,如下:屏蔽单个IP的命令iptables -I INPUT -s 192.168.9.198 -j DROP封整个段即从192.0.0.1到192.255.255.254的命令iptables -I INPUT -s 192.0.0.0/8 -j DRO
kafka在线版本升级 1.5 Upgrading From Previous VersionsUpgrading from 0.8.x, 0.9.x, 0.10.0.x, 0.10.1.x, 0.10.2.x, 0.11.0.x or 1.0.x to 1.1.xKafka 1.1.0 introduces wire protocol changes. By following the recommended roll...
Authentication for Hadoop HTTP web-consoles ---Hadoop 1.2.1 ConfigurationThe following properties should be in the core-site.xml of all the nodes in the cluster.hadoop.http.filter.initializers: add to this property the org.apache.hadoop.security.Authen
How to configure Gzip for JBoss?---refer Question:I think to try to speed up my Web App by reducing the size of transferred data. For example, in Nginx there is a special module. How to enable compression for JBoss server?Answer:
keepalived安装 转载:http://www.cnblogs.com/xiaoit/p/4499703.html1:简介它是一个基于VRRP协议来实现的WEB服务高可用方案,可以利用其来避免单点故障。一个WEB服务至少会有2台服务器运行Keepalived,一台为主服务器(MASTER),一台为备份服务器(BACKUP),但是对外表现为一个虚拟IP,主服务器会发送特定的消息给备份服务器,当备份服
redhat linux手动RPM安装gcc,g++ 转载:http://blog.csdn.net/vah101/article/details/17677451首先到http://vault.centos.org/6.5/os/x86_64/Packages/下载用到的rpm包,包括:cloog-ppl-0.15.7-1.2.el6.x86_64.rpmcpp-4.4.7-4.el6.x86_64.rpmgcc-4.4.7
kafka-python安装 InstallInstall with your favorite package managerLatest ReleasePip:pip install kafka-pythonReleases are also listed at https://github.com/dpkp/kafka-python/releasesBle
修改CentOS的yum源为163 备份 /etc/yum.repos.d/CentOS-Base.repo修改 /etc/yum.repos.d/CentOS-Base.repo[plain] view plaincopy# CentOS-Base.repo # # The mirror system uses the connecting IP address of the clie
graphite安装笔记 0.Graphite目录Graphite安装之后,在安装位置(默认为/opt/graphite)的文件布局如下:目录介绍/opt/graphite/bin二进制文件目录/opt/graphite/conf配置文件目录/opt/graphite/lib库目录/opt/graphite/storage数据存
Windows command中的Git代理设置 windows下命令行设置代理在Windows命令行 cmd 环境下设置代理可能不是很常用,但是某些情况下还是可能会用到,比如公司的电脑只能通过设置代理访问外网,而你需要在 cmd 环境下使用 gem 命令更新文件时。当然,如果你使用某些代理软件为所有通讯设置了代理,那就不需要这些设置了。为 cmd 设置代理很简单,首先打开 cmd (win + R,输入 cmd,然后
linux 安装和开启vnc服务 安装好CentOS 5.4后,虽然我们可以通过ssh来远程登陆服务器,但是我们使用ssh毕竟是一个字符型终端,很多图形界面下很方便的操作在字符型终端下显得非常繁琐,或者有些干脆就不能执行,为此我们需要远程登录图形界面。一.开启vncserver,任何时间都可以连接如果服务器是在机房内,平时无人职守,或者无法在本机登陆桌面,就无法使用远程桌面,我们只能求助于vncserver。
zookeeper监控工具node-zk-zookeeper安装 网上关于zookeeper的web界面查看工具有好几个,Node-ZK-Browser的界面相对好点,是用nodejs写的,尝试搭建了下。1. 安装nodejs到 https://github.com/joyent/node/tags 下载了源码包node-0.8.14.zip。执行如下命令编译nodejs。查看源代码打印帮助1 ./configure --
redhat/centos yum安装 This system is not registered with RHN 我们在redhat中使用yum命令的时候,可能会遇到这种情况,yum install build-essential提示This system is not registered with RHN,然后yum安装失败。下面分享一下解决办法。 Redhat之所以会出现这个错误是因为没有注册RHN,我们只需要更新一下yum的源就可以了。使用命令 cd /etc/yum.repos.d/
RedHat下如何安装和使用KVM RedHat 红帽CTO Brian Steven在一次记者招待会说:“我们致力于Xen,RHEL 5有10年的生命周期,因此会有一个较大的交叉过渡。我们将在Red Hat 6中全面使用KVM,但KVM目前已经准备就绪,完全可以正式投入到数据中心和云中,不用再等待了!”KVM要使用2.6.20以上的内核才行.Ubuntu到是不用担心,它基本一直使用的是最新的内核.需要关心一点就是,
Linux在命令行设置Proxy 在Linux的命令行底下,一般的程序都是使用http_proxy,ftp_proxy,ftp_proxy等环境变量来获得代理设置的。格式如下 export http_proxy=proxy_addr:port export ftp_proxy=proxy_addr:port export https_proxy=proxy_addr:port举个例子:假设你
安装mod_proxy_html完善Apache反向代理 安装http://www.rschome.com/html/2012-06-16/215.htmllibxml2 downLoad http://download.chinaunix.net/download/0007000/6095.shtmllibxml2 安装 http://www.cnblogs.com/shanzhizi/archive/2012/07/09/258373
iptables常用命令 常用命令列表:命令 -A, --append范例 iptables -A INPUT ...说明 新增规则到某个规则炼中,该规则将会成为规则炼中的最后一条规则。命令 -D, --delete范例 iptables -D INPUT --dport 80 -j DROPiptables -D INPUT 1 说明 从某个规则炼中删除一条规则,可以输入完整规则,或直接指定规
linux防火墙iptables详细教程 2.1 框架图 -->PREROUTING-->[ROUTE]-->FORWARD-->POSTROUTING--> mangle | mangle ^ mangle nat | filter | nat | | | |
apache安装configure: error: APR not found. Please read the documentation 本以为Apache的编译安装很简单,其实不然; 以前的环境下编译报错很少 ,但这次不行了 提示configure: error: APR not found. Please read the documentation. 经网上查阅资料才知道这是Apache的关联软件 在apr.apache.org网站上可以下载此软件(apr-1.4.5.tar.gz);编译安装完成后
jasypt结合spring加密 1.maven2引用jasypt坐标 org.jasypt jasypt {version} compile jasypt with spring坐标 org.jasypt jasypt-spring31 {version} compile如要结合spri
linux network 配置 [root@mytest ~]# cat /etc/sysconfig/networkNETWORKING=yesHOSTNAME=mytest[root@mytest ~]# cat /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0BOOTPROTO=dhcpHWADDR=00:0C:29:DE:35:7EONB
linux zookeeper 自启动服务 项目中用到zookeeper,运维部门要重启机器,要项目组的人现场维护,哥表示懒得到现场,直接将zookeeper做成服务。首先配置你的zookeeper.下载,解压( 我的放在/usr/zookeeper下),配置zoo.cfg zoo.cfg配置如下:# The number of milliseconds of each ticktickTime=2000# The
余弦相似度 向量空间模型将文档映射为一个特征向量V(d)=(t1,ω1(d);…;tn, ωn(d)),其中ti(i=1,2, …,n)为一列互不雷同的词条项,ωi(d)为ti在d中的权值, 一般被定义为ti在d中出现频率tfi(d)的函数,即在信息检索中常用的词条权值计算方法为 TF-IDF 函数,其中N为所有文档的数目,ni为含有词条ti的文档数目。TF-IDF公式有很多变种,下面是一个常用的TF-I
spring学习笔记(三) Combining lifecycle mechanismsAs of Spring 2.5, you have three options for controlling bean lifecycle behavior: theInitializingBean and DisposableBean callback interfaces; custominit() anddestro
CenOS6.0 源码安装vsftpd 配置虚拟用户 #先做些准备工作#查看安装vsftpd需要的基本组件是否安装 #虚拟用户生成密码时需要组件rpm –qa | grep db4#虚拟用户需要使用的组件rpm –qa | grep pam-devel#编译安装时需要使用的组件 rpm –qa | grep gcc#支持tcp_wrappers使用的组件rpm –qa | grep tcp_wrappe
Spring中@Autowired注解、@Resource注解的区别 Spring不但支持自己定义的@Autowired注解,还支持几个由JSR-250规范定义的注解,它们分别是@Resource、@PostConstruct以及@PreDestroy。 @Resource的作用相当于@Autowired,只不过@Autowired按byType自动注入,而@Resource默认按 byName自动注入罢了。@Resource有两个属性是比较重要的,分是nam
java中volatile关键字的含义 在java线程并发处理中,有一个关键字volatile的使用目前存在很大的混淆,以为使用这个关键字,在进行多线程并发处理的时候就可以万事大吉。Java语言是支持多线程的,为了解决线程并发的问题,在语言内部引入了 同步块 和 volatile 关键字机制。 synchronized 同步块大家都比较熟悉,通过 synchronized 关键字来实现,所有加上synchronized
spring学习笔记(二) 5.2 Container overviewThe interface org.springframework.context.ApplicationContext represents the Spring IoC container and is responsible for instantiating, configuring, and assembling the aforement
spring学习笔记(一) 1.2.spring ModulesThe Spring Framework consists of features organized into about 20 modules. These modules are grouped into Core Container, Data Access/Integration, Web, AOP (Aspect Oriented Progr
Spring中Quartz的配置 Quartz是一个强大的企业级任务调度框架,Spring中继承并简化了Quartz,下面就看看在Spring中怎样配置Quartz:首先我们来写一个被调度的类:package com.kay.quartz;public class QuartzJob{ public void work() { System.out.println("Quart
log4j配置祥解 log4j配置祥解第一步:加入log4j-1.2.8.jar到lib下。第二步:在CLASSPATH下建立log4j.properties。内容如下:1 log4j.rootCategory=INFO, stdout , R23 log4j.appender.stdout=org.apache.log4j.ConsoleAppender4 log4j
Eclipse svn 关键字替换 打开目录:Windows:C:\Documents and Settings\{电脑用户名字}\Application Data\SubversionMac: 需要打开显示隐藏文件夹/Users/{电脑用户名字}/.subversion/编辑 config 文件:找到 # enable-auto-props = yes 行,将 # 去掉,启用自动属性替换。[auto-p
剖析Disruptor:为什么会这么快?(一)锁的缺点 剖析Disruptor:为什么会这么快?(一)锁的缺点原文:http://ifeve.com/disruptor-locks-are-bad/作者:Trisha’s 译者:张文灼,潘曦 整理和校对:方腾飞,丁一Martin Fowler写了一篇非常好的文章,里面不仅提到了Disruptor,而且还解释了Disruptor 如何应用在LMAX的架构里。里面有提及了一些目前没有
Eclipse和Maven的结合使用--Please make sure the -vm option in eclipse.ini 在eclipse中安装了m2eclipse(maven插件)在安装后,出现下列警告:The Maven Integration requires that Eclipse be running in a JDK, because a number of Maven core plugins are using jars from the JDK.Please make sure the
观察者模式 观察者模式观察者模式(有时又被称为发布-订阅模式、模型-视图模式、源-收听者模式或从属者模式)是软件设计模式的一种。在此种模式中,一个目标物件管理所有相依于它的观察者物件,并且在它本身的状态改变时主动发出通知。这通常透过呼叫各观察者所提供的方法来实现。此种模式通常被用来实作事件处理系统。目录 基本简介 实现方式 “观察”不是“直接调用” 实现
jdk知识普及 JDK(Java Development Kit)是Sun Microsystems针对Java开发员的产品。自从Java推出以来,JDK已经成为使用最广泛的Java SDK。JDK 是整个Java的核心,包括了Java运行环境、Java工具和Java基础类库。JDK是学好Java的第一步。而专门运行在x86平台的Jrocket在服务端运行效率也要比Sun JDK好很多。从SUN的JDK5.0开始
接口与抽象类的区别 接口与抽象类的区别 我个人认为有以下几点: 1.abstract class 在 Java 语言中表示的是一种继承关系,一个类只能使用一次继承关系。但是,一个类却可以实现多个interface。这弥补了类的多继承问题。 2.在abstract class 中可以有自己的数据成员,也可以有非abstarct的成员方法,而在interface中,只能够有静态的不
java中的native关键字 java中的native关键字JNI是JavaNative Interface的 缩写。从Java 1.1开始,Java Native Interface(JNI)标准成为java平台的一部分,它允许Java代码和其他语言写的代码进行交互。JNI一开始是为了本地已编译语言,尤其是C和C++而设计的,但是它并不妨碍你使用其他语言,只要调用约定受支持就可以了。 使用java与本地
Jboss下的第一个EJB程序 由于面试过后被bs了,感觉自己以前的学习还是比较表面的东西,而且没有j2ee的根基,现在恶补中。看过ejb,感觉和之前用过的dubbo设计上差不多,dubbo是ejb的加强版,dubbo加快了ejb的传输,完成了原先没有的功能而只能依赖中间件的事:集群。现记录下自己的第一个ejb程序,开发环境:eclipse+jboss4.2.3GA+jdk1.61.编写一个主接口,创建组
软通动力和淘宝面试经历 面试中主要问到的问题首先都要求自我介绍,介绍一下项目经验,然后根据项目经验在做提问软通动力1.hibernate和jdbc的区别2.介绍你做过的系统的系统架构,注意是要分模块介绍,让人家有一个大概的认识。这里考察你的沟通能力3.有无做过oracle的优化4.会不会写linux的shell,问了一下linux的指令。怎么安装内核缺失的包?有没有自己配过代理?如果不能上网,
linux下的基本网络配置 第一种:使用命令修改(直接即时生效,重启失效)#ifconfig eth0 192.168.0.1 netmask 255.255.255.0 up说明:eth0是第一个网卡,其他依次为eth1,eth*192.168.0.1是给网卡配置的第一个网卡配置的ip地址netmask 255.255.255.0 配置的是子网掩码up是表示立即激活ifconfig的更多参数说明
linux下利用shell脚本自动检测服务状态并自动恢复服务 我们做系统服务时,可能由于某些原因出现服务停止的故障,可以写个shell脚本定时检测服务的运行状态,如果服务停止,则自动恢复,例子脚本如下:# function:healthCheck# author:xukuang# date:2007-11-15if test `ps -ef |grep /home/ahfwbz |grep -v grep |wc -l` -ge 2t
Lucene教程 Lucene教程Lucene是apache组织的一个用java实现全文搜索引擎的开源项目。 其功能非常的强大,api也很简单。总得来说用Lucene来进行建立 和搜索和操作数据库是差不多的(有点像),Document可以看作是 数据库的一行记录,Field可以看作是数据库的字段。用lucene实 现搜索引擎就像用JDBC实现连接数据库一样简单。Lucene2.0,它与以前广泛应
ftp ASCII模式和BINARY模式的区别 ASCII模式和BINARY模式的区别是回车换行的处理,binary模式不对数据进行任何处理,asci模式将回车换行转换为本机的回车字符,比如Unix下是,Windows下是\r,Mac下是\rascii模式下会转换文件 不能说是不同系统对回车换行解释不同 而是不同的系统有不同的行结束符 unix系统下行结束符是一个字节,即十六进制的0A 而ms的系统是两个字节
ubuntu软件删除方法 ubuntu软件删除方法说明:由于图形化界面方法(如Add/Remove... 和Synaptic Package Manageer)比较简单,所以这里主要总结在终端通过命令行方式进行的软件包安装、卸载和删除的方法。一、Ubuntu中软件安装方法 1、APT方式 (1)普通安装:apt-get install softname1 softname2 …; (2)修复安装:a
Ubuntu下安装VNC server Ubuntu下安装VNC server1. 安装gonme核心包(如果是字符界面的话)apt-get install x-window-system-coreapt-get install gnome-coreapt-get install metacityapt-get install gnome-desktop-environment (optional)
linux 安装vncserver linux 安装vncserver 2011-09-28 21:10:29| 分类:Linux |字号 订阅CentOS 5.3默认已经安装了VNC Server软件包,只要在服务列表中选中启动一下就可以。通过编辑文件~HOME/.vnc/xstartup来启动你喜欢的窗口管理器。使用startkde & 来启动KDE,使用 gnome-session &
RedHat(Centos)安装Mysql感想 由于项目用到CI:hudson,hudson可以集成sonar(代码质量管理工具,可以减少项目代码审核的时间,提高代码质量),而sonar推荐使用mysql作为数据库,于是屁颠屁颠打算装个mysql玩玩。从一开始安装mysql,就是磕磕碰碰,是用血换来的经验。试过使用rpm的包安装,不过由于本人对操作系统类型和版本不是很了解,不会选择版本(因为rpm的包是已经编译过的包,所以必须要选好支持的系
.JBOSS 4.3.0 EAP Clustering with multiple instances running on Same machine balanced with Apache HTT JBOSS 4.3.0 EAP Clustering with multiple instances running on Same machine balanced with Apache HTTP Server 2.2.11JBOSS 4.3.0 EAP Clustering with multiple instances running on Same machine bal
jboss中 web-console 登录的用户名和密码设置 jboss中 web-console 登录的用户名和密码设置jboss中 web-console 登录的用户名和密码设置 E:\tools\jboss-5.1.0.GA\jboss-5.1.0.GA\server\default\deploy\management\console-mgr.sar\web-console.war\WEB-INFweb-co
Jboss 安全和优化 Jboss 安全和优化一. Jboss后台启动:添加后台修改命令:vi run.shwhile true; do if [ "x$LAUNCH_JBOSS_IN_BACKGROUND" = "x" ]; then # Execute the JVM in the foreground nohup "$JAVA" $JAVA_OPTS
ip端口重定向 问题1:修改Tomcat的server.xml配置文件,将端口修改为8081(或者其他1024以上的端口号,不能与本机上的其它Tomcat端口冲突),然后使用root用户登录服务器,执行端口重定向命令:iptables -t nat -A PREROUTING -p tcp --dport 80 -j REDIRECT --to-port 8081。意思就是当访问80端口时重定向到8081端口,这
Linux下配置jboss开机自启动 Linux下配置jboss开机自启动1、安装JDK先安装JDK,这里使用的是JDK1.5.0.06 2、设置JDK环境变量1)编辑系统环境变量文件/etc/profilevi /etc/profile添加如下内容:#SET JAVA ENVIRONMENTJAVA_HOME=/usr/java/jdk1.5.0_06