- 博客(37)
- 资源 (4)
- 收藏
- 关注
转载 Spark安装
Spark安装进入官方下载地址下载最新版 Spark。我下载的是 spark-1.3.0-bin-hadoop2.4.tgz。在~/workspace目录下解压tar -zxvf spark-1.3.0-bin-hadoop2.4.tgzmv spark-1.3.0-bin-hadoop2.4 spark-1.3.0 #原来的文件名太长了,修改下
2016-03-29 16:31:38 462
转载 socket.io分布式
socket.io是目前较为流行的web实时推送框架,其基于nodejs语言开发,底层用engine.io实现。 借助nodejs语言异步的特性,其获得了不错的性能。但单个实例的socket.io依然承载能力有限,最多只能容纳3000个long-polling方式的客户端进行连接。 将socket.io进行分布式扩展的难点有两处:1. 进行负载均衡时客户端必须保证始终连到一个节点上 如果客户端采用
2016-03-10 16:41:54 8147
转载 jstack,jmap,jstat
JDK本身提供了很多方便的JVM性能调优监控工具,除了集成式的VisualVM和jConsole外,还有jps、jstack、jmap、jhat、jstat、hprof等小巧的工具,本博客希望能起抛砖引玉之用,让大家能开始对JVM性能调优的常用工具有所了解。 现实企业级Java开发中,有时候我们会碰到下面这些问题:OutOfMemoryError,内存不足
2016-01-14 10:56:13 876
转载 mongodb索引
一、索引基础: MongoDB的索引几乎与传统的关系型数据库一模一样,这其中也包括一些基本的优化技巧。下面是创建索引的命令: > db.test.ensureIndex({"username":1}) 可以通过下面的名称查看索引是否已经成功建立: > db.test.getIndexes() 删除索引的命令是: > db.test.dro
2016-01-12 16:59:25 336
转载 mongoDB shardKey
译注:本文探讨了如何合理设置MongoDB片键以发挥分片机制的优势,作者为Bugsnag.com的工程师Conrad Irwin。Bugsnag为移动应用开发者提供实时的Bug追踪及检测服务,Bugsnag使用MongoDB存储超过TB级的文档数据。转载请注明来自kevinsj.com原文链接简而言之,使用 {_id: 'hashed'} 或 {projectId: 1, _id: 1
2016-01-12 14:23:39 2368
转载 MongoDB管理命令
MongoDB是一个NoSQL数据库系统:一个数据库可以包含多个集合(Collection),每个集合对应于关系数据库中的表;而每个集合中可以存储一组由列标识的记录,列是可以自由定义的,非常灵活,由一组列标识的实体的集合对应于关系数据库表中的行。下面通过熟悉MongoDB的基本管理命令,来了解MongoDB提供的DBMS的基本功能和行为。MongoDB命令帮助系统在安装Mo
2016-01-05 14:17:24 415
原创 jenkins自动化部署脚本
#!/bin/bashkinit ke.long@TCL.COM -k -t $JENKINS_HOME/longke.keytabscp admin/target/ssv-admin.war ke.long@54.165.16.227:/data/reposscp api/target/ssv-api.war ke.long@54.165.16.227:/data/reposssh ke.lon
2015-07-01 09:20:36 1544 2
转载 ngnix+tomcat实现session共享
最近访客kuang..fungexbzy77piaop..lzy82..eight..sens_..雪见烟寒apig0120taojinqua1450..jsmxf最新评论 457359752:成功了,多谢!!!!!!!!!!qingsto:不错的ke
2015-01-29 00:24:49 672
原创 Flume多个agent到colletor
1、collector配置#agent1表示代理名称a1.sources=source1a1.sinks=sink1a1.channels=c1#配置source1a1.sources.source1.type = avroa1.sources.source1.channels = c1a1.sources.source1.bind = 172.26.50.2
2015-01-13 15:11:17 3108
转载 flume-ng 多节点集群示例
假设:现有两台机子,命名为:agent,collect。agent IP地址为:192.168.150.137,collect为192.168.150.135要求:实现agent到collect的连接,并能向collect发送日志。步骤:两台电脑上分别装上 jdk,flume-ng(不是flume-og),配置好profile。agent的处理 (1
2015-01-12 16:31:37 2833
转载 maven可执行jar包插件
maven有两种生成可执行jar包的插件,能够自动加载依赖包。分别为 maven-assembly-plugin 和appassembler-maven-plugin, appassembler-maven-plugin 的优势是能够自动生成window和linux的启动脚本, maven-assembly-plugin 生成jar包后需要执行 java -jar **.jar命令运行jar包
2014-12-26 18:01:11 508
转载 搭建高可用的MongoDB集群
搭建高可用的MongoDB集群[日期:2014-04-25]来源:CSDN 作者:严澜[字体:大 中 小] MongoDB公司原名10gen,创立于2007年,在2013年收到一笔2.31亿美元的融资后,公司市值评估已增至10亿美元级别,这个高度是知名开源公司Red Hat(创建于1993年)20年的奋斗成果。 高性能、易扩展一直是Mong
2014-12-22 15:27:33 726
转载 redis HA高可用方案Sentinel和shard
1、搭建redis-master、redis-slave以及seninel哨兵监控在最小配置:master、slave各一个节点的情况下,不管是master还是slave down掉一个,“完整的”读/写功能都将受影响,这在生产环境中显然不能接受。幸好redis提供了sentinel(哨兵)机制,通过sentinel模式启动redis后,自动监控master/slave的运行状态,基本
2014-12-10 15:07:22 10201
原创 mysql主从复制和读写分离
一、主从复制1、本机安装mysqlscripts/mysql_install_db --user=mysql --basedir=/data/study/mysql/mysql1 --datadir=/data/study/mysql/mysql1/data 2、配置my.cnfbasedir = /data/study/mysql/mysql1datadir =
2014-12-08 14:50:52 624
转载 JVM整理
串行垃圾回收-XX:+UseSerialGC并行垃圾回收-XX:+UseParallelGC 年轻代并行-XX:+UseParallelOldGC 年老代并行-XX:ParallelGCThreads 垃圾回收线程数并发垃圾回收-XX:+UseConcMarkSweepGC-XX:CMSIn
2014-11-19 11:35:15 413
转载 ab压力测试.
ab是apache自带的一款压力测试工具,会安装在/usr/bin目录下,一般安装完apache后就有了。1、ab使用命令:ab -c 20 -n 1000 http://it.yooxue.com/-c:并发数-n:总请求数 2、ab压力测试完成后的结果分析 3、在测试过程中会出现以下这些错误1)ab并发数不能大于请求数,会提示ab: Cann
2014-11-18 17:16:30 1104
转载 tomcat调优
1、参数介绍属性名 描述 maxThreadsTomcat使用线程来处理接收的每个请求。这个值表示Tomcat可创建的最大的线程数。 acceptCount 指定当所有可以使用的处理请求的线程数都被使用时,可以放到处理队列中的请求数,超过这个数的请求将不予处理。
2014-11-18 15:39:56 599
转载 ReflectASM
ReflectASM 是一个非常小的 Java 类库,通过代码生成来提供高性能的反射处理,自动为 get/set 字段提供访问类,访问类使用字节码操作而不是 Java 的反射技术,因此非常快。
2014-11-10 13:32:46 559
转载 Tomcat的内存溢出(PermGen space)
java.lang.OutofMemoryError: PermGen space.上网查了查,都说是因为“永久保存区域溢出”。PermGen space全称是Permanent Generation Space。这一部分用于存放class和meta信息,class在被load的时候被加入到这一区域。PermGen space默认大小只有4M, 而Garbage Collection不会在主程
2014-11-07 09:42:51 579
转载 ubuntu设置系统时间与网络时间同步
Linux默认情况下使用UTC格式作为标准时间格式,如果在Linux下运行程序,且在程 序中指定了与系统不一样的时区的时候,可能会造成时间错误。如果是Ubuntu的桌面版,则可以直接在图形模式下修改时区信息,但如果是在Server版 呢,则需要通过tzconfig来修改时区信息了。使用方式(如将时区设置成Asia/Chongqing): sudo tzconfig,如果命令不存在请
2014-10-16 16:15:49 23641 1
转载 ElasticSearch入门
1. 数据库的 database, 就是 index2. 数据库的 table, 就是 tag3. 不要使用browser, 使用curl来进行客户端操作. 否则会出现 java heap ooxx...curl: -X 后面跟 RESTful : GET, POST ...-d 后面跟数据。 (d = data to send)1. create:
2014-09-02 18:04:41 825
转载 hadoop pig
1.1 编写目的介绍pig,一个不得不说的hadoop的扩展。1.2 什么是pigPig是一个基于Hadoop的大规模数据分析平台,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口。1.3 pig的特点1、专注于于大量数据集分析
2014-08-18 15:52:04 1074
转载 MySQL分库分表环境下全局ID生成方案
摘要: 介绍来自flicker和twitter的两种解决分布式环境下全局ID生成方案。目录:1. 数据库自增ID——来自Flicker的解决方案2. 独立的应用程序——来自Twitter的解决方案在大型互联网应用中,随着用户数的增加,为了提高应用的性能,我们经常需要对数据库进行分库分表操作。在单表时代,我们可以完全依赖于数据库的自增ID来唯一标识一个用户或数据对象。但是当我们对数据
2014-08-14 13:52:12 752
原创 zookeeper
概览:http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/
2014-08-01 17:54:50 369
原创 hbase配置
2.2.1 修改启动文件hbase-env.shexport JAVA_HOME=/usr/local/java/jdk1.7export HBASE_CLASSPATH=/usr/local/java/hadoop-2.4.0/etc/hadoop
2014-08-01 10:00:05 427
原创 hbase异常记录
1、启动hbaseSTARTUP_MSG: host = java.net.UnknownHostException: ubuntu1: ubunt
2014-08-01 09:40:47 441
转载 <转>hbase基本概念和hbase shell
HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。2. HBase的表结构HBase以表的形式存储数据。表有
2014-07-31 15:10:49 410
转载 (转)hive sql 学习笔记
一、 创建表 在官方的wiki里,example是这样的:CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col
2014-07-31 09:13:31 449
转载 hive安装及使用
Hive是Hadoop一个程序接口,Hive让数据分析人员快速上手,Hive使用了类SQL的语法,Hive让JAVA的世界变得简单而轻巧,Hive让Hadoop普及到了程序员以外的人。从Hive开始,让分析师们也能玩转大数据。
2014-07-30 21:25:04 960
转载 linux 常用命令记录
chmod命令有两种格式:符号格式和绝对格式符号格式为: chmod who operator permission filename who字段要使用字符,可以使用字符有: a 所有用户,三个不同级别的权限都可以进行修改 u 系主, 改变系主的权限 g 组,改变同组的权限
2014-07-30 10:18:03 367
转载 hadoop FS 命令(转)
FS Shell调用文件系统(FS)Shell命令应使用bin/hadoop fs 的形式。 所有的的FSshell命令使用URI路径作为参数。URI格式是scheme://authority/path 。对HDFS文件系统,scheme是hdfs ,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。
2014-07-30 10:09:05 387
原创 rest风格webservice相关记录
Apache CXF 是一个开放源代码框架,提供了用于方便地构建和开发 Web 服务的可靠基础架构。它允许创建高性能和可扩展的服务,您可以将这样的服务部署在 Tomcat 和基于 Spring 的轻量级容器中,以及部署在更高级的服务器上,例如 Jboss、IBM® WebSphere® 或 BEA WebLogic。
2014-07-27 12:30:20 851
转载 ERROR NO.1045
SQLyog连不上MySQL,ERROR NO.1045解决 解决办法: 1、停止服务 2、修改my.ini,找到【mysqld】,在其下加上一行 skip-grant-tables 3、启动mysql服务。 暂时不知道什么原因导致突然不能连接mysql,因为前天还可以用root登录的,在网上找到这个解决办法,以后慢慢研究。
2013-10-17 09:29:13 1362
jsp高级编程
2007-11-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人