tofhao-CSDN博客

原创服务稳定性的思考

#稳定性##明确业务价值价值导向：飞行、驾驶，系统承载的价值超载：风险与收益##梳理主链路，保证可用性1、避免单点应用服务器、中间件、外部接口、数据库、机房2、梳理强弱依赖强依赖:重点监控、做好降级与业务影响评估、沟通机制，重试机制弱依赖:记录日志，延迟补偿处理或不处理3、避免不合理调用循环调用服务、串行调用接口过多、无效调用等常见的方案有：1.缓存量大，对数据一致性要求不高的，可以通过缓存来降低压力;多级缓存2.静态化一些数据如果可以通过静态化的，大促降级尽量不要通过接

2020-08-21 09:16:57 637

原创 Anaconda使用

1.python 数据分析包 Anaconda-2.3.0-Windows-x862.[url]http://www.afenxi.com/page/4?s=%E5%B0%8F%E7%99%BD%E5%AD%A6%E7%BB%9F%E8%AE%A1[/url]

2016-11-03 16:47:08 231

原创 cpu突然飙高，过阵下降

1.首先业务属于web内网业务2.按照经验jstack 查看，见另一篇文章，并无特点3.查看jvm监控的数据4.发现jvm的内存接近最大，然后gc，cpu使用率增高5.解决设置xmx与xms均为4g，观察ok...

2016-11-03 16:04:14 967

原创 jstorm相关介绍学习文章

总体认识：[url]http://www.aboutyun.com/thread-6873-1-1.html[/url]1.介绍从任务提交--》任务领取——>任务执行 zookeeper与任务调度 [url]http://blog.csdn.net/benbendy1984/article/details/50917984[/url] [url]https://githu...

2016-11-03 15:54:32 151

原创 jstorm 安装

1.主要看阿里官网[url]https://github.com/alibaba/jstorm/wiki/%E5%A6%82%E4%BD%95%E5%AE%89%E8%A3%85[/url]2.linux环境默认已经安装了Python3.Zookeeper安装省略4.jstorm2.1.1依赖jdk7 查看linux docker是32位还是64：uname -a...

2016-11-03 15:53:15 424

原创 gradle+idea+groovy+httpbulider环境搭建

1.idea15的安装简单省略2.下载gradle-2.14-all 本机安装完成3.idea 中配置gradle 如图，setting中选择grade,设置本地安装路径[img]http://dl2.iteye.com/upload/attachment/0121/0064/48ec67dc-9976-3b96-8ee8-dc35fa9aa9bd.png[/img]...

2016-11-03 15:25:12 523

原创 java.lang.OutOfMemoryError: unable to create new native thread

1.系统以及线上现象介绍：以前运行正常，对比以前，任务数量具增，但数据并没有以前多; 线上问题：系统已经不正常，并且导致虚拟机节点重启不了，并且根据运维的反馈服务器上命令执行不了2.日志查找分析： a.日志错误源查找如下： [quote] Java HotSpot(TM) 64-Bit Server VM warning: Attempt to allocate s...

2015-08-05 18:58:00 185

原创 maven基于项目创建模版

Maven 2 创建自己的模版，并使用模版创建工程1.建立样板Maven工程并创建example2.进入 template_p 工程根目录执行:mvn archetype:create-from-project目的:生成模版工程文件3.进入 template_p/target/generated-sources/archetype执行:mvn install...

2014-08-06 16:13:31 101

原创 mat分析内存上涨的原因

[code="java"]MATEclipse Memory Analyzer是一个非常好用的内存dump文件分析工具，我们可以利用它的Eclipse 插件轻松实现查看对象树、对象大小、生成报告，甚至自动化分析可能出现泄露的对象。关于MAT的使用介绍可以参考：http://www.ibm.com/developerworks/cn/opensource/os-cn-ecl-ma/ind...

2014-04-15 11:32:25 289

原创转发MySQL 加锁处理分析

[code="java"]MySQL 加锁处理分析 [url]http://hedengcheng.com/?p=771#_Toc374698306[/url]发表于 2013 年 12 月 13 日由 hedengcheng 1 背景 11.1 MVCC：Snapshot Read vs Current Read 2...

2014-04-15 11:25:15 95

原创转：vm-sdk-java安装开发环境

[code="java"]vSphere Web Services SDK 安装分类：虚拟化&云计算 2013-03-22 02:48 479人阅读评论(0) 收藏举报 The VMware vSphere Web Services SDK includes all the components necessary to work with the VMware vSphere ...

2014-02-19 21:09:03 213

原创 intellij idea 意外挂掉

1.intellij idea 意外死掉后，maven加载不了，打包报can't save server setting java.io.IOException2.因为配置等信息丢失，重新配置maven等， vm 参数：-noverify -javaagent:m:\jrebel\jrebel.jar -Drebel.spring_plugin=true3.重启idea ...

2014-01-13 10:19:32 350

原创 redis lua脚本测试功能

1.使用redis2.6版本，redis自带的客户端2.准备值设置值 set k1 5 set k2 6 set k3 43.使用lua脚本： [code="java"] eval "local a,retlist=0,{} for _,k in pairs(KEYS) do if tonumber(redis.c...

2013-10-18 13:36:39 588

原创多线程测试对比infobright取数

[code="java"]#! /usr/bin/env python#coding=utf-8import threading,sysimport randomimport timefrom Queue import Queueimport MySQLdb,time,datetimeisFinish=Falsecount_num_sql='''select cou...

2013-07-30 17:26:00 78

原创对比mysql一般引擎与infobright--2

[size=large]切换到同一台物理机测试1.物理机的情况：内存：16g cpu:4核 cpu MHz : 800.0002.建同样的库表3.造数据5000w测试[/size] [table]||sql||数量||mysql||infobright||在服务器上全表count||5000w||25.08s||0.08s||python执行:d_o_l...

2013-07-24 11:07:10 103

原创 mysql造数据

1.存储过程 [code="java"]DELIMITER $$ CREATE PROCEDURE `fact_user_msg_PROC`()BEGIN DECLARE iloop SMALLINT DEFAULT 0; DECLARE iNum MEDIUMINT DEFAULT 0; DECLARE tel bigint DEFAULT 130000...

2013-07-23 16:17:22 287

原创对比mysql一般引擎与infobright

1.mysql与infobirght的配置采用虚拟机： mysql：10.28.174.74 10.28.174.237 内存： 4g 3g cpu：双核 cpu MHz : 3309.712.测试程序python [code="java"]#! /usr/bin/env python#coding=utf-8##########...

2013-07-23 14:27:11 119

原创 infobright安装

参考[url]http://blog.s135.com/infobright/[/url]1.官网下载www.infobright.org2.[code="java"]tar zxvf infobright-4.0.7-0-linux-i686-ice.tar.gz[/code]3.[code="java"]cd infobright-4.0.7-0-linux-i686-ice...

2013-07-19 16:15:47 129

原创 cpu过高，并居高不下

[size=medium]1.查找应用的pid2.查找pid对应下的线程的哪些id过高3.jstack pid连续两次获取堆栈的信息，查看变化，以及对应的线程[/size] [code="java"]Thread 5812: (state = BLOCKED) - java.lang.Object.wait(long) @bci=0 (Interpreted frame) ...

2013-07-18 14:15:14 199

原创 go在Windows下的安装

1.配置host,下载，墙无所不在呀 173.194.71.141 golang.org 加入hosts文件. http://golang.org/doc/install下载对应的版本2.解压配置环境变量 GOROOT安装目录 path %GOROOT%\bin goarch=amd64 goos=windows 配置了前面两个过，go ve...

2013-03-31 22:15:10 97

原创 shell分析切割日志，合并计算

1.日志格式如： [code="java"]2013-03-05 13:17:45,657 [3612510923] INFO -promotion.util.TaskFlowProcess - 任务正在执行id=260,sourceSize=2999,filterSize=2429, telSize=242........[/code]2.脚本 [code="java"]...

2013-03-20 08:36:30 115

原创 win7下erlang开发环境EmacsW32+Distel

1.下载软件· EmacsW32 http://www.ourcomments.org/cgi-bin/emacsw32-dl-latest.pl下载页面选择 Download latest EmacsW32+Emacs patched ~· Distel http://sourceforge.net/projects/distel/下载页面· Erlang OTP http://...

2013-03-17 18:27:15 126

原创 sphinx分布式配置

1.修改配置去掉了source只留下引用其它节点的agent， #源定义#index定义index dist{ type =distributed #local=mysql agent = 10.28.171.52:9312:mysql #agent = localhost:9312:chunk3...

2013-03-05 10:27:06 122

原创 sphinx安装测试

CoreSeek sphinx安装主要参照http://www.coreseek.cn/product_install/install_on_bsd_linux/#deps 1.首先检查环境系统cat /etc/issue gcc -version 以及依赖的包是否符合要求2.wget http://www.co...

2013-03-04 15:54:54 105

原创 thrift 测试实例java下脚本修改

THIS_DIR=$(dirname $0)LIB_DIR=$THIS_DIR/../../lib/java/build/libIVY_DIR=$THIS_DIR/../../lib/java/buildecho $THIS_DIR/tutorial.jarecho $LIB_DIRecho $IVY_DIRclasspath1=$THIS_DIR/tutorial.jar;for f in $I...

2013-03-01 14:39:22 104

原创 Windows下cygwing环境安装编译thrift

1.安装cygwin省略、java环境省略2.安装thrift所需要的包 http://wiki.apache.org/thrift/ThriftRequirements3.check out svn上的源码 http://svn.apache.org/repos/asf/thrift/attic/branches/ 下选择版本0.9.x4.编译大致步骤 htt...

2013-03-01 11:31:41 183

原创 mysql5.5.14安装

1.创建用户和用户组与赋予数据存放目录权限 groupadd -g 502 mysql useradd -u 502 -g mysql mysql2.wget http://www.cmake.org/files/v2.8/cmake-2.8.5.tar.gz tar zxf cmake-2.8.5.tar.gz -C /usr/local/src cd /usr/...

2013-03-01 09:59:45 114

原创 sqlserver 分组取前几行

[code="sql"]select top 100 ss1.* from(select rank() OVER (PARTITION BY ss.senderip,ss.report order by ss.num desc ) AS 'RowNumber', ss.* from (select DATEPART(hh,reporttime) as report,senderip,co...

2012-08-31 14:37:55 263

原创 python django helloworld2--tempate

继helloworld1.在项目myFirstDjango创建下template文件夹，并修改setting.py TEMPLATE_DIRS = (中加入： "D:/python/djangoProject/myFirstDjango/template",2.创建base.vm与hello.vm 内容分别如下： [code] ...

2012-08-30 23:09:06 76

原创 python django helloworld

1.下载python-2.7.msi、Django-1.3.tar.gz 默认安装python2.7配置好python_home，安装django，解压运行python install2.下载httpd-2.2.22-win32-x86-no_ssl.msi、mod_wsgi-win32-ap22py27-3.3.so http://httpd.apache.org h...

2012-08-30 00:36:49 93

原创分工是为了效率！

[size=large] 一直认为大公司的分工是为了提高效率，+比如说做开发的，你不用关心界面，不用关心发布，界面有UI帮你搞定，业务你只要跟着产品经理或开发经理，发布，你只要交给运维，最后上线你验证成功了就行！但当有的公司发展过快，管理不善的时候，这tmd的是一个就是一个求神，拜佛的过程了！大公司的流程，你要经历了才知道！比如上线，你提前要写好一些文档，然后上线那天你深情的呼唤...

2012-06-26 21:58:49 289

原创工作三年了的回忆

[size=large]想着大学学习的全是计算机课程，拿是管理学位，说出去的时候是计算机相关专业，就又对现在的教育制度有点看法。。。但总的来说，从那时就走上编程的道路了！在大学教习了汇编、C、C++，自学了解了java、php、vb,最后用java完成了自己的毕业设计，卖二手书的网站--其实就是提供大学师兄师姐买卖书的一个平台，最后毕业了找工作，遇到了经济危机，自认为能力还可以，但找工...

2012-06-21 23:17:18 77

原创 python mongodb测试

1.下载pymongo-1.11.win32-py2.6.exe，因python为2.6，安装2.下载mongodb-win32-i386-1.8.1解压3.cmd下运行： J:\soft\mongodb-win32-i386-1.8.1\mongodb-win32-i386-1.8.1\bin\mongod --dbpath=J:\soft\mongodb-win32-i386-...

2011-07-01 12:34:54 87

原创 shell脚本，更新工程、打包、重启tomcat

[code="java"]#!/bin/sh#=====================================#svn update,maven package,tomcat start#=====================================cd ~/work/project/project-web#svn up settings.xml#cp...

2011-07-01 11:35:59 66

原创 shell脚本，删除xml注释

2011-07-01 11:31:45 1145

原创 ibatis自动生成代码，abator

1.首先新建工程，引入abator.jar包2.建运行类 [code="java"]import java.util.List;/** * User: tofhao * Date: 11-6-29 * Time: 下午1:58 */public class IbatisRunner { public static void main(String.....

2011-07-01 11:26:23 110

原创 spring自动重载

1.运行类[code="java"]public static void main(String[] args) { String url = "http://127.0.0.1:8080/reload.action"; HttpClient client = new DefaultHttpClient(); HttpMethod meth...

2011-07-01 11:14:35 215

原创 win7下vm6.5安装ubuntu10.10中配置网络

1.关掉win7的防火墙 2.选择host-only方式，设置共享ip 本地连接--》属性--》共享--》选择允许通过外部连接，选择本地连接2，会提是一个ip，默认 3.在dos下，ipconfig /all 查看到本地连接，2的ip与dns，可以设置本地连接2， 4。在ubuntu下，sudo gedit /etc/network/interfaces 设置ip，网关，子网掩码，网关以本地连接2为主 sudo /etc/resol

2011-05-05 20:46:00 405

win7下vm6.5安装ubuntu10.10中配置网络

1.关掉win7的防火墙2.选择host-only方式，设置共享ip本地连接--》属性--》共享--》选择允许通过外部连接，选择本地连接2，会提是一个ip，默认3.在dos下，ipconfig /all 查看到本地连接，2的ip与dns，可以设置本地连接2，4。在ubuntu下，sudo gedit /etc/network/interfaces 设置ip，网关，子网掩码，网关以...

2011-05-05 20:46:00 95

原创 vm6.5中 ubuntu10.10 环境变量设置错误用户名与密码正确，无法登录

1.我设置环境的时候，设置的是/etc/envriment这个文件 分析可能造成的原因：自带java的与安装的sun 冲突；变量设置有问题，因为我没有测试，用以下解决的 2.解决方法，重启，一直按住shift进入安全恢复模式，用vi 编辑文件 dd删除行 shift：wq保存退出，重启 如果vi命令没有表示path有问题，则使用全路径/usr/bin/vi 3.在～/。bashrc下设置环境变量 4.尽量找出原因

2011-05-04 22:25:00 743