自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(105)
  • 资源 (4)
  • 收藏
  • 关注

原创 keepalived + redis高可用方案

前言主机:172.17.209.25172.17.209.26软件版本:keepalived-1.2.19.tar.gzredis-2.8.1.tar.gz一、安装Redis(1)安装tar -xvf redis-2.8.1.tar.gzcd redis-2.8.1makemkdir -p /usr/local/redis/varcd srccp redis...

2017-10-20 16:24:25 692

原创 Redis中带空格的key的批量删除步骤

带空格的key的批量删除步骤如下:==============================1.把所有的命令都保存到一个文件中redis-cli -n 0 keys "*关键字*"  >> /home/bi_dev/b.txt2.将/home/bi_dev/b.txt下载到本周,在每一行的头和尾加上",由于key可能存储空格,导致无法匹配删除(1)在行头添加":通过Not

2017-09-20 10:03:14 3004

原创 Centos6.5安装Scrapy

python -Vyum -y updateyum groupinstall -y developmentyum install -y zlib-dev openssl-devel sqlite-devel bzip2-develwget https://www.python.org/ftp/python/3.5.2/Python-3.5.2.tar.xztar -xvf Python-3.5.2

2016-09-03 13:55:48 1373

原创 HDFS常用命令

HDFS常用命令 hadoop fs -mkdir /tmp/input 在HDFS上新建文件夹hadoop fs –put input1.txt /tmp/input 把本地文件input1.txt传到HDFS的/tmp/input目录hadoop fs –get input1.txt /tmp/

2016-06-26 20:10:22 528

原创 spark:scala读取mysql的4种方法

spark:scala读取mysql的4种方法1. 引入mysql的驱动包到/usr/local/spark/spark-1.6.0-bin-hadoop2.6/lib/hbase(目录根据配置而不同)mysql-connector-java-5.1.7-bin.jar并在mysql创建表stock:CREATE TABLE `stock` ( `id` dec

2016-06-26 20:07:10 19818 4

原创 spark: scala实现worldcount

spark: scala实现worldcount1. 首先创建hdfs目录在master节点(OPENFIRE-DEV)上创建hdfs目录,创建步骤如下://创建hdfs目录,普通目录是读取不到文件hdfs   dfs -mkdir /alidata #将要统计单词的文件拷贝到hdfs目录中hadoop fs -put /usr/local/hado

2016-06-26 19:52:14 3207

原创 CentOS安装PostgreSQL数据库

CentOS安装PostgreSQL数据库1. 安装PostgreSQL1) 解压linux-postgresql-9.4.1.tar.bz2bzip2 -d linux-postgresql-9.4.1.tar.bz2tar -xf linux-postgresql-9.4.1.tar2) 进入解压后的postgresql-9.4.1目录cd postgresq

2015-06-05 19:41:33 1856

原创 Postgres-XL集群的搭建和测试详解

Postgres-XL集群的搭建和测试详解CentOS6.5 192.168.0.101CentOS6.5 192.168.0.102CentOS6.5 192.168.0.103CentOS6.5 192.168.0.104一、主机规划 cnode1 (gtm)cnode2 (gtm_proxy,coordinator,datanode)cnode3 (gtm_pr

2015-06-05 19:24:07 11406 2

原创 PGPool集群的搭建和测试

PGPool集群的搭建和测试CentOS6.5 192.168.0.101 cnode1 //pgpool1,datanode1CentOS6.5 192.168.0.102 cnode1 //pgpool2,datanode2CentOS6.5 192.168.0.103 cnode1 //datanode3一、主机规划 cnode1 (pgpool1

2015-06-05 19:20:26 4224

原创 Linux: centos软件包管理的3种方式

Linux: centos软件包管理的3种方式centos软件管理的方式大概有3种:(1).通过rpm管理软件包;(2).通过yum管理软件包;(3).手动管理软件包。前言               软件包管理器的核心功能:      (1).制作软件包;      (2).安装,卸载,升级,查询,校验。       rpm包是由发布人定制

2015-05-30 23:14:51 3414

原创 Json转换工具类

Json转换工具类=============package com.util;import java.beans.IntrospectionException;import java.beans.Introspector;import java.beans.PropertyDescriptor;import java.util.List;public class

2015-05-14 17:27:26 667

原创 Java实现数据库连接池例子

Java实现数据库连接池例子======================ConnectionPoolUtil.javapackage com.util;import java.io.BufferedInputStream;import java.io.FileInputStream;import java.io.IOException;import java.io

2015-05-14 17:21:18 2205

原创 Java发送邮件例子

Java发送邮件例子MailUtil.javapackage com.util;import javax.mail.*;import javax.mail.internet.*;import java.util.*;import java.util.logging.Level;import java.util.logging.Logger;import java

2015-05-14 17:16:27 488

原创 JavaScript实现异步调用例子

JavaScript实现异步调用例子======================js部分:var url = "/servlet/AjaxCheckCallListServlet?assignCallIdList="+assignCallIdStr; var checkResult = ""; $.ajax({ async : false, //false表示同步,true表

2015-05-13 17:38:55 653

原创 Technology Note

总结:====1.查看某个表的索引------------------select * from user_ind_columns where table_name = upper('agent_master')  // agent_master为表名创建主键:ALTER TABLE QC_MASTER ADD  PRIMARY KEY (AGENT_CODE);

2015-05-13 17:22:22 657

原创 死锁的产生与预防

死锁的产生与预防=================1. 产生死锁的原因主要是:(1) 因为系统资源不足。(2) 进程运行推进的顺序不合适。(3) 资源分配不当等。如果系统资源充足,进程的资源请求都能够得到满足,死锁出现的可能性就很低,否则2. 产生死锁的四个必要条件:(1) 互斥条件:一个资源每次只能被一个进程使用。(2) 请求与保持条件:一

2015-05-13 17:21:03 578

原创 线程同步的2种方法

线程同步的2种方法==============同步的实现方式有两种,同步方法和同步块,这两种方式都要用到synchronized关键字。(1)同步方法给一个方法增加synchronized修饰符之后就可以使它成为同步方法,这个方法可以是静态方法和非静态方法,但是不能是抽象类的抽象方法,也不能是接口中的接口方法。下面代码是一个同步方法的示例:public

2015-05-13 17:14:10 746

原创 Java新建线程的3种方法

Java新建线程的3种方法===================Java创建线程有3种方法:(1)继承Thread;(2)实现Runnable接口;(3)实现Callable接口;由于Java只支持单继承,所以用继承的方式创建线程,比较死板,不够灵活;用实现接口的方式创建线程,可以实现多个接口,比较灵活。Runnable和Callable接口的区别:(1

2015-05-13 16:25:15 3259

原创 Tomcat: Tomcat系列之组件详解及服务安装配置

Tomcat系列之组件详解及服务安装配置Servlet是一种CGI技术,任何程序的修改都会重新编译。引进jsp, 是得java可以嵌套到html中,jasper可以将Jsp装成java,依赖servletcontainer。 Engine: 就是一个servlet container的实现,一个server可以有多个engine,所以必须有一个组件把server

2015-05-06 00:45:54 1267

原创 Tomcat: Tomcat系列之java技术详解

Tomcat系列之java技术详解Tomcat     PHP:        开发语言:脚本语言        运行环境:解释进行        ZendEngine: Opcode       Xcache , APC, eAccelerator      .JAVA ------>.class(bytecode)JV

2015-05-06 00:42:05 2716 1

转载 Nginx: Nginx反向代理、负载均衡、缓存、URL重写及读写分离

Nginx反向代理、负载均衡、缓存、URL重写及读写分离设计高性能网站的时候首页静态化,都是html格式,可能有些子版块是动态生成的,但也是缓存的。由于网站越来越复杂,网站需要分区,分成图片组,搜索组等等:Xcache: 缓存Nginx特性:mapevent-driver:一个进程响应多个请求,单线程进程aio LEMP:

2015-05-06 00:38:21 806

原创 Linux: 配置Ngnix作为Web Server详解

配置Ngnix作为Web Server详解IO模型:阻塞:当一个进程发起的IO请求不能得到满足的时候,必须等待至对方把响应数据准备好,内核必须从磁盘把数据复制到内核缓存区,再从内核缓冲区复制到进程缓冲区,在此期间进程必须处在等待。非阻塞:轮询查看数据是否准备好同步:对方必须接收完数据,才回复异步:把二进制数据发送出去即可,从硬件的角度看,不同同步时钟信号同步阻塞

2015-05-05 00:02:32 1629

原创 Linux: Linux根文件系统详解(1).avi

Linux: Linux根文件系统详解(1).aviWindows:PE,可执行的连接的源文件Linux:  ELF,可执行的连接的源文件文件系统:FHS::Linux文件系统标准(1)/:rootfs根文件系统(2)/boot:系统启动相关的文件,如内核,initrd, 以及grub(bootloader)(3)/dev: 设备文件系统,背景是黑色文字

2015-05-03 23:34:41 527

原创 Linux: Linux操作系统及常用命令

Linux操作系统及常用命令====================一、Linux操作系统开发一个操作系统,只需要提供内核,提供软件,如果软件需要库,提供库即可,最关键的应用程序是shell。(1)Bash需要1M(2)库需要1M(3)内核需要 2M所以,一个最小的linux可以为4m就可跑起来,最不过功能比较少。Linux的关键功能:

2015-05-03 23:13:33 539

原创 Axis: rt.jar和jaxrpc中javax.xml.namespace.QName冲突问题分析

Axis: rt.jar和jaxrpc中javax.xml.namespace.QName冲突问题分析=================================================       在项目中,已经加入了axis依赖包,原有的功能调用了axis开发web services,其中需要用到axis的依赖jar包jaxrpc.jar。另一个同事,在该项目中添加新的功

2015-04-30 16:31:32 8891 1

原创 Axis2: 复杂数据类型传输

Axis2: 复杂数据类型传输1.开发一个web services(1)新建一个java project,目录结构如下:IDataForm.javapackage service;public interface IDataForm { public String getName();}DataForm.javapackag

2015-04-28 23:36:58 5803 1

原创 集群:集群基础概念

集群:集群基础概念搭建一个论坛,用LAMP,http, web object没有用长连接,是无状态的200个请求,其中有50个请求是动态的Apache工作在prefork模型,每一个进程占用2m内存每一个动态的进程占用的内存是10M资源占用计算:500M+150*2m = 800M随着用户的增加,增加到1000个用户,假如这个1000请求里面里面,有

2015-04-28 00:12:45 752

转载 JVM垃圾收集器使用调查:CMS最受欢迎

JVM垃圾收集器使用调查:CMS最受欢迎转载自:http://www.csdn.net/article/2013-11-29/2817660-study-ablout-jvm-garbage-cooolector摘要:近日,Plumbr公司对特定垃圾收集器使用情况进行了一次调查研究,研究数据使用了84936个案例。在明确指定垃圾收集器的13%的案例中,并发收集器(CMS)使用次数最多;

2015-04-27 00:58:24 478

原创 Redis: sentinel集群的搭建和测试

Sentinel集群的搭建和测试1.1    测试环境    master:     127.0.0.16379   slave1:     127.0.0.1 6380   slave2:     127.0.0.1 6381   master-sentinel: 127.0.0.1  26379   slave1-sentinel: 127.0.0.1  26380

2015-04-27 00:25:05 4614 4

原创 Apache: http虚拟主机

apache: 服务器,Host, 物理主机如果一个很小的站点就占用一个物理主机的话,很浪费,所以可以把物理主机虚拟成多个虚拟主机,服务多个不同的站点Apache:中心主机虚拟主机     IP, 80(1)  基于IP每一个虚拟主机使用一个IP地址(2)  基于端口IP地址只有一个,但端口不一样但客户不知使用的端口,一般很少用(3)  基于域名

2015-04-27 00:20:28 696

原创 Apache: Http的属性配置

###Section2:’Main’ server configuration – 主服务器###Section3:Virtual Hosts—虚拟主机2和3只能有一个生效。###Section2:’Main’ server configuration,表示只提供一个web服务器,不提供虚拟主机###Section3:Virtual Hosts—虚拟主机,表示禁用main serv

2015-04-27 00:19:42 512

转载 Apache: Httpd安装与配置

Apache 17年A Patchy Server = apache 一个充满补丁的服务器FSF:GNU, GFLASF: Apache Software FoundationWeb: httpd      Tomcat      HadoopHTTPD:2.2, 2.4,2.0配置有着巨大的差别Httpd特性:1.事先创建进程;请求来了,就分配以创

2015-04-27 00:19:13 1072

原创 TCPIP: Web服务器和HTTP协议

HTTP: HyperText Transfer Protocal: 超文本传输协议带超链接Web:    http/0.9:仅支持纯文本(超链接),ASCII    html: HyperTextMark Language,编写超文本的语言    如:TitleBrowser: 客户端1.1.1.1: web, a.html2.2.2.2:  web,a.html

2015-04-25 02:37:06 1700

原创 TCPIP: DNS服务相关概念详解

19_01_DNS服务相关概念详解DNS域名解析:BIND;Berkeley Internet Name DomainHTTP: Apache, LAMP, Nginx(EngineX),LNMP(lemp),MySQL,PHPVarnish(缓存)CDN:内容分发网络File Server: NFS, SMB/CIFS,FTPNetfilter:iptab

2015-04-24 00:39:12 904

原创 TCPIP: 主机接入网络

主机网络配置:IPNETMASKGATEWAYDNS1:DNS2:第一个不在线的时候,才用DNS2路由信息获取IP方式:手动指定,DHCP:HostConfiguration Protocol如果DHCP,会随机配置一个私有地址。对Linux,网络属于内核,地址属于内核,不属于网卡。因此无论网卡配置在那个网卡上,主要IP配置该主机上,都能够ping得

2015-04-23 01:55:24 549

原创 TCPIP: 传输层

令牌环网和以太网之间怎么通信?他们的网卡,连接介质可能都不一样,这时路由器就产生作用,在IP层,将这2个网络拟合起来。TCP: Transmission Control Protocal可靠的传输,但效率较低UDP:User Datagram Protocol已经知道对方存在,往外即可QQ用的是UDP,靠服务层的应用协议确保报文传输的。互联网上大多数的应用都

2015-04-23 01:52:24 928

原创 TCPIP: IP报头

IP version(4 bits): IPv4,或者IPv6Hdr Len(4 bits): 首部长度,包括可选段,可选段=首部长度-20bytes标记的是行数,不是字节数,2的4次-1=15行,一行4个字节Type of Service(TOS)(8 bits): 服务优先级,优先级高,能加快传输速度Total Length(16 bits): 整个IP报文的长度,包括头部和数

2015-04-22 00:54:57 981

原创 TCPIP: IPv4分类

IP地址:点分十进制:0000 - 0000 – 1111 – 11110-255IP地址=网络地址+主机地址(1)IP地址分类A类:只有第一段表示网络地址,掩码255.0.0.00 000 0001 – 0 111 1111 共127个A类地址127是回环地址,浪费掉了,有效地址1-126,2的7次方-1个0开头容纳多少个主机:2的24次方-2主机位全

2015-04-22 00:51:27 505

原创 Linux: 操作系统

Linux: 操作系统=========计算机本身就是一堆硬件,最核心就是CPU和存储器设备,为了能够计算机获得数据,有输入设备和输出设备,输入输出设备通过南桥(北桥接入cache)接入系统的,彼此之间还有总线,比如内存到CPU的叫系统总线,各种键盘,鼠标需要的总线也是不一样的。为了进可能利用计算机的资源,需要一个协调器,叫操作系统。操作系统的内核负责管理硬

2015-04-20 21:58:07 493

原创 Linux(1): 用户及权限详解

Linux(1): 用户及权限详解=====================Linux的层次: 进程(应用程序)        库        内 核        硬件 一、前言在Linux中一切皆文件,文件有3中权限:(1)文件属主;(2)文件属组;(3)其它用户的访问权限。文件:r: 可读,可以使用类似cat等命令查看文

2015-04-15 00:01:55 536

58同城推荐系统设计与实现

58同城推荐系统设计与实现

2019-01-05

网易离线数据分析平台实践

网易离线数据分析平台实践-一站式大数据管理和应用开发平台,覆盖了大规模数据存储与计算、数据集成、应用开发及数据管理等企业大数据应用场景。

2018-12-29

Web Service开发和测试

使用eclipse+axis2开发一个简单的web service,并用soapui进行压力测试

2015-02-13

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除