2017年07月_qq_26182553

原创 Mysql表分区

Mysql表分区有以下几种方式： Range List Hash Key 这几种方式的详细区别请参考： http://www.jb51.net/article/48425.htm 下面以Range为例详细说明分区的使用过程:

2017-07-26 16:52:46 347

原创 SqlServer表分区

1. 创建文件组和文件图形界面：选择数据库--右键属性--文件组和文件脚本alter database CollectionDB add filegroup [fg2014]alter database CollectionDB add filegroup [fg2015]alter database CollectionDB add file

2017-07-20 20:27:57 397

原创设计模式-单例模式

双重判断public class TestSingleton { private TestSingleton(){} private static TestSingleton instance;; public static TestSingleton getSingleton(){ if(instance==null){ synchronized(TestSing

2017-07-18 17:17:39 181

原创 Phoenix常见用法

1. Load Data into PhoenixUsing our map-reduce based CSV loader for bigger data sets http://phoenix.apache.org/bulk_dataload.htmlhadoop jar phoenix--client.jar org.apache.phoenix.mapreduce.Cs

2017-07-13 11:38:34 467

原创 hbase-- Fully Distributed Install

NodeName Master ZooKeeper RegionServercentos1 yes yes nocentos2 backup yes yescentos3 no yes yes 1. config

2017-07-13 11:38:19 184

原创 linux后台运行和关闭、查看后台任务

linux后台运行和关闭、查看后台任务 fg、bg、jobs、&、nohup、ctrl+z、ctrl+c 命令一、&加在一个命令的最后，可以把这个命令放到后台执行，如watch -n 10 sh test.sh & #每10s在后台执行一次test.sh脚本二、ctrl + z可以将一个正在前台执行的命令放到后台，并且处于暂停状态。

2017-07-13 11:38:12 273

原创 Phoenix安装

1. downloadwget https://mirrors.tuna.tsinghua.edu.cn/apache/phoenix/apache-phoenix-4.11.0-HBase-1.2/bin/apache-phoenix-4.11.0-HBase-1.2-bin.tar.gztar -zxvf apache-phoenix-4.11.0-HBase-1.2-bin.tar

2017-07-13 11:38:04 759

原创 Dubbo与Kafka对比

相同点：1. 都可以以分布式方式处理任务2. 都可以负载均衡不同点：1. Dubbo处理任务是同步的，可以收到返回结果值。Kafka是异步的，不能返回结果值。2. Kafka可以存储消息，可以从某个消息重新开始执行。如果任务执行速度较慢，消息可以缓存，不会阻塞。

2017-07-13 11:37:57 9272

原创 Kafka应用--金融行业分布式数据计算

股票期货数据数据计算特点：1. 每只股票或期货账户有许多数据要计算而不涉及其它账户，比如净值、收益率、波动率、夏普值...2. 账户量一般比较大，有并发处理需求。3. 不需要Consumer运行完后向producer返回结果。而Kafka刚好满足这些需求：1. 当partition数量大于consumer数据时，可以动态添加多个consumer，起到负载均衡的作用

2017-07-13 11:37:50 1297

原创 kafka的topic多分区的情况，如何保证跨区的消息消费的顺序性

这个问题严格来说是肯定有的，kafka只能保证分区内的有序性。下面是kafka作者Jay Kreps的blog中介绍kafka设计思想的一段话。Each partition is a totally ordered log, but there is no global ordering between partitions (other than perhaps some wall

2017-07-13 11:37:43 12247

原创将Flume作为Kafka的Consumer

参考：http://www.cnblogs.com/smartloli/p/4615908.html

2017-07-13 11:37:36 436

原创 Kafka 与 Flume 如何选择

采集层主要可以使用Flume, Kafka两种技术。Flume：Flume 是管道流方式，提供了很多的默认实现，让用户通过参数部署，及扩展API.Kafka：Kafka是一个可持久化的分布式的消息队列。 Kafka 是一个非常通用的系统。你可以有许多生产者和很多的消费者共享多个主题Topics。相比之下,Flume是一个专用工具被设计为旨在往HDFS,HBase发送数据。它对H

2017-07-13 11:37:29 351

原创 Java中的byte char String 编码解码

char人能识别的字符，在Java中用Unicode表示，占两个字节，可以表示中文。在jvm中，它的值是唯一的，可以用数字表示：char a1 ='周';char a ='\u5468'; //Unicodechar aa =0x5468; //十六进制char aaa = 21608; //十进制System.out.println(a1);System.out.pr

2017-07-13 11:37:20 821

原创 java多线程用匿名内部类创建多线程

实现Runnable接口new Thread(new Runnable(){ public void run(){ System.out.println("thread is running"); }}).start(); 或继承Thread类new Thread(){ public void run(){ System.out.println("thr

2017-07-13 11:37:13 390

在 java垃圾回收整理一文中，描述了jvm运行时刻内存的分配。其中有一个内存区域是jvm虚拟机栈，每一个线程运行时都有一个线程栈，线程栈保存了线程运行时候变量值信息。当线程访问某一个对象时候值的时候，首先通过对象的引用找到对应在堆内存的变量的值，然后把堆内存变量的具体值load到线程本地内存中，建立一个变量副本，之后线程就不再和对象在堆内存变量值有任何关系，而是直接修改副本变量的值，在修改完之后

2017-07-13 11:37:06 583

原创 Java多线程-线程状态及方法的使用

thread.sleep(int) 让线程进入休眠状态。如果在synchronized代码块或方法中执行sleep(int)，线程并不会放弃对象的锁。 object.wait() :让当前获得object对象锁的线程进入该对象的线程等待队列。也就是让线程解开这个对象的锁, 同时进入休眠状态。wait状态的线程可被object.notify()唤醒。 object.notify(

2017-07-13 11:36:59 208

原创用maven打包tar.gz文件

项目目录结构： pom.xml中添加： maven-assembly-plugin src/main/s/assembly/assembly.xml make-assembly

2017-07-13 11:36:51 4991

原创 Maven系列3--Maven命令行选项

可以免费转载，转载时请注明出处 http://pengqb.iteye.com 。Maven 命令行选项说明：1、使用-选项时，和后面的参数之间可以不要空格。而使用--选项时，和后面的参数之间必须有空格。如下面的例子： $ mvn help:describe -Dcmd=compiler:compile $ mvn install --define maven.test.skip=true2

2017-07-13 11:36:44 255

原创 Maven系列2--pom.xml 配置详解

<project xmlns="http://maven.apache.org/POM/4.0.0 " xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance " xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/m

2017-07-13 11:36:36 226

原创 Maven系列1--settings.xml 配置详解

<settings xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/settings-1

2017-07-13 11:36:29 202

原创 Nginx搭建Tomcat负载均衡环境

安装Nginxwget http://nginx.org/packages/centos/6/x86_64/RPMS/nginx-1.12.0-1.el6.ngx.x86_64.rpmrpm -ivh nginx-1.12.0-1.el6.ngx.x86_64.rpmrpm -ql nginx //查看安装路径或 whereis nginx 安装完成后，一些目录和文件的基本

2017-07-13 11:36:22 301

原创 Dubbo安装

1. clone源码https://github.com/alibaba/dubbo.git 2. 安装dubbo-admin2.1 编译dubbo-admin在dubbo/dubbo-admin目录下运行命令mvn packageError: 远程仓库中找不到Dubbo的2.5.4-SNAPSHOT版解决办法：将dubbo-admin/pom.xml 和 /pom

2017-07-13 11:36:07 464

原创 Memcached简介

参考：http://www.yiibai.com/memcached/

2017-07-13 11:36:00 150

原创 JPA几种状态之间的关系

1 23 参考：http://blog.csdn.net/hmk2011/article/details/6289151 大小: 13.6 KB

2017-07-13 11:35:52 535

原创 Selenium简介

Selenium组件Selenium IDE 用来录制测试动作的火狐浏览器插件Selenium RC Selenium Remote Control 核心旗舰测试框架，用来编写比浏览器动作更复杂的测试程序。支持Java, C#, PHP, Python, Ruby and PERL等语言。Selenium WebDriver Selenium RC的替代者，用来直接向

2017-07-13 11:35:45 170

原创 Redis简介

Redis是一个开源，高级的键值存储和一个适用的解决方案，用于构建高性能，可扩展的Web应用程序。Redis有三个主要特点，使它优越于其它键值数据存储系统 -Redis将其数据库完全保存在内存中，仅使用磁盘进行持久化。与其它键值数据存储相比，Redis有一组相对丰富的数据类型。Redis可以将数据复制到任意数量的从机中。 Redis的优点异常快 - Redis非常快，

2017-07-13 11:35:37 121

原创 Storm安装

1. downloadwget http://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache-storm-1.1.0/apache-storm-1.1.0.tar.gz tar -zxvf apache-storm-1.1.0.tar.gzln -s apache-storm-1.1.0 storm 2. config .bas

2017-07-13 11:35:29 178

原创 Storm简介

Storm----------------------------------------实时计算系统。使用场景：实时分析，在线机器学习，持续计算。速度快，每秒每节点处理数据百万tuple级别。无状态，集群状态和分布式环境信息在zk中保存。确保每个消息至少被消费一次。 Storm核心概念-----------------------------------

2017-07-13 11:35:22 256

原创 spark与storm的对比

摘自： http://www.cnblogs.com/yaohaitao/p/5703288.html 对比点StormSpark Streaming实时计算模型纯实时，来一条数据，处理一条数据准实时，对一个时间段内的数据收集起来，作为一个RDD，再处理实时计算延迟度毫秒级

2017-07-13 11:35:15 240

原创 Pig简介和安装

Pig和Hive对比Apache PigHiveApache Pig uses a language called Pig Latin. It was originally created atYahoo.Hive uses a language called HiveQL. It was originally created at Facebook.Pig Latin

2017-07-13 11:35:06 401

原创 Sqoop和mysql之间传输数据

参考：https://www.tutorialspoint.com/sqoop/sqoop_import.htm

2017-07-13 11:34:59 319

原创 Sqoop1 安装

1. download sqoopwget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gztar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gzln -s sqoop-1.4.6.bin_

2017-07-13 11:34:51 359

原创 Sqoop2安装 (unstable)

1. download sqoopwget http://apache.fayea.com/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gz 或wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.99.7/sqoop-1.99.7-bin-hadoop200.tar.gztar

2017-07-13 11:34:44 270

原创将Kafka作为Flume的Source

1. 配置flumekafka-source.propertiesagent1.sources = source1 agent1.channels = channel1 agent1.sinks = sink1 agent1.sources.source1.type = org.apache.flume.source.kafka.KafkaSourceagen

2017-07-13 11:34:37 2403

原创 Kafka 编写自己的producer、partitioner和consumer

1. 简单的 Producerimport java.util.Properties;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.Producer;import org.apache.kafka.clients.producer.P

2017-07-13 11:34:30 921

原创 Kafka 在zookeeper中的节点结构、日志结构

登录zookeeperzkCli.sh -server centos1:2181 创建topics mytopickafka-topics.sh --create --zookeeper centos1:2181,centos2:2181,centos3:2181 --replication-factor 3 --partitions 2 --topic mytopic z

2017-07-13 11:34:22 825

原创 Kafka 基本应用--创建集群并且容错测试

Start zookeeperbin/zookeeper-server-start.sh config/zookeeper.properties Setting up a multi-broker cluster cp config/server.properties config/server-1.propertiescp config/server.properties c

2017-07-13 11:34:15 434

原创 Kafka 安装

1. download kafka_2.11-0.10.1.0.tgz, upload to /usr/localcd /usr/localtar -zxvf kafka_2.11-0.10.1.0.tgzmv kafka_2.11-0.10.1.0 kafka 2. config vi ~/.bashrcexport KAFKA_HOME=/usr/local/kaf

2017-07-13 11:34:08 227

原创 Kafka 简介

Kafka作用：1. 分布式流计算平台2. 类似于消息系统发布订阅数据流3. 以分布式、副本集群方式存储数据4. 实时处理数据流5. 构建实时数据流管道，水平可伸缩、容错、速度快特点：1. 巨量数据，TB级2. 高吞吐量支持每秒百万消息3. 分布式支持在多个server之间进行消息分区4. 多语言客户端支持技术特点：1. 消息

2017-07-13 11:34:01 199

原创 shell脚本监控登录用户是否异常

1, 下载phpapt install php 或yum install php 2. 用php命令来判断ip归属地vi ip.php<?php$ip="192.168.1.109"; $json=file_get_contents('http://ip.taobao.com/service/getIpInfo.php?ip='.$ip);

2017-07-13 11:33:53 1004

空空如也

空空如也