- 博客(37)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 kafka自动关闭
使用守护进程方式启动bin/kafka-server-start.sh -daemon ./config/server.properties &
2016-11-25 16:44:33
5155
原创 eclipse搭建Scala开发环境
1.下载安装Scalahttps://www.scala-lang.org/download/2、使用msi安装时一般已经将Scala/bin的目录添加到了PATH路径中，如果没有则配置下环境变量3、在CMD中输入scala -version查看4、打开eclipse，并点击"Help"选择其中的"Eclipse Marketplace"，并输入scal
2016-11-24 10:42:55
1018
原创 Spark -1：入门概述
Apache Spark™是用于大规模数据处理的快速和通用引擎。快速在内存中运行程序的速度比Hadoop MapReduce快100倍，或者在磁盘上运行速度快10倍。Apache Spark具有支持循环数据流和内存计算的高级DAG执行引擎。使用方便在Java，Scala，Python，R中快速编写应用程序。Spark提供超过80个高级运算符，
2016-11-23 11:38:59
873
原创 Kafka Consumer 概述
消费的规则如下：一个partition只能被同一个ConsumersGroup的一个线程所消费.线程数小于partition数，某些线程会消费多个partition.线程数等于partition数，一个线程正好消费一个线程.当添加消费者线程时，会触发rebalance，partition的分配发送变化.同一个partition的offset保证消费有序，不同的partition消费不保证顺
2016-11-22 13:25:18
694
原创 Spark Streaming -2. Kafka集成指南（Kafka版本0.10.0或更高版本）
在spark1.3版本后，kafkautil里面提供了两个创建dstream的方法，1、KafkaUtils.createDstream构造函数为KafkaUtils.createDstream(ssc, [zk], [consumer group id], [per-topic,partitions] ) 使用了receivers来接收数据，利用的是Kafka高层次的消费者a
2016-11-22 10:20:19
16126
3
原创 JMS与MQ
1JMS与MQ 1.1JMSJMS（Java Messaging Service）是Java平台上有关面向消息中间件（MOM）的技术规范，它便于消息系统中的Java应用程序进行消息交换，并且通过提供标准的产生、发送、接收消息的接口简化企业应用的开发，中文称Java消息服务。JMS是一种与厂商无关的 API，用来访问消息收发系统消息；就像JDBC（Java Database Conn
2016-11-22 10:10:49
701
原创 四.kafka消息队列应用场景
消息队列Kafka很好地代替了一个更传统的消息队列。消息队列用于各种原因（用于将处理与数据生成器分离，缓冲未处理的消息等）。与大多数消息传递系统相比，Kafka具有更好的吞吐量，内置分区，复制和容错功能，这使其成为大规模消息处理应用程序的良好解决方案。在我们的经验中，消息传递使用通常比较低的吞吐量，但可能需要低端到端延迟，并且通常取决于Kafka提供的强大的持久性保证。在此域中，Kaf
2016-11-22 09:10:39
2525
转载 个性化推荐系统实践
1. 数据收集及预处理推荐系统的本质其实就是通过一定的方式将用户和喜欢的物品联系起来。物品和用户自身拥有众多属性信息进行标识。1) 物品属性物品表示推荐系统的客体，在不同的应用场景下，物品指代不同的待推荐事物。比如，在书籍推荐中，物品表示书籍；在电商推荐中，物品表示商品；在电影推荐中，物品表示电影；在社交网络推荐中，物品表示人。商品有多种属性标识自己是什么。商品
2016-11-21 15:41:43
1622
转载 Java与Http协议(HttpURLConnection和HttpClient)
引言 http（超文本传输协议）是一个基于请求与响应模式的、无状态的、应用层的协议，常基于TCP的连接方式。HTTP协议的主要特点是： 1.支持客户/服务器模式。 2.简单快速：客户向服务器请求服务时，只需传送请求方法和路径。由于HTTP协议简单，通信速度很快。 3.灵
2016-11-21 15:27:13
5798
原创 Scala case class
创建 case class 和它的伴生 object实现了 apply 方法让你不需要通过 new 来创建类实例默认为主构造函数参数列表的所有参数前加 val ^添加天然的 hashCode、equals 和 toString 方法。由于 == 在 Scala 中总是代表 equals，所以 case class 实例总是可比较的生成一个 copy 方法以支持
2016-11-21 15:11:36
784
转载 Spring
转自：http://ifeve.com/spring-interview-questions-and-answers/ 目录Spring 概述依赖注入Spring beansSpring注解Spring数据访问Spring面向切面编程（AOP）Spring MVCSpring 概述1. 什么是spring?Spring 是个java企业级应用的开源开
2016-11-21 15:10:06
622
转载 SOCKET，TCP/UDP,HTTP,FTP
SOCKET，TCP/UDP,HTTP,FTP （一）TCP/UDP,SOCKET,HTTP,FTP简析 TCP/IP是个协议组，可分为三个层次：网络层、传输层和应用层：网络层：IP协议、ICMP协议、ARP协议、RARP协议和BOOTP协议传输层：TCP协议与UDP协议应用层：FTP、HTTP、TELNET、SMTP、DNS等协议
2016-11-21 14:56:44
620
转载 AJAX工作原理及其优缺点
1.什么是AJAX?AJAX全称为“Asynchronous JavaScript and XML”（异步JavaScript和XML），是一种创建交互式网页应用的网页开发技术。它使用：使用XHTML+CSS来标准化呈现；使用XML和XSLT进行数据交换及相关操作；使用XMLHttpRequest对象与Web服务器进行异步数据通信； 使用Javascript操作Document
2016-11-21 13:06:20
2040
原创 nginx Server names
通配符名称正则表达式名称混合名称优化兼容性服务器名称定义使用的server_name指令和决定哪个服务器块用于一个给定的请求。参见“如何Nginx处理一个请求”。可以使用确切名称、通配符或正则表达式定义它们：server { listen 80; server_name example.org www.example.org;
2016-11-21 11:34:10
6414
6
原创 java常用的性能调优工具
开放性：挃系统遵循丐界标准规范，特别是遵循开放系统互连(OSI)国际标准。 多用户：是挃系统资源可以被丌同用户使用，每个用户对自己的资源(例如：文件、设备)有特定的权限，互丌影响。 多任务：它是挃计算机同时执行多个程序，而丏各个程序的运行互相独立。 良好的用户界面：Linux向用户提供了两种界面：用户界面和系统调用。Linux还为用户提供了图形用户界面。它利用鼠标、菜
2016-11-21 11:18:25
25002
原创 java.util.concurrent 之locks
Java 并发包concurrent包下主要提供lock和ReadWrite两种接口，提供两种类型的锁。ReentrantLock 实现了标准的互斥操作，也就是一次只能有一个线程持有锁，也即所谓独占锁的概念。前面的章节中一直在强调这个特点。显然这个特点在一定程度上面减低了吞吐量，实际上独占锁是一种保守的锁策略，在这种情况下任何“读/读”，“写/读”，“写/写”操作都不能同时发生。但是同
2016-11-21 10:58:52
1012
原创 Java的位运算符详解实例——与（&）、非（~）、或（|）、异或（^）
位运算符主要针对二进制，它包括了：“与”、“非”、“或”、“异或”。从表面上看似乎有点像逻辑运算符，但逻辑运算符是针对两个关系运算符来进行逻辑运算，而位运算符主要针对两个二进制数的位进行逻辑运算。下面详细介绍每个位运算符。 1．与运算符与运算符用符号“&”表示，其使用规律如下：两个操作数中位都为1，结果才为1，否则结果为0，例如下面的程序段。public class dat
2016-11-18 14:40:29
472
原创 堆（heap）原理
堆（英语：heap)是计算机科学中一类特殊的数据结构的统称。堆通常是一个可以被看做一棵树的数组对象。 堆总是满足下列性质：堆中某个节点的值总是大于或小于其父节点的值；堆总是一颗完全树。将根节点最大的堆叫做最大堆或大根堆，根节点最小的堆叫做最小堆或小根堆。常见的堆有二叉堆、斐波那契堆等。堆支持以下的基本操作: 支持的基本操作build:建立一个空堆；insert
2016-11-17 10:58:59
1414
原创 队列（queue）原理
像栈一样，队列（queue）也是一种线性表，它的特性是先进先出，插入在一端，删除在另一端。就像排队一样，刚来的人入队（push）要排在队尾(rear)，每次出队(pop)的都是队首(front)的人。如图1，描述了一个队列模型。队列（Queue）与栈一样，是一种线性存储结构，它具有如下特点：队列中的数据元素遵循“先进先出”（First In First Out）的原则，简称FI
2016-11-17 10:19:57
46691
3
原创 栈（stack）原理
一.原理 栈（stack）又名堆栈，它是一种运算受限的线性表。其限制是仅允许在表的一端进行插入和删除运算。这一端被称为栈顶，相对地，把另一端称为栈底。向一个栈插入新元素又称作进栈、入栈或压栈，它是把新元素放到栈顶元素的上面，使之成为新的栈顶元素；从一个栈删除元素又称作出栈或退栈，它是把栈顶元素删除掉，使其相邻的元素成为新的栈顶元素。 二.特点栈的基本特点：先入后出，后入先出
2016-11-17 10:13:53
2520
原创 数组与链表的区别
首先从逻辑结构上说，两者都是数据结构的一种。数组是将元素在内存中连续存放，由于每个元素占用内存相同，可以通过下标迅速访问数组中任何元素。但是如果要在数组中增加一个元素，需要移动大量元素，在内存中空出一个元素的空间，然后将要增加的元素放在其中。同样的道理，如果想删除一个元素，同样需要移动大量元素去填掉被移动的元素。如果应用需要快速访问数据，很少或不插入和删除元素，就应该用数组。
2016-11-17 09:44:01
6416
原创 链表原理
链表是一种数据结构，和数组同级。比如，Java中我们使用的ArrayList，其实现原理是数组。而LinkedList的实现原理就是链表了。链表在进行循环遍历时效率不高，但是插入和删除时优势明显。链表就是链式存储的线性表。根据指针域的不同，链表分为单向链表、双向链表、循环链表等等。一、 单向链表（slist）链表中最简单的一种是单向链表，每个元素包含两个域，值域和指针域
2016-11-16 15:24:55
6229
1
原创 哈希表
什么是哈希表 哈希表（Hash table，也叫散列表），是根据关键码值(Key value)而直接进行访问的数据结构。也就是说，它通过把关键码值映射到表中一个位置来访问记录，以加快查找的速度。这个映射函数叫做散列函数，存放记录的数组叫做散列表。哈希表就是一种以 键-值(key-indexed) 存储数据的结构，我们只要输入待查找的值即key，即可查找到其对应的值。
2016-11-16 13:31:54
758
原创 java.util.concurrent 之ConcurrentSkipListSet
ConcurrentSkipListSet介绍ConcurrentSkipListSet是线程安全的有序的集合，适用于高并发的场景。ConcurrentSkipListSet和TreeSet，它们虽然都是有序的集合。但是，第一，它们的线程安全机制不同，TreeSet是非线程安全的，而ConcurrentSkipListSet是线程安全的。第二，ConcurrentSkipListSet
2016-11-16 10:49:31
743
原创 java.util.concurrent 之ConcurrentLinkedQueue
队列是一种非常常用的数据结构，一进一出，先进先出。 在Java并发包中提供了两种类型的队列，非阻塞队列与阻塞队列，当然它们都是线程安全的，无需担心在多线程并发环境所带来的不可预知的问题。为什么会有非阻塞和阻塞之分呢？这里的非阻塞与阻塞在于有界与否，也就是在初始化时有没有给它一个默认的容量大小，对于阻塞有界队列来讲，如果队列满了的话，则任何线程都会阻塞不能进行入队操作，反之队列为
2016-11-16 10:48:42
964
原创 java.util.concurrent 概览
Interface SummaryInterfaceDescriptionBlockingDequeA Deque that additionally supports blocking operations that wait for the deque to become non-empty when retrieving an
2016-11-15 20:54:35
633
转载 数据结构中各种树
数据结构是指相互之间存在着一种或多种关系的数据元素的集合和该集合中数据元素之间的关系组成一、线性表 1.数组实现 2.链表二、栈与队列三、树与二叉树 1.树 2.二叉树基本概念 3.二叉查找树 4.平衡二叉树 5.红黑树四、图
2016-11-15 20:44:06
740
原创 Spark -3：三种集群模式
Spark支持以下3中集群管理器：Standalone – Spark自带的一个简单的集群管理器，这使得启动一个Spark集群变得非常简单。Apache Mesos – 一种可以运行Hadoop MapReduce或者服务型应用的通用集群管理器。Hadoop YARN – Hadoop 2的集群管理器。
2016-11-14 10:50:37
4711
原创 三.kafka 备份机制
备份机制是Kafka0.8版本的新特性，备份机制的出现大大提高了Kafka集群的可靠性、稳定性。有了备份机制后，Kafka允许集群中的节点挂掉后而不影响整个集群工作。一个备份数量为n的集群允许n-1个节点失败。在所有备份节点中，有一个节点作为lead节点，这个节点保存了其它备份节点列表，并维持各个备份间的状体同步。下面这幅图解释了Kafka的备份机制:
2016-11-10 13:56:03
5060
原创 一.kafka集群环境搭建
1、下载地址http://kafka.apache.org/downloads.html 2、进入每个Kafka的根目录，分别对其config/server.properties文件进行配置：Java代码 ----config/server.properties broker.id=1 listeners=PLAINT
2016-11-09 15:25:40
604
原创 zookeeper启动占用8080端口
zookeeper最近的版本中有个内嵌的管理控制台是通过jetty启动，也会占用8080 端口。通过查看zookeeper的官方文档，发现有3种解决途径：（1）.删除jetty。（2）修改端口。修改方法的方法有两种，一种是在启动脚本中增加 -Dzookeeper.admin.serverPort=你的端口号.一种是在zoo.cfg中增加admin.serverPort=没有被占用的端口号
2016-11-09 13:30:14
15840
1
原创 Spark -5：Standalone 集群模式
翻译：http://spark.apache.org/docs/latest/spark-standalone.html#standby-masters-with-zookeeper将Spark Standalone安装到群集1.编译源码2.直接下载手动启动集群启动master节点./sbin/start-master.sh
2016-11-07 10:15:12
1576
原创 JVM之类加载器
类从被加载到虚拟机内存中开始，到卸载出内存为止，它的整个生命周期包括：加载、验证、准备、解析、初始化、使用和卸载七个阶段。它们开始的顺序如下图所示： 1.类的加载过程 JVM将类加载过程分为三个步骤：装载（Load），链接（Link）和初始化(Initialize)链接又分为三个步骤，如下图所示：1) 装载：查找并加载类的二进制数据；2)链接：验证：确保被...
2016-11-03 11:34:46
425
原创 JVM之堆内存
堆内存Java 中的堆是 JVM 所管理的最大的一块内存空间，主要用于存放各种类的实例对象。Java堆是被所有线程所共享的一块内存区域，在虚拟机启动时创建。此内存区域的唯一目的就是存储对象实例，几乎所有的对象实例都在这里分配内存。这一点在Java虚拟机规范中描述是：The heap is the runntime data area from which memory for all cl...
2016-11-03 10:35:18
387
原创 mybatis常见问题
1.Ibatis中#与$的区别？1 #是把传入的数据当作字符串，如#field#传入的是id,则生成sql语句:order by “id”;2 $传入的数据直接生成在sql里，如#field#传入的是id,则sql语句生成是这样，order by id ;3 #方式能够很大程度防止sql注入, 但$方式无法防止sql注入;4 $方式一般用于传入数据库对象．例如传入表名;5 一般
2016-11-01 15:52:30
732
原创 Servlet的特点及运行过程
Servlet的特点Servlet是一个供其他java程序(Servlet引擎)调用的java类，它不能独立运行Servlet引擎是一种容器程序，它负责管理和维护所有Servlet对象的生命周期，因此也被称之为Servlet容器或Web容器。Servlet引擎负责将客户端的请求信息转发给Servlet和将Servlet生成的响应信息返回给客户端。
2016-11-01 13:48:46
485
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人