- 博客(70)
- 资源 (28)
- 收藏
- 关注
RSS订阅原创 Scala类的继承，抽象类定义，接口定义
1． 继承1.1． 扩展类在Scala中扩展类的方式和Java一样都是使用extends关键字1.2． 重写方法在Scala中重写一个非抽象的方法必须使用override修饰符1.3． 类型检查和转换 Scala Java obj.isInstanceOf[C] obj instanceof C obj.asInstanceOf[C] (C)obj classOf[C]
2017-06-30 09:46:03
2017
1
原创 Scala类的定义，主/辅构造器，以及方法中的变量定义，单例对象，伴生对象，Apply方法调用，应用程序对象
1． 类1.1． 类的定义package cn.toto.scala.day2/** * 在Scala中，类并不用声明为public类型的。 * Scala源文件中可以包含多个类，所有这些类都具有共有可见性。 * Created by toto on 2017/6/29. */class Person { //用val修饰的变量是可读属性，有getter但没有setter（相当
2017-06-29 13:58:43
1665
原创 Scala中使用两种方式对单词进行次数统计(wordCount)
使用Scala对单词数量进行统计： 假设有单词数组： val arr = Array(“hello tom”,”hello jerry”,”hello hello”) 需要对Array中的每个单词进行统计计数。 可以使用如下方式： 方式一：scala> arr.flatMap(_.split(" ")).map((_,1)).groupBy(_._1).map(t=>(t._1,t._2.
2017-06-28 12:26:58
12062
1
原创 Scala集合，序列(可变和不可变List),List各种函数的使用,不可变Set和可变Set,Map
1． 集合Scala的集合有三大类：序列Seq、集Set、映射Map，所有的集合都扩展自Iterable特质 在Scala中集合有可变（mutable）和不可变（immutable）两种类型，immutable类型的集合初始化后就不能改变了（注意与val修饰的变量进行区别）1.1． 序列不可变的序列 import scala.collection.immutable._ 在Scala中列表要么为
2017-06-28 02:56:57
34238
4
原创 Scala元组
1． 元组 映射是K/V对偶的集合，对偶是元组的最简单形式，元组可以装着多个不同类型的值。 1.1． 创建元组 1.2． 获取元组中的值 1.3． 将对偶的集合转换成映射 1.4． 拉链操作 zip命令可以将多个值绑定在一起 注意：如果两个数组的元素个数不一致，拉链操作后生成的数组的长度为较小的那个数组的元素个数
2017-06-28 02:15:37
960
1
原创 Scala中映射的语法(对应Java中的Map集合的定义)
1． 映射 在Scala中，把哈希表这种数据结构叫做映射 1.1． 构建映射1.2． 获取和修改映射中的值 好用的getOrElse 注意：在Scala中，有两种Map，一个是immutable包下的Map，该Map中的内容不可变；另一个是mutable包下的Map，该Map中的内容可变 例子： 注意：通常我们在创建一个集合是会用val这个关键字修饰一个变量（相当于ja
2017-06-28 02:04:26
1774
1
原创 Scala数组，定长数组和变长数组，增强for循环，until用法，数组转换，数组常用算法，数组其它操作
1． 数组1.1． 定长数组和变长数组package cn.toto.scala//可变数组的长度时需要引入这个包import scala.collection.mutable.ArrayBuffer/** * Created by toto on 2017/6/27. */object ArrayDemo { def main(args: Array[String]): Unit =
2017-06-28 01:52:01
10858
1
原创 Scala方法定义，方法和函数的区别，将方法转换成函数
1． 定义方法和函数1.1． 定义方法 方法的返回值类型可以不写，编译器可以自动推断出来，但是对于递归函数，必须指定返回类型1.2． 定义函数 1.３．方法和函数的区别在函数式编程语言中，函数是“头等公民”，它可以像任何其他数据类型一样被传递和操作 案例：首先定义一个方法，再定义一个函数，然后将函数传递到方法里面 package cn.toto.scala/** * Created b
2017-06-27 21:39:36
11256
5
原创 Scala声明变量、常用类型、条件表达式、块表达式、循环
一、 Scala基础1． 声明变量package cn.toto.scala/** * Created by toto on 2017/6/27. */object VariableDemo { def main(args: Array[String]): Unit = { //使用val定义的变量值是不可变的，相当于java里用final修饰的变量,不可以再改变参数的值
2017-06-27 21:23:52
977
1
原创 idea未进行快捷键配置时的快捷键
IntelliJ Idea 常用快捷键列表Ctrl+Alt+t 选择代码块 try catchAlt+回车 导入包,自动修正 Ctrl+N 查找类 Ctrl+Shift+N 查找文件 Ctrl+Alt+L 格式化代码 Ctrl+Alt+O 优化导入的类和包 Alt+Insert 生成代码(如get,set方法,构造函数等) mac系统 fn+alt+回车 Ctrl+E或者Alt+S
2017-06-27 14:27:11
1045
原创 Scala编译器安装，开发工具安装，通过IDEA创建scala的工程代码，Scala SDK的设置
一、 Scala编译器安装1． 安装JDK因为Scala是运行在JVM平台上的，所以安装Scala之前要安装JDK2． 安装Scala2.1． Windows安装Scala编译器访问Scala官网http://www.scala-lang.org/下载Scala编译器安装包，目前最新版本是2.12.x，但是目前大多数的框架都是用2.10.x编写开发的，所以这里推荐2.10.x版本，下载scala-2
2017-06-27 14:25:46
7484
原创 Scala概述
Scala概述1． 什么是Scala Scala是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。 2． 为什么要学Scala 1.优雅：这是框架设计师第一个要考虑的问题，框架的用户是应用开发程序员，API是否优雅直接影响用户体验。 2.速度快：Scala语言表达能力强，一行代码抵得
2017-06-27 14:01:55
615
1
转载 Notepad++插件之ftp/sftp远程编辑功能，以及各种插件（转：http://blog.csdn.net/happy_wu/article/details/73302994）
Notepad++的ftp/sftp远程编辑功能介绍：Notepad++是一个优秀的开源编辑器，最大特性就是插件丰富，这里分享一下我常用的实用插件，其中一些是Npp预装的。这些插件主要是开发相关的，所以如果想需要其它插件，可以浏览一下http://sourceforge.net/projects/npp-plugins/files/。 这里我主要写的是FTP插件。一般情况下我们会在本地修改文本文件
2017-06-27 13:40:53
7988
原创 日期操作类DateUtils
package cn.toto.bigdata.loganalyzer.storm.utils;import java.text.NumberFormat;import java.text.ParseException;import java.text.SimpleDateFormat;import java.util.Calendar;import java.util.Date;/**
2017-06-25 21:34:46
834
原创 自定义Flume拦截器，并将收集的日志存储到Kafka中（案例）
1.引入POM文件如果想调用Flume，需要引入flume相关的jar包依赖，jar包依赖如下：<dependencies> <dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <versi
2017-06-25 13:45:28
3561
2
原创 HBase建表高级属性，hbase应用案例看行键设计，HBase和mapreduce结合，从Hbase中读取数据、分析，写入hdfs，从hdfs中读取数据写入Hbase，协处理器和二级索引
1. Hbase高级应用1.1建表高级属性下面几个shell 命令在hbase操作中可以起到很到的作用，且主要体现在建表的过程中，看下面几个create 属性1、 BLOOMFILTER 默认是NONE 是否使用布隆过虑及使用何种方式 布隆过滤可以每列族单独启用。 使用 HColumnDescriptor.setBloomFilterType(NONE | ROW | ROWCOL) 对列族
2017-06-25 00:26:22
2501
原创 hbase系统架构图以及各部分的功能作用，物理存储，HBase寻址机制，读写过程，Regin管理，Master工作机制
1.1 hbase内部原理1.1.1 系统架构 Client 1 包含访问hbase的接口，client维护着一些cache来加快对hbase的访问，比如regione的位置信息。Zookeeper 1 保证任何时候，集群中只有一个master 2 存贮所有Region的寻址入口—-root表在哪台服务器上。 3 实时监控Region Server的状态，将Region server的上线
2017-06-24 23:53:03
8826
原创 Java连接HBASE数据库，创建一个表，删除一张表，修改表，输出插入，修改，数据删除，数据获取，显示表信息，过滤查询，分页查询，地理hash
准备工作 1、创建Java的Maven项目 创建好的目录结构如下： 另外注意junit的版本，最好不要太高，最开始笔者使用的junit4.12的，发现运行的时候会报错。最后把Junit的版本改成4.7的之后，问题解决了。创建测试工具类HbaseDemo,为了保证能够让HBASE运行，需要最开始写出如下配置：package toto.com.hbase;import java.util.Arra
2017-06-23 17:46:56
2344
1
原创 hbase 简介、HBASE重要概念、表Table、命名空间、Row Key，区域Region、列族、hbase shell命令行方式操作，命名空间操作
进入hbase命令行 cd /home/tuzq/software/hbase-1.3.1/bin ./hbase shell 查看帮助 显示hbase中的表 List（列出你有哪些表） 创建user表，包含info、data两个列族 create ‘user’, ‘info’, ‘data’ create ‘user’, {NAME =&amp;gt; ‘info’, VERSIONS =&amp;gt;
2017-06-23 16:23:10
16851
2
原创 hbase集群搭建，hbase单个节点重启
1.1 hbase集群结构 REGION：是HBASE中对表进行切割的单元HMASTER： HBASE的主节点，负责整个集群的状态感知，负载分配、负责用户表的元数据管理 （可以配置多个用来实现HA） 为regionserver分配region，负责regionserver负载均衡 用户对表的增删改查 如果当前的regionserver宕机，会把region迁移REGION-S...
2017-06-22 13:27:12
6820
原创 hbase数据库介绍，HBASE的特点，表结构逻辑视图，Row Key,列族，时间戳，Cell
HBASE数据库1. Hbase基础1.1 hbase数据库介绍1、简介nosqlhbase是bigtable的开源java版本。是建立在hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系+ 统。 它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。 pho
2017-06-22 10:55:32
6301
转载 Storm通信机制,Worker进程间通信,Worker进程间通信分析,Worker进程间技术(Netty、ZeroMQ),Worker 内部通信技术(Disruptor)(来自学习资料)
Storm通信机制Worker间的通信经常需要通过网络跨节点进行，Storm使用ZeroMQ或Netty(0.9以后默认使用)作为进程间通信的消息框架。 Worker进程内部通信：不同worker的thread通信使用LMAX Disruptor来完成。 不同topologey之间的通信，Storm不负责，需要自己想办法实现，例如使用kafka等；2.1、Worker进程间通信worke
2017-06-21 18:00:29
3735
1
原创 Solr单集代码调用案例
实现代码 1、配置pom，在maven添加solr的依赖<dependency> <groupId>org.apache.solr</groupId> <artifactId>solr-solrj</artifactId> <version>4.10.3</version></dependency>配置如下内容： 配置要连接的solrcoreapplicationCon
2017-06-21 16:51:00
609
原创 ack机制之代码实现，实现BaseRichBolt的方式，使用BaseBasicBolt的方式实现BaseRichBolt发ack和fail的功能
代码结构如下： pom文件内容如下：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="
2017-06-21 16:35:50
3764
原创 ack是什么，如何使用Ack机制，如何关闭Ack机制，基本实现，STORM的消息容错机制，Ack机制
1、ack是什么ack 机制是storm整个技术体系中非常闪亮的一个创新点。通过Ack机制，spout发送出去的每一条消息，都可以确定是被成功处理或失败处理， 从而可以让开发者采取动作。比如在Meta中，成功被处理，即可更新偏移量，当失败时，重复发送数据。 因此，通过Ack机制，很容易做到保证所有数据均被处理，一条都不漏。 另外需要注意的，当spout触发fail动作时，不会自动重发失败的tup
2017-06-21 12:38:44
25552
1
原创 Storm中Numbus,zookeeper,Supervisor，worker作用，Storm任务提交过程，Storm组件本地目录树，Storm zookeeper目录树
1、Storm 任务提交的过程 2、Storm组件本地目录树 3、Storm zookeeper目录树
2017-06-21 12:10:11
2581
原创 Strom+Kafka + redis实时计算单词出现频率的案例
案例要实现的目标在Kafka的shell 客户端中输入内容，通过Storm实时去kafka中取数据并进行计算单词出现的次数，并且实时把这些数据信息存储到redis中。代码编写编写Pom文件，代码如下：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xm
2017-06-21 11:12:16
3838
转载 Strom程序的并发机制，配置并行度（代码实现）、动态改变并行度，local or shuffle分组，分组的概念以及分组类型
1、Storm程序的并发机制1.1、概念 Workers (JVMs): 在一个物理节点上可以运行一个或多个独立的JVM 进程。一个Topology可以包含一个或多个worker(并行的跑在不同的物理机上), 所以worker process就是执行一个topology的子集, 并且worker只能对应于一个topology Executors (threads): 在一个worker J
2017-06-20 23:22:38
1989
原创 strom-1.1.0模拟单词统计功能，Spout编写，Bolt编写，TopologyDriver编写，本地模式运行，集群模式运行，集群模式下看输出结果
统计文本中的单词出现的频率，其中文本内容如下： 创建项目项目结构如下： 创建pom.xml，代码如下：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-insta
2017-06-20 18:16:33
826
2
原创 Strom集群安裝，Python安裝，Strom配置，Strom常用命令
一.集群安装说明1、storm安装依赖Python，所以在安装前请确保Python已经安装成功了 2、在安装前要保证hadoop1,hadoop2,hadoop3之间能够互相两两之间ssh免登陆。 3、安装好JDK 4、安转好Zookeeper集群1 ssh免登陆配置：分别在hadoop1,hadoop2,hadoop3上执行： ssh-keygen -t rsa 命令 ssh-co
2017-06-20 14:13:53
1318
原创 Kafka整体结构图、Consumer与topic关系、Kafka消息分发、Consumer的负载均衡、Kafka文件存储机制、Kafka partition segment等（来自学习资料）
一、 课程介绍课程名称： Kafka技术增强 注：学习本课程请先学习Kafka基础 课程目标： 通过本模块的学习，能够掌握Kafka的负载均衡、Producer生产数据、Kafka文件存储机制、Kafka自定义partition 课程大纲： 1、 Kafka整体结构图 2、 Consumer与topic关系 3、 Kafka Producer消息分发
2017-06-18 22:25:44
18838
6
转载 Kafka中topic的Partition，Kafka为什么这么快,Consumer的负载均衡及consumerGroup的概念（来自学习笔记）
1.1． Kafka中topic的Partition 在Kafka文件存储中，同一个topic下有多个不同partition，每个partition为一个目录，partiton命名规则为topic名称+有序序号，第一个partiton序号从0开始，序号最大值为partitions数量减1。 每个partion(目录)相当于一个巨型文件被平均分配到多个大小相等segment(段)数据文
2017-06-18 20:10:17
11688
原创 Kafka的producer案例，Kafka的consumer案例
1、编写一个Producer代码：package kafka;import kafka.javaapi.producer.Producer;import kafka.producer.KeyedMessage;import kafka.producer.ProducerConfig;import java.util.Properties;/** * 代码说明 * * @author tuz
2017-06-18 19:58:51
1882
原创 查看当前服务器中的所有的topic，创建topic,删除topic,通过shell命令发送消息，通过shell消费消息，查看topic详情,对分区数进行修改
一、 Kafka常用操作命令 查看当前服务器中的所有topic[root@hadoop3 kafka]# bin/kafka-topics.sh --list --zookeeper hadoop11:2181[root@hadoop3 kafka]#信息写入到 创建topic[root@hadoop3 kafka]# bin/kafka-topics.sh --create --zook
2017-06-18 15:33:42
12812
原创 Kafka集群安装配置，kafka后台运行的方式，Kafka配置文件中的参数说明
1、Kafka集群部署1.1集群部署的基本流程下载安装包、解压安装包、修改配置文件、分发安装包、启动集群1.2集群部署的基础环境准备安装前的准备工作（zk集群已经部署完毕） 关闭防火墙 chkconfig iptables off && setenforce 0 创建用户groupadd kafka && useradd kafka && usermod -a -G kafka k
2017-06-18 13:26:08
8490
转载 Kafka是什么，JMS是什么，常见的类JMS消息服务器，为什么需要消息队列（来自学习笔记）
1、Kafka是什么 Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。 Kafka是一个分布式消息队列：生产者、消费者的功能
2017-06-18 10:32:54
8223
转载 流式计算strom,Strom解决的问题,实现实时计算系统要解决那些问题,离线计算是什么,流式计算什么,离线和实时计算区别,strom应用场景,Strorm架构图和编程模型（来自学习资料）
1、背景-流式计算与storm2011年在海量数据处理领域，Hadoop是人们津津乐道的技术，Hadoop不仅可以用来存储海量数据，还以用来计算海量数据。因为其高吞吐、高可靠等特点，很多互联网公司都已经使用Hadoop来构建数据仓库，高频使用并促进了Hadoop生态圈的各项技术的发展。一般来讲，根据业务需求，数据的处理可以分为离线处理和实时处理，在离线处理方面Hadoop提供了很好的解决方案，但是针
2017-06-17 23:49:37
9124
原创 IDEA快捷键设置，选择Eclipse风格的快捷键，自动补全快捷键，关闭当前窗口快捷键Ctrl+W,自动导入设置，引入外部的jar的方式，设置项目字体，设置项目字符集，Maven的方式获取jar
1.设置成Eclipse的快捷键 选择默认快捷键类型 设置成了Eclipse风格的快捷键之后，但是还是有一些快捷键是有冲突的。2、修改自动补全的快捷键 在搜索框中输入Completion,找到Main Menu –> Code –> Completion–>右键选中快捷键位Alt + 斜杠的快捷键，然后移除这个快捷键–>右键选中Basic–>Add keybord shutcut,然后在尾
2017-06-16 19:35:41
26427
2
转载 使用IntelliJ IDEA 配置Maven项目（入门）转：http://blog.csdn.net/qq_32588349/article/details/51461182
1. 下载Maven 官方地址：http://maven.apache.org/download.cgi解压并新建一个本地仓库文件夹2.配置本地仓库路径 3.配置maven环境变量 4.在IntelliJ IDEA中配置maven 打开-File-Settings 5.新建maven WEB项目 打开-File-New-Project 点击NEXT 点击NEXT 添加的配置为 arch
2017-06-16 18:12:11
1769
原创 Sqoop数据迁移，工作机制，sqoop安装（配置），Sqoop的数据导入，导入表数据到HDFS，导入关系表到HIVE,导入到HDFS指定目录，导入表数据子集，按需导入，增量导入，sqoop数据导出
1. sqoop数据迁移1.1 概述sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据：MySQL，Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统； 导出数据：从Hadoop的文件系统中导出数据到关系数据库 1.2 工作机制将导入或导出命令翻译成mapreduce程序来实现 在翻译出的mapreduce中主要是对
2017-06-14 23:51:11
5421
easyui资料
2014-02-22
17个在线编辑器，包括kindeditor，STEditor，HTMLArea3.0last20071025等
2012-07-22
二手购物网源码
2012-05-31
强大的购物网代码（java）
2012-05-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人