2016年12月_whoami_zy

12月

原创 win提交spark程序

使用win提交Spark Streaming程序的时候，出现了一下小小的问题，出现如下错误：INFO JobScheduler: Added jobs for time 1482304253000 ms一直循环打印这句话，始终没有出现Streaming时间片 batch的信息。然后又偶尔出现一句警告：如下WARN TaskSchedulerImpl: Initial job has

2016-12-21 15:23:37 634

转载 Hadoop与Spark常用配置参数总结

背景MapReduce和Spark对外提供了上百个配置参数，用户可以为作业定制这些参数以更快，更稳定的运行应用程序。本文梳理了最常用的一些MapReduce和Spark配置参数。MapReduce重要配置参数1. 资源相关参数(1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限（单位:MB），默认为1024。如果Map T

2016-12-21 08:50:52 338

原创 flume整合kafka和hdfs

flume版本：1.7.0 kafka版本：2.11-0.10.1.0 hadoop 版本：2.6.0最近在玩这个flume和kafka这两个东西，网上有很多这方面的简介，我就不多说了，我的理解为啥要整合这两个在一起的，我的理解就是，flume作为消息的持久化，然后就是kafka来用于消息的传输，但我们搜集这个网站的日志的时候，我们就可以使用flume监控log的一个文件或者是一个目录，每当有

2016-12-20 13:26:16 5003 1

原创根据List里面的对象属性对对象排序

有时候我们经常需要用到将查询的数据保存在一个对象里面，然后将这些对象放到一个list里面。那么就会产生这样的需求，如何针对对象里面的属性的大下进行排序呢。比如说，数据库里面有各种用户信息，我们将用户信息查询出来放到User对象里面，将所有的user添加到一个list里面，我们如何通过这些user年龄大小来依次在list里面排序呢。在这里需要用到集合，Collections。话不多说，直

2016-12-15 11:16:46 5241 2

原创关于HBase的SingleColumnValueFilter的坑

由于某些需求，我们在查询hbase的时候，经常需要用到Filter。使用filter过滤来得到我们想要得到的值。使用场景：我们需要通过Hbase里面的某些列的组合来查找符合这些条件的行。类似于mysql里面的where条件查询。根据列来查询。下面是通过三列中的三个数据来查询到符合这三列的所有数据。一般情况下，我们通过列来查询值，可能需要多个列组合的过滤。思路就是先创建一个FilterL

2016-12-14 13:35:35 6998 1

原创 XML的四种创建方式

话不多说，直接上代码：package com.whoami.file;import java.io.File;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.util.ArrayList;import java.u

2016-12-01 17:36:43 2187

原创 java线程的相关问题

一：进程和线程的区别：进程：每个进程都有独立的代码和数据空间（进程上下文），是动态的。线程：同一类线程共享代码和数据空间，每个线程有独立的运行栈和程序计数器，线程切换开销小。线程和进程的生命周期：创建、就绪、运行、阻塞、终止。多进程是指操作系统能同时运行多个（程序）。多线程是指在同一程序中有多个流在执行。java中的线程实现方式有两种：一种是继续Th

2016-12-01 17:34:29 270

原创 JAVA内部类

java内部类其实就是java类中包含类。“累不累”实验一：内部类的基本结构package chatFunction;/** * * @author ZhangYong *@内部类测试 */public class test { public static void main(String[] args) { B.A a = new B().new A(); a.s

2016-12-01 17:31:21 293

原创 java注解

java注解的好处注解的好处在于可以使代码简洁化。特别是在框架中。注解的使用可以代替XML的使用。实现代码的简洁化。java注解分类按来源分：java自带注解、第三方注解、自定义注解按生命周期分：源码注解、编译时注解、运行时注解自定义注解的结构：元注解（用来注解注解的）接口定义、无参无异常的成员方法的定义（成员类型受限：基本数据类型、String、枚举）JDK自带注解

2016-12-01 17:26:56 213

原创 java--->方法的反射（泛型实质）

通过方法的反射来看泛型我的理解：泛型的本质，从反射的角度来讲，所以类，方法都是属于一种classtype，定义classtype来接受同一type的不同对象首先理解编译和运行。1.方法的反射操作是在程序运行的时候操作的，并不经过程序的编译。2.通过方法的反射，我们可以在泛型中插入不同类型的值。泛型就是规范你的输入。当你的输入类型和定义类型不相同时，代码的编译就不会通过。但是通过反射

2016-12-01 17:19:21 328

原创 java观察者拓展（二）根据观察者的场景需求

观察者模式高级应用。根据场景来做出反应。比如说老师说今天扫地，但是今天不该小明打扫，所以小明在听到这个后不会有反应，但是小红今天打扫，小红就要去打扫清洁。根据应用场景的不同需求不同。具体实现方法，是将抽象类中的notifyObservers方法放到子类中，然后update是根据匹配通知消息的内容用到判断方法。根据最开始的架构来看抽象主题角色（取消了notifyObse

2016-12-01 17:14:39 268

原创 java观察者拓展（一）利用java内部的抽象对象和观察者接口

通过利用java的JDK自带类进行观察者模式的创建在java中，jdk都帮我们实现好了抽象主题角色和抽象观察者。我们只需要在上述的内容中创建两个类，一个是具体的主题角色类继承 java.util.Observable这个类另一个是具体的观察者角色实现java.util.Observable接口首先我们创建具体的主题角色类（在上述例子中的老师Teacher）packag

2016-12-01 17:10:29 271

原创 java观察者

观察者模式，一对多的关系，也存在一对一的关系，多个observer以及一个subject，当subject发生改变时，各observer收到通知，并做出相应的反应。观察者模式，就是观察对象做出反应，那么观察者做出相应的反应，各自执行自己相应的方法。一般来说观察者模式有四个的对象一：抽象主题角色：把所有对观察者对象保存在一个Arraylist集合中，每个抽象主题角色都可以有任意数量

2016-12-01 17:04:17 272

原创 MapReduce入门级之WordCount单词计数

话不多说直接贴上代码：具体的实现代码后面描述package com.whomai.test;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import o

2016-12-01 16:55:20 569

原创 mongoDB的操作---增删改查

mongo数据库不用自己创建。在使用mongo的时候如果不存在数据库，在使用数据库的时候会根据需求自动创建数据库。1.use 切换数据库2.show dbs// 查看所有数据库3.db.dropDatabase()删除数据库数据库中一张表可以看作一个集合表的操作whoami 作为一个数据库use whoami对表进行操作1.插入(

2016-12-01 16:41:37 273

原创搭建一个简单的mongodb服务

搭建简单的mongodb服务器1.首先到mongodb的官网下载linux编译好的二进制文件。将其解压到linux的目录文件夹下2.创建一个叫做mongodb_server的目录文件3.在mongodb的文件夹里面创建data文件夹（用于储存数据库数据文件），log文件夹（用于储存数据库的日志文件），创建bin文件夹（用于储存数据库的可执行文件），创建conf文件夹（储存数据库的配

2016-12-01 16:35:50 450

原创 java之动态加载类

@Java反射机制——动态加载类类类型的获取有三种方式，假设已知Student类方式一： Class c1 = Student.class;方式二：Student stu = new Student(); Class c2 = stu.getClass();方式三：已知Student类在包：com包下，则 Class c3 = Class.forNa

2016-12-01 16:32:03 597

原创关于Hbase在javaAPI操作表的操作

话不多说，直接看代码就能看清楚每个API是干嘛的。package hbase;import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.H

2016-12-01 16:28:06 792

原创 MySQL忘记密码

1.在root的权限下修改mysql的登陆设置vim /etc/my.cnf在 [mysqlld] 的字段中添加一句skip-grant-tables保存退出。实现临时免密码登陆mysql。2.重新启动mysql服务/etc/init.d/mysqlld restart3.登陆mysql并修改密码#mysql（就会免密码登陆）如果不行的话，就敲

2016-12-01 16:21:33 277

原创 MySQL更改字符集操作

由于版本的问题，修改方式也将不同mysql5.0以及以后在/etc/my.cnf修改[client]default-character-set=utf8[mysqld]character-set-server=utf85.0之前[client]default-character-set=utf8[mysqld] default-character-set=u

2016-12-01 16:19:34 259

原创 R语言初识

声明：由于是自学的R语言，部分的基础知识写的有些杂乱。但是这都是R的基础操作，个人认为，重点还是在画图，这些都是对数据的分析操作首先说RStudo导入包的方式安装好R和RStudo后我们在画图的过程中会需要很多其他的包，那么我们就要去下载导入。install.packages("包名")引用包library(包名)x <- vector("character",length=1

2016-12-01 16:04:55 484

原创 R画图之ggplot2-->柱状图

图就只有两个，但是大多数的画法都可以套出来1.创建一个数据集：dfinstall.packages("ggplot2")library(ggplot2)x <- c('A','B','C','D','E') y <- c(10,20,15,30,40) #创建一个data.frame类型的数据集，两列。df <- data.frame(x= x, y = y)ggplot(da

2016-12-01 15:41:03 6761

原创 java基于ajax实现验证码

后台数据与前台相互交互，实现页面的局部更新。现在以java后台验证码为例。首先实现验证码的制作验证码：1.BufferedImage图像数据缓冲区2.Graphics画笔，绘制图片3.Color获取颜色4.random随机生成验证码5.ImageIO输出图片具体代码如下： package com.whoami;import java.awt.Color;im

2016-12-01 15:32:24 775

原创 Jquery-validate之表单验证

jQuery Validate 插件为表单提供了强大的验证功能.默认校验规则rules:1 required:true 必须输入的字段。2 remote:"check.php" 使用 ajax 方法调用 check.php 验证输入值。3 email:true 必须输入正确格式的电子邮件。4 url:true 必须输入正确格式的网址。5 date:true 必须输入

2016-12-01 15:29:43 301

原创 Spark的环境搭建以及简单的eclipse的两种运行方式--standalone和yarn

前言：会一些linux的基础，以及java基础。以及是先搭建好java环境，搭建环境是单机版。假定ip:192.168.248.133步入正轨，我们直接来说说怎么搭建一个基于hadoop的spark环境。目的能够让spark将job提交到hadoop上处理。利用hadoop的分布式框架。第一步：搭建hadoop的单机环境1.在/etc/hostname 下修改对应的名字。比如

2016-12-01 15:25:29 4606 4