自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(41)
  • 收藏
  • 关注

原创 利用Spark把数据写进mysql数据库时候遇到的问题

写入数据库的方式是:df2.write.mode(SaveMode.Append).jdbc(url,"student",properties)impossible to write to binary log since BINLOG_FORMAT = STATEMENT这是因为,mysql默认的binlog_format是STATEMENT。从 MySQL 5.1.12 开始,可以用以下三种模...

2018-05-15 14:54:09 1543

原创 使用KafkaUtil以direct方式获取kafka的数据时遇到的问题

使用KafkaUtil以direct方式获取kafka的数据时遇到的问题报的是nio.channels.closeException类似的错误原因是我的server.properties配置文件里面zookeeper的端口配错了正确的代码是package kafkaTestimport kafka.serializer.StringDecoderimport org.apache.spar...

2018-05-13 16:27:13 896

原创 SparkStreaming的单词计数案例

import org.apache.spark.streaming.dstream.ReceiverInputDStreamimport org.apache.spark.streaming.{Seconds, StreamingContext}import org.apache.spark.{SparkConf, SparkContext}/** * 需要用到nc -lk 9999 ...

2018-05-11 20:36:58 618

转载 hadoop关键进程

hadoop集群中主要进程有master:   NameNode, ResourceManager,slaves:   DataNode, NodeManager,  RunJar, MRAppMaster,YarnChild其中 RunJar, MRAppMaster,YarnChild与随着某个job的创建而创建,随着job的完成而终止。它们的作用分别是:RunJar:完成job的初始化,包括...

2018-05-04 20:50:28 322

转载 [转载]service mysqld start的问题

问题描述:启动MySQL后,出现连接不上,报 [ERROR] InnoDB: Unable to lock ./ibdata1, error: 11[root@mysql01 ~]# service mysql startStarting MySQL                                             [  OK  ][root@mysql01 ~]# mysq...

2018-05-04 20:07:44 2709

原创 用java实现spark的rdd接口

package sparkcore.day2.lesson01;import org.apache.spark.HashPartitioner;import org.apache.spark.Partitioner;import org.apache.spark.RangePartitioner;import org.apache.spark.SparkConf;import org....

2018-04-24 08:51:08 1002

原创 用scala实现Spark的RDD接口

import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.rdd.RDDobject Spark { final val conf:SparkConf=new SparkConf().setAppName("Spark").setMaster("local")...

2018-04-24 08:49:50 672

原创 利用scala实现YARN的RPC

根据scala实现YARN的RPC功能YARN主要分为ResourceManager和DataManagerResourceManager主要负责接收DataManager的请求,例如注册,资源调度等DataManager每隔一段时间会进行心跳信息的反馈给RM,RM判断DataManager是否还在线实现思路:一.首先创建两个object      1 MyNodeManager    2 MyR...

2018-04-19 21:26:20 284

原创 hive练习之[影评案例]

现有如此三份数据:1、users.dat    数据格式为: 2::M::56::16::70072对应字段为:UserID BigInt, Gender String, Age Int, OccupationString, Zipcode String对应字段中文解释:用户id,性别,年龄,职业,邮政编码 2、movies.dat       数据格式为: 2::Jumanji(1995)::A...

2018-04-13 08:43:29 1674

转载 hive高级操作

Stay hungry Stay foolish -- http://blog.csdn.net/zhongqi2513Hive 高级应用目录1、 Hive shell 操作 ...................................................................................................................

2018-04-11 21:17:56 401

原创 从HDFS读取文件,把记录存到Hbase的java API操作

从HDFS读取文件,文件的数据格式类似如下computer,xuzheng,54,52,86,91,42computer,huangbo,85,42,96,38english,zhaobenshan,54,52,86,91,42,85,75english,liuyifei,85,41,75,21,85,96,14algorithm,liuyifei,75,85,62,48,54,96,15数据的意...

2018-03-31 18:15:37 2078 1

原创 Hbase的java API

HbaseApi.javapackage com.carssun.hbase.api;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.had...

2018-03-30 10:50:28 435

原创 什么是Paxos算法

Paxos算法是Lesile Lamport提出的一种基于消息传递且具有高度容错特性的一致性算法。分布式系统中的节点通信存在两种模型: 共享内存和消息传递。基于消息传递通信模型的分布式系统,不可避免会发生进程变慢被杀死,消息延迟、丢失、重复等问题,Paxos算法就是在存在以上异常的情况下仍能保持一致性的协议。Paxos算法使用一个希腊故事来描述,在Paxos中,存在三种角色,分别为Proposer...

2018-03-23 22:36:05 490

原创 Zookeeper循环注册监听器

Zookeeper中的监听器只执行一次,需要在watcher类中重写process方法,以达到重复注册监听器的效果MyWatcher.javapackage watch;import org.apache.zookeeper.KeeperException;import org.apache.zookeeper.WatchedEvent;import org.apache.zookeepe...

2018-03-22 21:42:56 2838 1

原创 关于ZooKeeper的四个逻辑思维题目

 编程思维训练 1、级联查看某节点下所有节点及节点值 2、删除一个节点,不管有有没有任何子节点  3、级联创建任意节点 4、清空子节点package HomeWork;import java.util.List;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.ZooDefs.Ids;import or...

2018-03-22 21:11:58 249

原创 MapReduce-MyOutputFormat

MainTest.javapackage MyoutputFormat;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.FileSystem;import...

2018-03-19 23:24:38 123

原创 MapReduce-myInputFormat

MainTest.javapackage MyinputFormat;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.FileSystem;import o...

2018-03-19 23:20:25 104

转载 nio编程的selector

原文链接 作者:Jakob Jenkov 译者:浪迹v 校对:丁一Selector(选择器)是Java NIO中能够检测一到多个NIO通道,并能够知晓通道是否为诸如读写事件做好准备的组件。这样,一个单独的线程可以管理多个channel,从而管理多个网络连接。下面是本文所涉及到的主题列表:为什么使用Selector?Selector的创建向Selector注册通道SelectionKey通过Sele...

2018-02-28 20:58:02 127

原创 nio编程基础之 buffer缓冲区的应用

import java.io.IOException;import java.io.RandomAccessFile;import java.nio.ByteBuffer;import java.nio.channels.FileChannel;public class Test { public static void main(String[] args) throws IOExc...

2018-02-28 20:04:58 203

原创 海量的数据面试题

1、给个超过100G的logfile, log中存着IP地址, 设计算法找到出现次数最多的IP地址?第一题:首先我们的思路就是利用哈希进行文件的切分,我们把100G大小的logfile分为1000份,那么下来差不多没一个文件就是100M左右,然后再利用哈希函数除留余数的方法分配到对应的编号文件中,然后得出每个文件中出现次数最多的IP,然后堆排序取得这1000个ip中出现次数最多的。2、与上题条件相...

2018-02-26 09:43:48 300

原创 注解配置aop

xml//首先对要使用代理的包进行扫描//作用是自动装配代理<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.

2018-02-01 21:35:15 167

原创 aop开发(xml配置)

aop所需框架XML配置文件<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/conte

2018-02-01 21:19:09 135

原创 aop(面向切面)

aop底层的实现思想就是动态代理也就是cglib和jdk如果目标类没有接口,就使用cglib代理,否则就使用jdk代理aop使用场景事务管理,性能测试,日志系统aop框架spring aopaspectjjboss专业术语target:目标对象advice:通知,增强代码joinpoint:连接点aspect:切面,切入点

2018-02-01 20:33:52 112

原创 cglib动态代理

动态代理第二种:cglib动态代理首先需要导入jar包(cglib-2.2.2.jar---字节码增强)、asm.jar 两个包都是用于操作字节码。但是spring-core核心包里面都包含1)只需要编写实现类(没有接口)2)继承目标类需要借助于Enhancer对象Enhancer enhancer=new Enhancer()为enhancer对象设置父类(父类为目标类)

2018-02-01 20:23:46 142

原创 jdk动态代理模式

UserDao dao =new UserDaoImpl();//目标类 UserDao proxy=(UserDao)Proxy.newProxyInstance( dao.getClass().getClassLoader(), dao.getClass().getInterfaces(), new InvocationHandler() { @Override

2018-02-01 19:46:24 102

原创 [javase]文件输出流基本例子

package TestOutput;import java.io.File;import java.io.FileOutputStream;import java.io.OutputStream;//文件输出流FileOutputStreampublic class T1 { public static void main(String[] args) throws Except

2018-01-02 22:27:57 198

原创 [javase]文件输入流基本例子

package TestInput;import java.io.File;import java.io.FileInputStream;import java.io.InputStream;//文件输入流public class TestInput { public static void main(String[] args) throws Exception{ File

2018-01-02 22:27:14 161

原创 [javase]hashSet的hashCode和equals重写以及,set转成list后排序

package day14H;import java.util.ArrayList;import java.util.Collection;import java.util.Collections;import java.util.HashSet;import java.util.LinkedHashSet;import java.util.List;import java.uti

2018-01-02 18:42:03 368

原创 [javase]自定义泛型比较器 排序

package day13;import java.util.Arrays;import java.util.Comparator;/** * 自定义外部排序 * * */public class TestComparator { public static void main(String[] args) { Student1 student1=new Student1

2017-12-28 13:16:15 379

原创 [javase]使用泛型 重写排序方法

自然排序 用到的是comparable接口package day13;import java.util.Arrays;public class TestComparable { public static void main(String[] args) { Student wang=new Student(); wang.setScore(98); Student li

2017-12-28 12:52:41 213

原创 [javase]代理设计模式初步

代理设计模式:重点是不让客户过多去关注实现功能的细节,交由一个代理类去处理可能是个面试题,要求写出一个Proxy的程序

2017-12-23 10:51:11 102

原创 [javase]接口的工厂模式

接口的工厂模式,为了减少客户端的麻烦。客户只需要知道一个过渡类Pass的getInterface方法,传入对应的字符串,就可以创建对应的类。

2017-12-23 10:05:13 124

原创 [javase]抽象类执行构造方法顺序知识点

public class TestAb {public static void main(String[] args) {A a=new B();a.print();}}abstract class A{//定义抽象类Apublic A() {this.print();//调用构造函数}public abstract void print();}cl

2017-12-21 21:08:08 420

原创 [javase]抽象类(如果由始至终只有一个子类)

让外部感受不到这个抽象类的子类,直接通过getInterance找到

2017-12-21 20:55:46 507

原创 [javase]单例模式 饿汉式

只能创建一次对象 通过类名调用一个对象。多线程环境下 ,推荐饿汉式,因为线程安全

2017-12-20 14:15:47 149

转载 [javase]普通代码块 静态代码块 构造代码块

转载自网上

2017-12-20 08:54:25 143

转载 [javase]多态 向上转型

JNC a = new  JNC();     对于这个代码我们非常容易理解无非就是实例化了一个剑南春的对象嘛!但是这样呢?     Wine a = new JNC();     在这里我们这样理解,这里定义了一个Wine 类型的a,它指向JNC对象实例。由于JNC是继承与Wine,所以JNC可以自动向上转型为Wine,所以a是可以指向JNC实例对象的。这样做存在一个非常大的好处,在

2017-12-18 22:22:21 168

原创 [javase]杨辉三角形

package day6;import java.util.Arrays;/** *  * 杨辉三角形 * 1 * 1 1 * 1 2 1 * 1 3 3 1 * 1 4 6 4 1 * 1 5 10 10 5 1 * */public class YangHui {public static void main(String[] args) {

2017-12-18 18:58:27 130

原创 [javase]二分法查找

二分法查找是效率很高的查找方法,但是前提是查找的数组已经排好序

2017-12-18 17:17:21 114

原创 [javase]插入排序

插入排序的关键是对比好之后,某一段的数组内容要集体向后移一位,这时候要从后面开始移,不然会前面覆盖后面的一位

2017-12-18 13:18:47 127

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除