- 博客(41)
- 收藏
- 关注
RSS订阅原创 利用Spark把数据写进mysql数据库时候遇到的问题
写入数据库的方式是：df2.write.mode(SaveMode.Append).jdbc(url,"student",properties)impossible to write to binary log since BINLOG_FORMAT = STATEMENT这是因为，mysql默认的binlog_format是STATEMENT。从 MySQL 5.1.12 开始，可以用以下三种模...
2018-05-15 14:54:09
1543
原创 使用KafkaUtil以direct方式获取kafka的数据时遇到的问题
使用KafkaUtil以direct方式获取kafka的数据时遇到的问题报的是nio.channels.closeException类似的错误原因是我的server.properties配置文件里面zookeeper的端口配错了正确的代码是package kafkaTestimport kafka.serializer.StringDecoderimport org.apache.spar...
2018-05-13 16:27:13
896
原创 SparkStreaming的单词计数案例
import org.apache.spark.streaming.dstream.ReceiverInputDStreamimport org.apache.spark.streaming.{Seconds, StreamingContext}import org.apache.spark.{SparkConf, SparkContext}/** * 需要用到nc -lk 9999 ...
2018-05-11 20:36:58
618
转载 hadoop关键进程
hadoop集群中主要进程有master: NameNode, ResourceManager,slaves: DataNode, NodeManager, RunJar, MRAppMaster,YarnChild其中 RunJar, MRAppMaster,YarnChild与随着某个job的创建而创建，随着job的完成而终止。它们的作用分别是：RunJar：完成job的初始化，包括...
2018-05-04 20:50:28
322
转载 [转载]service mysqld start的问题
问题描述：启动MySQL后，出现连接不上，报 [ERROR] InnoDB: Unable to lock ./ibdata1, error: 11[root@mysql01 ~]# service mysql startStarting MySQL [ OK ][root@mysql01 ~]# mysq...
2018-05-04 20:07:44
2709
原创 用java实现spark的rdd接口
package sparkcore.day2.lesson01;import org.apache.spark.HashPartitioner;import org.apache.spark.Partitioner;import org.apache.spark.RangePartitioner;import org.apache.spark.SparkConf;import org....
2018-04-24 08:51:08
1002
原创 用scala实现Spark的RDD接口
import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.rdd.RDDobject Spark { final val conf:SparkConf=new SparkConf().setAppName("Spark").setMaster("local")...
2018-04-24 08:49:50
672
原创 利用scala实现YARN的RPC
根据scala实现YARN的RPC功能YARN主要分为ResourceManager和DataManagerResourceManager主要负责接收DataManager的请求，例如注册，资源调度等DataManager每隔一段时间会进行心跳信息的反馈给RM，RM判断DataManager是否还在线实现思路：一.首先创建两个object 1 MyNodeManager 2 MyR...
2018-04-19 21:26:20
284
原创 hive练习之[影评案例]
现有如此三份数据：1、users.dat 数据格式为： 2::M::56::16::70072对应字段为：UserID BigInt, Gender String, Age Int, OccupationString, Zipcode String对应字段中文解释：用户id，性别，年龄，职业，邮政编码 2、movies.dat 数据格式为： 2::Jumanji(1995)::A...
2018-04-13 08:43:29
1674
转载 hive高级操作
Stay hungry Stay foolish -- http://blog.csdn.net/zhongqi2513Hive 高级应用目录1、 Hive shell 操作 ...................................................................................................................
2018-04-11 21:17:56
401
原创 从HDFS读取文件，把记录存到Hbase的java API操作
从HDFS读取文件，文件的数据格式类似如下computer,xuzheng,54,52,86,91,42computer,huangbo,85,42,96,38english,zhaobenshan,54,52,86,91,42,85,75english,liuyifei,85,41,75,21,85,96,14algorithm,liuyifei,75,85,62,48,54,96,15数据的意...
2018-03-31 18:15:37
2078
1
原创 Hbase的java API
HbaseApi.javapackage com.carssun.hbase.api;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.Cell;import org.apache.had...
2018-03-30 10:50:28
435
原创 什么是Paxos算法
Paxos算法是Lesile Lamport提出的一种基于消息传递且具有高度容错特性的一致性算法。分布式系统中的节点通信存在两种模型: 共享内存和消息传递。基于消息传递通信模型的分布式系统，不可避免会发生进程变慢被杀死，消息延迟、丢失、重复等问题，Paxos算法就是在存在以上异常的情况下仍能保持一致性的协议。Paxos算法使用一个希腊故事来描述，在Paxos中，存在三种角色，分别为Proposer...
2018-03-23 22:36:05
490
原创 Zookeeper循环注册监听器
Zookeeper中的监听器只执行一次，需要在watcher类中重写process方法，以达到重复注册监听器的效果MyWatcher.javapackage watch;import org.apache.zookeeper.KeeperException;import org.apache.zookeeper.WatchedEvent;import org.apache.zookeepe...
2018-03-22 21:42:56
2838
1
原创 关于ZooKeeper的四个逻辑思维题目
编程思维训练 1、级联查看某节点下所有节点及节点值 2、删除一个节点，不管有有没有任何子节点 3、级联创建任意节点 4、清空子节点package HomeWork;import java.util.List;import org.apache.zookeeper.CreateMode;import org.apache.zookeeper.ZooDefs.Ids;import or...
2018-03-22 21:11:58
249
原创 MapReduce-MyOutputFormat
MainTest.javapackage MyoutputFormat;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.FileSystem;import...
2018-03-19 23:24:38
123
原创 MapReduce-myInputFormat
MainTest.javapackage MyinputFormat;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.FileSystem;import o...
2018-03-19 23:20:25
104
转载 nio编程的selector
原文链接 作者：Jakob Jenkov 译者：浪迹v 校对：丁一Selector（选择器）是Java NIO中能够检测一到多个NIO通道，并能够知晓通道是否为诸如读写事件做好准备的组件。这样，一个单独的线程可以管理多个channel，从而管理多个网络连接。下面是本文所涉及到的主题列表：为什么使用Selector?Selector的创建向Selector注册通道SelectionKey通过Sele...
2018-02-28 20:58:02
127
原创 nio编程基础之 buffer缓冲区的应用
import java.io.IOException;import java.io.RandomAccessFile;import java.nio.ByteBuffer;import java.nio.channels.FileChannel;public class Test { public static void main(String[] args) throws IOExc...
2018-02-28 20:04:58
203
原创 海量的数据面试题
1、给个超过100G的logfile, log中存着IP地址, 设计算法找到出现次数最多的IP地址？第一题：首先我们的思路就是利用哈希进行文件的切分，我们把100G大小的logfile分为1000份，那么下来差不多没一个文件就是100M左右，然后再利用哈希函数除留余数的方法分配到对应的编号文件中，然后得出每个文件中出现次数最多的IP，然后堆排序取得这1000个ip中出现次数最多的。2、与上题条件相...
2018-02-26 09:43:48
300
原创 注解配置aop
xml//首先对要使用代理的包进行扫描//作用是自动装配代理<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.
2018-02-01 21:35:15
167
原创 aop开发(xml配置)
aop所需框架XML配置文件<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/conte
2018-02-01 21:19:09
135
原创 aop(面向切面)
aop底层的实现思想就是动态代理也就是cglib和jdk如果目标类没有接口，就使用cglib代理，否则就使用jdk代理aop使用场景事务管理，性能测试，日志系统aop框架spring aopaspectjjboss专业术语target:目标对象advice:通知，增强代码joinpoint:连接点aspect:切面，切入点
2018-02-01 20:33:52
112
原创 cglib动态代理
动态代理第二种：cglib动态代理首先需要导入jar包（cglib-2.2.2.jar---字节码增强）、asm.jar 两个包都是用于操作字节码。但是spring-core核心包里面都包含1）只需要编写实现类（没有接口）2）继承目标类需要借助于Enhancer对象Enhancer enhancer=new Enhancer()为enhancer对象设置父类(父类为目标类)
2018-02-01 20:23:46
142
原创 jdk动态代理模式
UserDao dao =new UserDaoImpl();//目标类 UserDao proxy=(UserDao)Proxy.newProxyInstance( dao.getClass().getClassLoader(), dao.getClass().getInterfaces(), new InvocationHandler() { @Override
2018-02-01 19:46:24
102
原创 [javase]文件输出流基本例子
package TestOutput;import java.io.File;import java.io.FileOutputStream;import java.io.OutputStream;//文件输出流FileOutputStreampublic class T1 { public static void main(String[] args) throws Except
2018-01-02 22:27:57
198
原创 [javase]文件输入流基本例子
package TestInput;import java.io.File;import java.io.FileInputStream;import java.io.InputStream;//文件输入流public class TestInput { public static void main(String[] args) throws Exception{ File
2018-01-02 22:27:14
161
原创 [javase]hashSet的hashCode和equals重写以及,set转成list后排序
package day14H;import java.util.ArrayList;import java.util.Collection;import java.util.Collections;import java.util.HashSet;import java.util.LinkedHashSet;import java.util.List;import java.uti
2018-01-02 18:42:03
368
原创 [javase]自定义泛型比较器 排序
package day13;import java.util.Arrays;import java.util.Comparator;/** * 自定义外部排序 * * */public class TestComparator { public static void main(String[] args) { Student1 student1=new Student1
2017-12-28 13:16:15
379
原创 [javase]使用泛型 重写排序方法
自然排序 用到的是comparable接口package day13;import java.util.Arrays;public class TestComparable { public static void main(String[] args) { Student wang=new Student(); wang.setScore(98); Student li
2017-12-28 12:52:41
213
原创 [javase]代理设计模式初步
代理设计模式：重点是不让客户过多去关注实现功能的细节，交由一个代理类去处理可能是个面试题，要求写出一个Proxy的程序
2017-12-23 10:51:11
102
原创 [javase]接口的工厂模式
接口的工厂模式，为了减少客户端的麻烦。客户只需要知道一个过渡类Pass的getInterface方法，传入对应的字符串，就可以创建对应的类。
2017-12-23 10:05:13
124
原创 [javase]抽象类执行构造方法顺序知识点
public class TestAb {public static void main(String[] args) {A a=new B();a.print();}}abstract class A{//定义抽象类Apublic A() {this.print();//调用构造函数}public abstract void print();}cl
2017-12-21 21:08:08
420
转载 [javase]多态 向上转型
JNC a = new JNC(); 对于这个代码我们非常容易理解无非就是实例化了一个剑南春的对象嘛！但是这样呢？ Wine a = new JNC(); 在这里我们这样理解，这里定义了一个Wine 类型的a，它指向JNC对象实例。由于JNC是继承与Wine，所以JNC可以自动向上转型为Wine，所以a是可以指向JNC实例对象的。这样做存在一个非常大的好处，在
2017-12-18 22:22:21
168
原创 [javase]杨辉三角形
package day6;import java.util.Arrays;/** * * 杨辉三角形 * 1 * 1 1 * 1 2 1 * 1 3 3 1 * 1 4 6 4 1 * 1 5 10 10 5 1 * */public class YangHui {public static void main(String[] args) {
2017-12-18 18:58:27
130
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人