- 博客(50)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 JAVA与Redis的集合——spring-data-redis与JedisPool的区别、使用ShardedJedisPool与spring集成的实现及一致性哈希分析
首先注意：redis不支持直接将java对象存储到数据库中，需将java对象序列化得到字节数组，然后将字节数组存入redis中，需要数据时就从redis数据库中取出字节数组，再经反序列化将自己数组转换成对象使用. 一、Redis与spring的整合一般分为spring-data-redis整合和JedisPool...
2018-04-29 17:11:15
1605
转载 RDD-Partitioner
概要Spark RDD主要由Dependency、Partition、Partitioner组成，这篇介绍最后一部分Partitioner。Partition记录了数据split的逻辑，Dependency记录的是transformation操作过程中Partition的演化，Partitioner是shuffle过程中key重分区时的策略，即计算key决定k-v属于哪个分区。Partitione...
2018-04-28 09:42:34
449
原创 Eclispe中scala maven-scala插件的安装
maven-scala插件的安装scala IDE eclipse的插件在https://blog.csdn.net/liyifan687/article/details/80115771中已安装过。这里需要安装一个 m2e-scala1.安装m2e-scala网址http://alchim31.free.fr/m2e-scala/update-site/ ?问题 第一次安装以上三个只安装了...
2018-04-28 09:14:41
2362
原创 Scala Actor简述
概念 Scala中的Actor能够实现并行编程的强大功能，它是基于事件模型的并发机制，Scala是运用消息（message）的发送、接收来实现多线程的。使用Scala能够更容易地实现多线程应用的开发。actor方法执行顺序1.首先调用start()方法启动Actor 2.调用start()方法后其act()方法会被执行 3.向Actor发送消息发送消息的方式...
2018-04-28 09:08:35
343
原创 Scala简述
1.安装 首先进入scala-ide 主页，了解最新情形。注意scala-ide并不是一个独立的ide，它只是eclipse的一个插件。 进入下载界面，获取最新下载链接–“http://download.scala-ide.org/sdk/lithium/e44/scala211/stable/site ”，特别注意该下载链接所适用的JDK和eclipse等版本，比如上述下载...
2018-04-28 09:04:16
267
原创 Scala高阶函数
匿名函数而在大量的spark中大都用的是匿名函数(不为函数命名)，然后将其复制个一个变量。如： 匿名函数格式：Val 变量名 = （参数：类型） => 函数体高阶函数函数参数1.将函数做参数传给另一个函数如： 首先我们定义了一个函数BigData,这个函数有两个参数，第一个参数是一个函数，函数名是func，他有一个String类型的参...
2018-04-28 08:57:37
474
原创 Spark SQL
Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。###为什么要学习Spark SQLHive是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduce的程序的复杂性，由于MapReduce这种计算模型执行效率比较慢。所有Spark SQL的应运而生，它是将Spark S...
2018-04-28 08:52:06
648
2
原创 Spark操作Mysql和Hive
1.MysqlJDBCSpark SQL可以通过JDBC从关系型数据库中读取数据的方式创建DataFrame，通过对DataFrame一系列的计算后，还可以将数据再写回关系型数据库中。从MySQL中加载数据（Spark Shell方式）1.启动Spark Shell，必须指定mysql连接驱动jar包/usr/local/spark-1.5.2-bin-hadoop2....
2018-04-28 08:42:47
2104
转载 RDD-Partion简述
Spark RDD主要由Dependency、Partition、Partitioner组成Partition是其中之一。一份待处理的原始数据会被按照相应的逻辑(例如jdbc和hdfs的split逻辑)切分成n份，每份数据对应到RDD中的一个Partition，Partition的数量决定了task的数量，影响着程序的并行度，所以理解Partition是了解spark背后运行原理的第一步。...
2018-04-28 08:34:52
297
原创 Spark RDD基本介绍
rddRDD（Resilient Distributed Dataset）叫做分布式数据集，Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合. rdd是spark的灵魂，中文翻译弹性分布式数据集，一个rdd代表一个可以被分区的只读数据集。rdd内部可以有许多分区(partitions)，每个分区又拥有大量的记录(records)。RDD分类窄...
2018-04-28 08:06:46
259
原创 Spark的安装和介绍
安装安装scala解压，配置环境变量 export SCALA_HOME=/usr/local/scala-2.10.6 export PATH=$SCALA_HOME/bin:$PATH source /etc/profile 再分发到各个节点安装spark1.下载解压，修改conf下spark-env.shexport JAVA_HOME=/u...
2018-04-28 08:00:03
173
原创 Storm的安装与使用
详细安装教程可参看厦大林子雨老师著作：http://dblab.xmu.edu.cn/blog/767/三大计算系统hadoop :离线的复杂计算。spark:离线的快速计算。 storm:流式实时计算。离线复杂计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计...
2018-04-27 10:53:28
585
转载 HBase安装和基础编程
转载自厦门大学林子雨编著的《大数据技术原理与应用》一、HBase介绍HBase是一个分布式的、面向列的开源数据库,源于Google的一篇论文《BigTable：一个结构化数据的分布式存储系统》。HBase以表的形式存储数据，表有行和列组成，列划分为若干个列族/列簇(column family)。欲了解HBase的官方资讯，请访问[HBase官方网站](http://hbase.apache.org...
2018-04-27 10:36:53
1844
转载 Hive的安装和基础编程
转载自厦门大学林子雨开设的《大数据技术原理与应用》一、安装hive1. 下载并解压hive源程序Hive下载地址注意，上面的dblab:dblab是用户组和用户名，如果你当前使用用户名hadoop登录了Linux系统，则把dblab替换成hadoop。2. 配置环境变量为了方便使用，我们把hive命令加入到环境变量中去，请使用vim编辑器打开.bashrc文件，命令如下：在该文件最前面一行添加如下...
2018-04-27 09:34:58
1811
2
原创 hadoop-hbase-storm相关命令和端口
启动hdfs和yarn: start-all.sh启动zookeeper（各个节点都要单独启动） 安装目录下 bin/zkserver.sh start stop 关闭hive 安装目录下 bin/hive exit;退出hbase 启动：安装目录下 bin/start-hbase.sh bin/stop-hbase.sh bin/h...
2018-04-27 09:27:56
250
转载 Hadoop的安装和入门使用
Hadoop的安装方式有三种，分别是单机模式，伪分布式模式，分布式模式。以下转载至厦大林子雨老师所著图书，当初学习hadoop入门环境搭建部分帮助很多，在此作为推荐。如有侵权请告知删除。单机模式：单机模式：Hadoop 默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。伪分布式模式：Hadoop 可以在单节点上以伪分布式的方式...
2018-04-27 09:00:42
725
原创 MapReduce过程图解
1. 一个mr程序启动的时候，最先启动的是MRAppMaster，MRAppMaster启动后根据本次job的描述信息，计算出需要的maptask实例数量，然后向集群申请机器启动相应数量的maptask进程2.maptask进程启动之后，根据给定的数据切片范围进行数据处理，主体流程为：a) 利用客户指定的inputformat来获取RecordReader读取数据，形成输入KV对b) 将输入KV对...
2018-04-27 08:42:35
660
原创 Java 面试题-3
1. 简述SSH概念及主要设计思想？集成 SSH 框架的系统从职责上分为四层：表示层、业务逻辑层、数据持久层和域模块层。使用 Struts作系统的整体基础架构，负责 MVC 的分离，在 Struts 框架的模型部分，控制业务跳转，利用 Hibernate 框架对持久层提供支持，Spring 做管理，管理 struts和 hibernate。具体：用面向对象的分析方法根据需求提出一些模型，...
2018-04-27 08:35:09
326
原创 Java 面试题-2
1. 执行以下程序后输出的结果是 AB,By=x;这一句没有任何意义，这只是改变了局部变量的指向，并没有修改哪一个对象，所以对外部无影响。2. Integer.MAX_VALUE+1=Integer.MIN_VALUEInteger.MAX_VALUE的二进制是0111 1111 1111 1111 1111 1111 1111 1111Integer.MIN_VALUE的...
2018-04-27 08:12:58
1842
原创 Hibernate入门基础详解
1. 简述 hibernate 的开发流程第一步:加载 hibernate 的配置文件，读取配置文件的参数(jdbc 连接参数，数据 库方言，hbm 表与对象关系映射文件) 第二步:创建 SessionFactory 会话工厂(内部有连接池) 第三步:打开 session 获取连接，构造 session 对象(一次会话维持一个数据连接， 也是一级缓存) 第四步:开启事务 第五步:...
2018-04-26 10:22:17
274
原创 Struts2基础详解
1. 简单介绍 Struts2按照 MVC 设计模式设计的 WEB 层框架，在 struts 1 和 WebWork 的技术基础上进行了合并。全新 Struts2 体系结构与Struts 1差别巨大。Struts 2 以WebWork为核心，采用拦截器机制处理用户的请求， 使业务逻辑控制器能够 ServletAPI 完全脱离。 可把 struts2 理解为一个大servlet，这serv...
2018-04-26 10:03:03
266
原创 Mybatis基础详解
0. 开发jdbc开发：pojo实体类xxx.java,xxx.xml映射文件，写sql，sqlmapconfig.xml加载，action调用原生dao开发：实体类，dao接口,daoimpl调用方法xxx.xml文件中sql，action中调用imlp方法 2.1 原生dao：spring配置文件中指定dao实现类 。dao实现类需继承sqlsessiondaosupport超类 。...
2018-04-26 09:30:26
192
原创 Shiro的基础介绍和理解
1. Shiro 框架是 Java 的一个安全框架.可完成：认证、授权、加密、会话管理、与 Web 集成、缓存等。三个核心组件：Subject, SecurityManager 和 Realms. Subject：即“当前操作用户”。但在 Shiro 中，Subject 这一概念并不仅仅指人，也可是第三方进程、后台帐户（Daemon Account）或其他类似事物。仅意味着“当前跟软...
2018-04-26 09:11:22
295
原创 Spring事务管理的三种方式
Spring事务管理的核心接口PlatformTransactionManager1. Spring事务的传播属性2. 事务隔离级别3.配置3.1. 编程式事务管理编程式事务管理可通过PlatformTransactionManager实现来进行事务管理，提供了模板类TransactionTemplate进行事务管理，下面主要介绍模板类，需在配...
2018-04-26 09:07:11
747
原创 Spring重点概述
1. 对 Spring 的理解* 开源框架，为简化企业级应用开发而生。* Spring 可以是使简单的 JavaBean 实现以前只有 EJB 才能实现的功能。* Spring 是一个 IOC 和 AOP 容器框架。Spring 容器的主要核心是：控制反转（IOC），传统java开发模式中，需一个对象时，会使用 new或getInstance 等直接或间接调用构造方法创建一...
2018-04-26 09:00:14
350
原创 SpringMVC一些基础问题
1. SpringMVC 的工作原理用户向服务器发送请求，请求被 springMVC 前端控制器 DispatchServlet 捕获；DispatcherServle 对请求 URL 进行解析，得到请求资源标识符（URL），然后根据该 URL 调用 HandlerMapping 将请求映射到处理器 HandlerExcutionChain；DispatchServlet 根据获得...
2018-04-26 08:38:42
277
原创 Oracle基础总结
1. 存储过程存储过程（Stored Procedure)是一组为了完成特定功能的 SQL 语句集，经编译后存储在数据库中。用户通过指定存储过程的名字并给出参数（如果该存储过程带有参数）来执行它。存储过程是数据库中的一个重要对象，任何一个设计良好的数据库应用程序都应该用到存储过程。优点：允许模块化程序设计，就是说只需要创建一次过程，以后在程序中就可以调用该过程任意次。允许更快...
2018-04-25 14:29:56
132
原创 Mysql基础知识总结
1. 聚合函数聚合函数是用来做纵向运算的函数count():统计指定列不为null的记录行数max():计算指定列的最大值，如果指定列是字符串类型，那么使用字符串排序运算min():计算指定列的最小值，如果指定列是字符串类型，那么使用字符串排序运算sum():计算指定列的数值和，如果指定列类型不是数值类型，那么计算结果为0。求和的时候忽略null，如果都是null，则算出来的结果为...
2018-04-25 14:10:08
262
原创 理解AJAX及基本使用
1. AJAX对 ajax 的认识Ajax 是一种创建交互式网页应用的的网页开发技术；Asynchronous JavaScript and XML”的缩写。Ajax 的优势：通过异步模式，提升了用户体验。优化了浏览器和服务器之间的传输，减少不必要的数据往返，减少了带宽占用。Ajax 引擎在客户端运行，承担了一部分本来由服务器承担的工作，从而减少了大用户量下的服务...
2018-04-25 13:36:09
260
原创 理解Cookie和Session的区别及使用
前言HTTP是一种无状态的协议，为了分辨链接是谁发起的，需自己去解决这个问题。不然有些情况下即使是同一个网站每打开一个页面也都要登录一下。而Session和Cookie就是为解决这个问题而提出来的两个机制。应用场景登录网站，今输入用户名密码登录了，第二天再打开很多情况下就直接打开了。这个时候用到的一个机制就是cookie。session一个场景是购物车，添加了商品之后客户端...
2018-04-25 13:28:58
105236
21
原创 TCP详解
TCP(Transmission Control Protocol传输控制协议)面向连接的，可靠的，基于字节流的传输层通信协议简述：三次握手：(约吗,约,走) 1. 客户端发送SYN请求，进入SYN_SEND状态 2. 服务端收到SYN请求，并返回一个ACK应答，并发送一个SYN其请求，服务器进入SYN_RECV状态 3. 客户端收到服务端的SYN请求和ACK应答，发送AC...
2018-04-25 12:45:41
325
原创 Java 面试题-1
1. OSI的7层从上到下应用层 -表示层 -会话层 - 传输层 -网络层 - 数据链路层 - 物理层 2. 以下哪些不是 javaScript 的全局函数( C )A. eval B. escape C. setTimeout D. parseFloat3. rmdir和rmrmdir删除一个空文件夹 使用方式： rmdir [-p] dirNa...
2018-04-25 11:36:05
801
原创 HTTP简述
HTTP—–超文本传输协议（HTTP，HyperText Transfer Protocol)1. 长连接和短连接在HTTP/1.0中，默认使用的是短连接。浏览器和服务器每进行一次HTTP操作，就建立一次连接，但任务结束就中断连接。如果客户端浏览器访问的某个HTML或其他类型的 Web页中包含有其他的Web资源，如JavaScript文件、图像文件、CSS文件等；当浏览器每遇到这样一...
2018-04-25 11:11:43
202
原创 JDBC原生连接与连接池介绍
1. 步骤 Class.forName()加载数据库连接驱动。 第一种：直接注册数据库驱动 DriverManager.registerDriver(new Driver()); 第二种：利用反射机制间接加载数据库驱动，Class.forName(“com.mysql.jdbc.Driver”);(常用) 负责管理JDBC驱动程序的类 DriverManager 会...
2018-04-25 10:51:02
2698
原创 Java 垃圾回收机制（GC）简述
1. 既有 GC 机制，为什么还会有内存泄露的情况 理论上 Java 因为有垃圾回收机制（GC）不会存在内存泄露问题（这也是 Java 被广泛使用于服务器端编程的一个重要原因）。然而在实际开发中，可能会存在无用但可达的对象，这些对象不能被 GC 回收，因此也会导致内存泄露的发生。 例如 hibernate 的 Session（一级缓存）中的对象属于持久态，垃圾回收器是不会回收这些对象的，然而...
2018-04-25 10:13:32
2270
原创 Jsp和Servlet简述
jsp1. 什么是jsp，什么是Servlet？jsp和Servlet有什么区别？jsp 本质就是一个 Servlet，是Servlet 的一种特殊形式，每个jsp页面都是一个servlet实例。Servlet是由Java提供用于开发 web 服务器应用程序的一个组件，运行在服务端，由 servlet 容器管理，用来生成动态内容。一个servlet 实例是实现了特殊接口 Servl...
2018-04-24 17:58:55
1633
2
原创 Java反射浅析
1. 反射的概述反射机制是在运行状态中，对任意一个类，都能够知道这个类的所有属性和方法； 对任意一个对象，都能够调用它的任意一个方法和属性；这种动态获取的信息以及动态调用对象的方法的功能称为java语言的反射机制。要想解剖一个类,必须先获取到该类的字节码文件对象。而解剖使用的就是Class类中的方法.所以先要获取到每一个字节码文件对应的Class类型的对象.反射就是把java类中的各种...
2018-04-24 17:33:36
158
原创 Java线程浅析
1. 线程实现两种方式继承Thread类；重写run接口继承Thread类class MyFirstThread extends Thread{ private int i=0; @Override public void run() { // TODO Auto-generated method stub...
2018-04-24 17:17:48
130
转载 Git与Github的连接和使用
1. 先输入ssh-keygen –t rsa –C “邮箱地址”,注意ssh-keygen之间是没有空格的,其他的之间是有空格的。2. 会在c盘指定位置产生 id_rsa.pub，复制在github上设置里添加key3. 验证一下是否设置成功,在git bash下输入如下命令：ssh –T git@github.com 4. 配置用户名和邮箱：git config –global user.na...
2018-04-24 14:09:46
550
原创 JAVA集合类简述
结构图 1. 介绍Collection接口是集合类的根接口，Java中没有提供这个接口的直接的实现类。但却让其被继承产生了两个接口，Set和List。Set不能包含重复的元素。List是有序的集合，可包含重复的元素，提供按索引访问的方式。Map是Java.util包中的另一个接口，和Collection接口没有关系，相互独立的，但都属于集合类的一部分。Map包含了key-val...
2018-04-24 13:58:53
410
数据库课程设计
2017-02-15
C++公司人事管理课程设计
2017-02-05
C语言课程设计
2017-01-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人