- 博客(51)
- 收藏
- 关注
RSS订阅原创 大数据面试题知识点分析（十）
大数据面试题知识点分析（十） 转自：https://blog.csdn.net/qq_26803795/article/details/81747361 ...
2018-08-31 19:09:00
124
转载 大数据面试题知识点分析（十）
转自：https://blog.csdn.net/qq_26803795/article/details/81747361 ...
2018-08-31 19:08:45
240
原创 大数据面试题知识点分析（九）
大数据面试题知识点分析（九） 转自: https://blog.csdn.net/qq_26803795/article/details/79543926 为了保证效率和...
2018-08-31 16:31:00
122
转载 大数据面试题知识点分析（九）
转自: https://blog.csdn.net/qq_26803795/article/details/79543926 ...
2018-08-31 16:30:53
171
转载 大数据面试题知识点分析（八）
转自：https://blog.csdn.net/qq_26803795/article/details/79474604 ...
2018-08-29 20:05:16
166
转载 大数据面试题知识点分析（七）
转自: https://blog.csdn.net/qq_26803795/article/details/79466592 ...
2018-08-29 19:59:35
167
转载 大数据面试题知识点分析（六）
转自：https://blog.csdn.net/qq_26803795/article/details/79162203 为了保证效率和质量，每篇文章发布6个知识点，由简单及难，我们继续HIVE：1）hive 支持 not in 吗？不支持，可以用left join 实现此功能。2）Hive 有哪些方式保存元数据，各有哪些优缺点？...
2018-08-29 19:53:46
267
转载 大数据面试题知识点分析（五）
转自：https://blog.csdn.net/qq_26803795/article/details/79161599为了保证效率和质量，每篇文章发布6个知识点，由简单及难，我们继续Hbase的尾巴，并开始HIVE：1）怎样将mysql的数据导入到hbase中？A、一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入hbase时，会按照region...
2018-08-29 19:52:37
221
转载 大数据面试题知识点分析（四）
转自：https://blog.csdn.net/qq_26803795/article/details/79152808为了保证效率和质量，每篇文章发布6个知识点，由简单及难，我们继续Hbase：1）hive 跟 hbase 的区别是？1.hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储2.Hive是建立在Hadoop之上为了减少MapRed...
2018-08-29 19:50:57
341
转载 大数据面试题知识点分析（三）
转自：https://blog.csdn.net/qq_26803795/article/details/79142512为了保证效率和质量，每篇文章发布6个知识点，由简单及难，下面我们开始Hbase：1）介绍一下 hbase 过滤器。HBase为筛选数据提供了一组过滤器，通过这个过滤器可以在HBase中的数据的多个维度（行，列，数据版本）上进行对数据的筛选操作，也就是说过滤器最...
2018-08-29 19:48:58
188
转载 大数据面试题知识点分析（二）
转自：https://blog.csdn.net/qq_26803795/article/details/79131678为了保证效率和质量，每篇文章发布6个知识点，由简单及难，我们继续HDFS：1）hdfs原理，以及各个模块的职责Client：切分文件；访问或通过命令行管理HDFS；与NameNode交互，获取文件位置信息；与DataNode交互，读取和写入数据。&nb...
2018-08-29 19:47:13
371
转载 大数据面试知识点分析（一）
转自：https://blog.csdn.net/qq_26803795/article/details/79109240 为了保证效率和质量，每篇文章发布6个知识点，由简单及难，我们从HDFS开始：1）如何杀死一个jobhadoop job –list./hadoop job -kill job_201212111628_111662...
2018-08-29 19:45:14
740
转载 hadoop读写副本放置策略
转自：https://www.cnblogs.com/felixzh/p/8530053.html根据Maneesh Varshney的漫画改编，以简洁易懂的漫画形式讲解HDFS存储机制与运行原理，非常适合Hadoop/HDFS初学者理解。一、角色出演如上图所示，HDFS存储相关角色与功能如下：Client：客户端，系统使用者，调用HDFS API操作文件；与NN交互获取文件元数据；...
2018-08-29 10:27:42
1457
原创 数据结构复习---排序（2）
交换类排序1、冒泡排序算法冒泡排序在众多排序算法中算比较简单的一个，基本思想是重复的进行整个数列的排序，一次比较两个元素(两两排序)，如果它们顺序不符合就交换，重复这样直到数列没有再需要交换的数为止(结束条件)。就好像气泡一样，轻的气泡会往上漂浮，在不断漂浮的过程中，发生了两两交换过程，所以叫冒泡排序。 //冒泡排序 public static void bubSort...
2018-08-28 22:28:27
179
原创 数据结构复习---排序（1）
选择排序算法思想：首先找到数组中最小的那个元素，其次将它和数组中的第一个元素交换（如果第一个元素是最小的，那么和它自己进行交换）。再次，再剩下的元素中找到最小的元素，将它与数组中的第二个元素进行位置交换。如此往复，直到整个数组排序。这就叫选择排序。时间复杂度 o（n*n） 模板：public class Example { //选择排序算法 public stati...
2018-08-27 22:21:41
223
原创 Hadoop 相关知识点（一）
作业提交流程通用的任务程序提交步骤为：1.将程序打成jar包；2.将jar包上传到HDFS上；3.用命令行提交HDFS上的任务程序。最简单的提交命令应该如： hadoop jar /home/hadoop/hadoop-2.2.0/hadoop-examples.jar wordcount inputPath outputPath 主意的是：其中/home/hadoop/h...
2018-08-27 10:54:30
792
原创 java网络编程
1、计算机网络基础OSI参考模型（开放系统互连参考模型）：物理层：物理层处于OSI的最底层，是整个开放系统的基础。物理层涉及通信信道上传输的原始比特流(bits)，它的功能主要是为数据端设备提供传送数据的通路以及传输数据数据链路层：数据链路层的主要任务是实现计算机网络中相邻节点之间的可靠传输，把原始的、有差错的物理传输线路加上数据链路协议以后，构成逻辑上可靠的数据链路。需要完成...
2018-08-25 14:50:05
133
转载 浅拷贝与深拷贝
Java中的对象拷贝(Object Copy)指的是将一个对象的所有属性（成员变量）拷贝到另一个有着相同类类型的对象中去。举例说明：比如，对象A和对象B都属于类S，具有属性a和b。那么对对象A进行拷贝操作赋值给对象B就是：B.a=A.a;  B.b=A.b;在程序中拷贝对象是很常见的，主要是为了在新的上下文环境中复用现有对象的部分或全部 数据。Java中的对象拷贝主要分为：浅拷贝(S...
2018-08-24 13:18:33
121
转载 Mybatis逆向工程简单介绍
转自：https://blog.csdn.net/yerenyuan_pku/article/details/71909325 什么是逆向工程MyBatis的一个主要的特点就是需要程序员自己编写sql，那么如果表太多的话，难免会很麻烦，所以mybatis官方提供了一个逆向工程，可以针对单表自动生成mybatis执行所...
2018-08-21 20:47:26
777
原创 Mybatis相关知识点（二）
Mybatis解决jdbc编程的问题 1、 数据库连接创建、释放频繁造成系统资源浪费从而影响系统性能，如果使用数据库连接池可解决此问题。 解决：在SqlMapConfig.xml中配置数据连接池，使用连接池管理数据库链接。 2、 Sql语句写在代码中造成代码不易维护，实际应用sql变化的可能较大，sql变动需要改变java代码。 解决：将Sql语句配置在XXXXmapper.xml文件...
2018-08-21 20:29:33
111
原创 Mybatis相关知识点（一）
MyBatis入门（一）介绍 MyBatis 本是apache的一个开源项目iBatis, 2010年这个项目由apache software foundation 迁移到了google code，并且改名为MyBatis 。2013年11月迁移到Github。 MyBatis是一个优秀的持久层框架，它对jdbc的操作数据库的过程进行封装，使开发者只需要关注 SQL 本身，而不需要...
2018-08-21 17:21:13
135
原创 java面试
链接： https://blog.csdn.net/qq_41701956/article/details/80250226https://blog.csdn.net/wanght89/article/details/79019450
2018-08-19 22:13:10
217
原创 SpringMVC 入门
SpringMVC 入门SpringMVC是什么？ Spring web mvc和Struts2都属于表现层的框架,它是Spring框架的一部分,我们可以从Spring的整体结构中看得出来,如下图： 入门程序1.在IDEA中创建一个项目，添加一个模块springMVC，添加maven支持 <dependencies> <dependency...
2018-08-12 19:29:09
106
原创 Spring入门（三）
Spring 的JDBC模板（一）Spring 其实提供了很多的持久化技术的模板类简化编程。 包括： – JDBC – Hibernate3.0 – IBatis（MyBatis） – JPA今天主要讲一下JDBC模板（二）实战在mysql中创建student表 ...
2018-08-12 15:39:17
87
原创 Spring入门（三）
Spring入门（三） Spring 的JDBC模板（一）Spring 其实提供了很多的持久化技术的模板类简化编程。 包括： – JDBC – Hibernate3.0 – IBatis（MyBatis） – JP...
2018-08-12 15:39:00
108
原创 Spring入门（二）
Spring入门（二） Spring AOP入门为什么要使用AOPpublic class Dog { public void run() { System.out.println("驯兽师发出命令！") System....
2018-08-11 22:22:00
66
原创 Spring入门（二）
Spring AOP入门为什么要使用AOPpublic class Dog { public void run() { System.out.println("驯兽师发出命令！") System.out.println("小狗开始跑！"); System.out.pringln("驯兽师给与奖...
2018-08-11 22:21:53
129
原创 Spring入门（一）
Spring入门（一） （一）什么是Spring Spring框架是个轻量级的Java EE框架。所谓轻量级，是指不依赖于容器就能运行的一个开源框架。 EE开发分为三层结构：WEB层（Spring MVC） 业务层（Bean管理IOC） 持久层（Spring 的JDBC模板 、ORM模板用于整合其他的持久层框架）（二）开始 I...
2018-08-11 22:00:00
74
原创 Spring入门（一）
（一）什么是Spring Spring框架是个轻量级的Java EE框架。所谓轻量级，是指不依赖于容器就能运行的一个开源框架。 EE开发分为三层结构：WEB层（Spring MVC） 业务层（Bean管理IOC） 持久层（Spring 的JDBC模板 、ORM模板用于整合其他的持久层框架）（二）开始 IOC：即控制反转，是对象的创建不通过 手动 new，而是把对象的创建权交给Sp...
2018-08-11 21:59:51
199
原创 Kafka入门教程（一）
Kafka入门教程（一） 转自：https://blog.csdn.net/yuan_xw/article/details/512109541 Kafka入门教程1.1 消息队列（Message Queue)Message Queue消息传送系统提供传送服务。消息传送依赖于大量...
2018-08-09 15:00:00
186
转载 Kafka入门教程（一）
转自：https://blog.csdn.net/yuan_xw/article/details/512109541 Kafka入门教程1.1 消息队列（Message Queue)Message Queue消息传送系统提供传送服务。消息传送依赖于大量支持组件，这些组件负责处理连接服务、消息的路由和传送、持久性、安全性以及日志记录。消息服务器可以使用一个或多个代理实例。J...
2018-08-09 14:59:47
69639
8
原创 Kafka入门教程(二)
Kafka入门教程(二) 转自：https://blog.csdn.net/yuan_xw/article/details/79188061 Kafka集群环境安装 相关下载JDK要求1.8版本以上。JDK安装教程：http://blog.csdn.net/yuan_xw/article/details/499482...
2018-08-09 14:35:00
1165
转载 Kafka入门教程(二)
Kafka集群环境安装相关下载相关下载： JDK要求1.8版本以上。 JDK安装教程：http://blog.csdn.net/yuan_xw/article/details/49948285 Zookeeper安装教程：http://blog.csdn.net/yuan_xw/arti...
2018-08-09 14:34:53
2737
原创 Flume入门
Flume入门 1、介绍Apache Flume是为有效收集聚合和移动大量来自不同源到中心数据存储而设计的可分布，可靠的，可用的系统。flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据，同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hb...
2018-08-08 22:38:00
81
原创 Flume入门
1、介绍Apache Flume是为有效收集聚合和移动大量来自不同源到中心数据存储而设计的可分布，可靠的，可用的系统。flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据，同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。2、核心概念如图所示，Flume传...
2018-08-08 22:37:42
676
原创 Spark基础：（六）Spark SQL
1、相关介绍Datasets：一个 Dataset 是一个分布式的数据集合 Dataset 是在 Spark 1.6 中被添加的新接口, 它提供了 RDD 的优点（强类型化, 能够使用强大的 lambda 函数）与Spark SQL执行引擎的优点。DataFrame： 一个 DataFrame 是一个 Dataset 组成的指定列。、SparkSession： Spark SQL中所有...
2018-08-07 21:46:20
260
原创 Spark基础：（六）Spark SQL
Spark基础：（六）Spark SQL 1、相关介绍Datasets：一个 Dataset 是一个分布式的数据集合 Dataset 是在 Spark 1.6 中被添加的新接口, 它提供了 RDD 的优点（强类型化, 能够使用强大的 lambda 函数）与Spark SQL执行引擎的优点。DataFrame： 一个 DataFrame 是...
2018-08-07 21:46:00
124
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人