- 博客(46)
- 收藏
- 关注
RSS订阅转载 Hive启动报错-java.lang.IncompatibleClassChangeError
搭建Hive完成之后, 启动Hive失败, 显示如下错误:[ERROR] Terminal initialization failed; falling back to unsupportedjava.lang.IncompatibleClassChangeError: Found class jline.Terminal, but...
2019-01-03 10:45:00
437
转载 大数据(十八) -- Hive简介
Hive--构建数据仓库的工具为什么会出现Hive(Why?)什么是Hive(What?)Hive数据处理流程(How)Hive架构Hive解析SQL的过程为什么会出现Hive(Why?) 话是这么说的: “懒人推动科技的发展”. Hive的出现都是因为人懒了, 回顾MapReduce开发应用程序时, 需要写大量的代码. 然后就有人...
2018-12-19 19:54:00
234
转载 大数据生态圈集群搭建汇总--Hadoop & Hive & Spark & Kafka & HBase & Sqoop & Flume
集群搭建集群规划汇总Linux 环境准备Hadoop Ha 集群搭建Yarn 搭建Hive 搭建Spark 搭建Spark Standalone 模式Spark Yarn 模式Kafka 搭建Hbase 搭建Sqoop 搭建Flume 搭建本文将持续更新…集群规划汇总角色node01node02node03node04...
2018-12-18 10:01:00
267
转载 (三)大数据生态圈集群搭建之 --Yarn组件搭建 & Yarn监控页面操作
Yarn搭建Yarn资源调度流程集群规划Yarn搭建步骤查看Yarn的WebUI监控页面提交MapReduce应用程序到Yarn上运行并在监控页面查看Yarn资源调度流程想了解Yarn资源调度流程, 可点击此处查看集群规划角色node01node02node03node04clientResourceMa...
2018-12-17 17:18:00
203
转载 (一)大数据生态圈集群搭建之 --Linux环境准备
搭建准备工作本地机环境准备安装包虚拟机工具连接工具上传工具CentOS虚拟机环境搭建通用配置静态IP配置时间同步配置JDK环境配置虚拟机clone && 主机名配置各节点地址配置免密登录配置防火墙配置修改生效本地机环境准备安装包JDK-1.8以上的版本, 需上传至虚拟机节点虚拟机工具VMware – 用于在本...
2018-12-14 16:38:00
101
转载 大数据(十三)--初识SparkCore之RDD(弹性分布式数据集)&Operation(算子)
RDDRDD背景RDD介绍Operation介绍RDD五大特性 在开始学习Spark工作原理之前, 先来介绍一下Spark中两个最为重要的概念-- 弹性分布式数据集(Resilient Distributed Datasets, RDD) 和算子(Operation).RDD背景 Spark的核心是建立在RDD之上, 使Spark...
2018-11-26 19:55:00
257
转载 大数据(十二) --使用MapReduce和SparkCore技术实现单词统计(WorldCount)案例
WorldCount案例案例说明计算分析MapReduce的Java实现SparkCore的Scala实现案例说明 大数据分析处理万变不离其宗, 核心思想就是一个WorldCount–单词统计. 单词统计, 顾名思义就是将一个文件中出现的所有单词读一遍, 并对相同单词的个数进行统计. 如何处理这个文件? 如何得到每一个单词? 如何对...
2018-11-21 11:39:00
348
转载 微博抽奖男人 = 辣鸡, IG.WXZ为你证明
iG夺冠了！iG夺冠了！——11月3日，社交媒体成为了年轻人欢乐的海洋，微博尤甚。根本不知道LOL、也不知道iG是什么的叔叔阿姨们，对这次刷屏一点都不反感，毕竟IG老板，人称“校长”的王思聪，为了庆祝自家战队创造历史，在11月6日发起了一场豪气抽奖：从参与人数就可以隔着屏幕感受到一万元奖金的巨大影响力。甚至读到此篇文章的您，也很有可能...
2018-11-19 09:32:00
168
转载 大数据(十一)--Spark概述
Spark概述Spark 简介Spark 历史Spark 技术栈Spark相较于Hadoop的优点Spark 简介 Spark官网为: http://spark.apache.org/, Spark也是用于海量数据处理的计算框架. 官方对Spark的定义是:Apache Spark™ is a unified analytics ...
2018-11-18 17:43:00
172
转载 大数据(十)--Scala编程语言-提高
ScalaScala字符串Scala 集合1. 数组2. list3. set4. Map4.1 创建map集合4.2 map遍历4.3 Map合并4.4 Map其他常见方法5. 元组trait特性模式匹配match-case样例类case classes并发 Actor ModelScala隐式转换系统Scala字符串 Scala中...
2018-11-15 18:37:00
99
转载 大数据(九)--Scala编程语言-安装+基础
ScalaScala介绍Scala安装1. windows下安装, 环境配置2. Scala-IDEA3. IntelliJ IDEA中安装Scala插件4. IntelliJ IDEA-2017.3版本中创建Scala项目Scala基础1. 数据类型2. 常量&变量3. 类&对象4. 判断语句5.循环语句5.1 to和un...
2018-11-05 15:12:00
314
转载 项目管理工具--Maven的配置, 安装和使用; 使用Maven搭建一套简单的SSM框架
Maven介绍前言1. Maven简述&配置下载+配置maven基本指令2. eclipse-maveneclipse如何中添加maven？如何用eclipse创建maven项目？index.jsp报错问题:3. pom.xml详解pom.xml 中的pom节点基本配置依赖配置依赖怎么写?4. 如何让新项目利用maven依赖已经完成...
2018-10-24 23:47:00
125
转载 大数据(八) --MapReduce运行架构, Yarn资源调度流程
MapReduce运行架构前言Hadoop1.x版本Hadoop2.x版本Yarn资源调度流程:前言 某天, 某研究机构设计了一款私人飞机图纸, 之后某公司根据该图纸制作出一架私人飞机. 然后某位有钱人士觉得这架飞机非常好, 就花高价钱买下这架飞机. 飞机要想起飞, 需要向空管局申请航线, 申请成功后, 这位富人又雇佣了一位飞行员. ...
2018-10-18 21:03:00
106
转载 大数据(七) --分布式计算框架(MapReduce)
MapReduce分布式计算思想思想引入MapReduce处理流程MapReduce概述MapReduce的定义MapReduce的优缺点分布式计算思想思想引入首先, 来看三个问题:假设有1T的文件, 文件中的每一行都是一个数字; 如何在一台48core, 64G内存的服务器上处理这个大文件, 将这个大文件排序呢?假设有两...
2018-10-18 15:29:00
134
转载 大数据(六) --Hadoop简介
Hadoop生态圈What is Hadoop?Hadoop思想来源Hadoop的历史三大发行版本Hadoop的优势Hadoop的组成Hadoop1.*和2.*的区别Hadoop组成HDFSYarnMapReduce大数据技术生态体系What is Hadoop?Hadoop思想来源 Google是Hadoop思想和技术的来源. 具...
2018-10-15 23:29:00
116
转载 (二)大数据生态圈集群搭建之 --高可用(HA)完全分布式搭建 & NameNode-WebUI界面操作...
搭建流程说明下载安装包高可用完全分布式搭建一. 集群规划二. hadoop安装配置三. zookeeper安装配置四. 集群格式化五. 启动, 操作, 关闭集群六.访问NameNode的WebUI页面七.搭建Hadoop的client说明 搭建之前, 先根据(一)Linux环境搭建一文将集群的初始环境配置OK.下载安装包 Apa...
2018-10-14 12:55:00
200
转载 大数据(五) --完全分布式搭建
说明搭建之前, 先根据HDFS三种模式一文将集群的初始环境配置OK.完全分布式搭建在node01节点上将上传的Hadoop压缩包解压这里我将文件解压到/opt/software/hadoop文件夹下.tar -zxf hadoop-2.6.5.tar.gz -C /opt/software/hadoop进入配置文件修...
2018-10-13 14:47:00
136
转载 大数据(四) --伪分布式搭建
说明搭建之前, 先根据HDFS三种模式一文将集群的初始环境配置好.伪分布式搭建将上传的Hadoop压缩包解压这里我将文件解压到/opt/software/hadoop文件夹下.tar -zxf hadoop-2.6.5.tar.gz -C /opt/software/hadoop进入配置文件修改目录cd /opt/...
2018-10-13 12:06:00
91
转载 大数据(三) --HDFS搭建的三种模式
HDFS搭建的三种模式搭建前说明伪分布式模型说明集群规划搭建步骤完全分布式模式说明集群规划搭建步骤高可用(HighAvailable)模式说明集群规划搭建步骤搭建前准备的环境本地机环境准备安装包虚拟机工具连接工具上传工具CentOS虚拟机环境静态IP配置时间同步配置JDK环境配置虚拟机clone && 主机名配置节点位置配置...
2018-10-12 01:04:00
258
转载 大数据(二) --分布式文件系统(HDFS)
分布式文件存储分布式引入基本的HDFS写操作备份机制写数据的详细流程HDFS读操作元数据持久化安全模式HDFS总结HDFS角色HDFS机制HDFS流程HDFS优缺点优点缺点分布式引入大数据时代的到来, 数据的增长呈现爆炸式的状态. 数据的大小从原来的MB, GB级别一跃成为当前的TB, PB甚至EB级别. 海量数据的产生已不再...
2018-10-10 02:29:00
245
转载 大数据(一) --大数据概述
大数据概述大数据兴起的背景 --第三次信息化浪潮技术支撑数据产生方式的变革。什么是大数据?大数据特性大数据的几个来源大数据带来思维方式的转变:关键技术：典型计算模式大数据兴起的背景 --第三次信息化浪潮技术支撑硬盘存储容量增加；CPU计算速度提高；网络带宽不断增加。数据产生方式的变革。感知式系统阶段物...
2018-10-09 17:20:00
2229
转载 JavaWeb基础学习（六）--过滤器Filter
过滤器(Filter)Filter 的基本功能是对 Servlet 容器调用 Servlet 的过程进行拦截，从而在 Servlet 进行响应处理的前后实现一些特殊的功能。在 Servlet API 中定义了三个接口供开发人员编写 Filter 程序：Filter, FilterChain, FilterConfig。Filter 程序...
2018-09-26 13:49:00
182
转载 JavaWeb基础学习（五）--JSP&&EL&&JSTL
JSP：为弥补 Servlet 的缺陷，SUN公司在Servlet的基础上推出了JSP（Java Server Pages）技术作为解决方案。 JSP是简化Servlet编写的一种技术，它将Java代码和HTML语句混合在同一个文件中编写(文件扩展名必须为.jsp)，只对网页中要动态产生的内容采用Java代码编写，而对固定不变的静态内容采用静态HT...
2018-09-25 09:09:00
124
转载 JavaWeb基础学习（四）--Cookie & Session
会话状态管理HTTP协议是一种无状态的协议，WEB服务器本身不能识别出哪些请求是同一个浏览器发出的，浏览器的每一次请求都是完全孤立的。问题引入：怎么才能实现网上购物：某个用户从网站的登录页面登入后，再进入购物页面购物时，负责处理购物请求的服务器程序必须知道处理上一次请求的程序所得到的用户信息。如何解决：作为 web 服务器...
2018-09-20 08:59:00
95
转载 JavaWeb基础学习（三）--Request & Response
请求过程: 每次请求都将会创建新的request&response对象。 HttpServletRequest 简介：Servlet API 中定义的 ServletRequest 接口用于封装请求消息。HttpServletRequest 是专用于HTTP协议的ServletRequest 子接口，它用于...
2018-09-18 14:49:00
88
转载 JavaWeb基础学习（二）--Servlet
一. Servlet简介基于Java技术的Web组件，运行在服务器端，由Servlet容器管理，用于生成动态内容。Servlet容器管理Servlet，负责Servlet和客户的通信以及调用Servlet的方法。Servlet功能：接收用户请求的http协议 返回http响应协议Servlet优势：Servlet...
2018-09-15 08:53:00
157
转载 JavaWeb基础学习（一）--javaweb概述
一、架构javaweb是使用Servlet开发B/S架构的WEB应用程序。C/S与B/S区别，有如下八个方面的不同：１．硬件环境不同: C/S一般建立在专用的网络上,小范围里的网络环境,局域网之间再通过专门服务器提供连接和数据交换服务. B/S建立在广域网之上的,不必是专门的网络硬件环境,例与电话上网,租用设备.信息...
2018-08-31 19:37:00
90
转载 前端知识点总结（一）-- jQuery
一、jQuery? JS的封装,简化了JS.优势 轻量级 强大的选择器 简化DOM操作 链式操作等JQuery对象 jQuery 对象就是通过 jQuery($()) 包装 DOM 对象后产生的对象，它是一个数组对象。 ...
2018-08-27 16:25:00
60
转载 前端知识点总结（一）--JavaScript
JavaScript 是一种基于对象(Object)和事件驱动(Event Driven)并具有安全性能的脚本语言。脚本语言（不需要编译） 1.JS脚本语言 解释执行器(脚本引擎):浏览器 2.与编程语言之间最大的区别是编程语言的语法和规则更为严格和复杂一些。 JS弱类型语言, 没有明确的数据类型，也就是说...
2018-08-24 16:46:00
63
转载 前端知识点总结（一）--CSS
CSSCascading Style Sheets的缩写，一般翻译为层叠样式表。0.引入方式： 内联---priority最高 内部---第二 外部---第三 <link rel="stylesheet" href="../css/style.css" />...
2018-08-24 16:07:00
69
转载 Java基础知识点总结--从细节再看Java（十二） --File类与字节IO流
之前我们提到过字符IO流，想了解的可以去看一下这篇博客字符IO流与缓冲流。接下来我们来说说File类，字节流FileInputStream和FileOutputStream以及它们的缓冲流。一、File类File类是干什么的呢？File是文件或目录路径的抽象表示形式，它不表示文件，而是路径。File的实例一旦创建就不可改变其所指代的路径。首先，我...
2018-08-04 14:43:00
148
转载 Java基础知识点总结--从细节再看Java（十一）--多线程开发
再说如何进行多线程开发之前，我们先来看看什么是线程，什么又是进程，两者有怎样的关系呢？程序（Program）：计算机指令的集合，以文件形式存储在磁盘上。即指一段静态代码，静态对象。进程（Process）：程序的一次动态执行过程, 占用特定的地址空间。在某种程度上进程是相互隔离、独立运行的程序。多任务操作系统将CPU时间动态地划分给每个进程，一...
2018-08-01 18:12:00
78
转载 Java基础知识点总结--从细节再看Java（十）--Map与HashMap的使用
为了体现有对应关系的数据，我们之前所接触的数组，列表等集合用起来有点麻烦，这是Java又为我们提供了一种专门存储对应关系的集合Map。Map：将键映射到值的对象。一个映射不能包含重复的键；每个键最多只能映射到一个值。这是API中对Map的描述。Map与Collection的区别在于，Map是一个双列集合，处理一个键为key，值为value的键值对...
2018-07-31 20:15:00
73
转载 Java基础知识点总结--从细节再看Java（九）--Collections工具类
我们知道Collection是集合的父接口，那么Collections呢？它是什么呢，它与Collection有什么关系吗？Collection 和 Collections 有什么关系：Collection 是集合体系的最顶层，包含了集合体系的共性Colelctions 是一个工具类，不需要，也不能创建对象，它的方法全是static修饰的，...
2018-07-31 14:08:00
99
转载 Java基础知识点总结--从细节再看Java（八）--Set集合以及自定义类型未去重的解决...
Set是Collection接口的子接口，模仿数学中的集合并对其进行抽象。我们先了解一下Set集合有什么样的特点：最多包含一个null元素 没有索引 无序（存和读的顺序可能不同） Set.add() 不允许重复，因此可能返回false（List.add()永远返回true，因为List允许有重复）一、对Set集合的使用Set与List一样...
2018-07-31 13:28:00
227
转载 使用输入输出IO流以及缓冲流实现文本文件复制的五种方法
IO流以及缓冲流可以帮我们实现文本文件的读写操作, 关于它们的使用可以去参考这篇博客io流/缓冲流.接下来我们直接来看复制文本文件的五种方法，直接看代码：package com.qibao.iostream;import java.io.BufferedReader;import java.io.BufferedWriter;import...
2018-07-30 16:53:00
129
转载 Java基础知识点总结--从细节再看Java（七）--字符输入输出（I/O）流、缓冲流
字符输入输出（I/O）流 用来解决设备间数据传输的问题。包括文件copy，读写文件，上传文件以及下载文件等。对于到底是输入流还是输出流，我们是站在Java程序的角度来看待的，对于程序来说从文件中读取数据即使像程序中输入数据，因此就是输入流，相反则是输出流。一、输出流输出流 即往文件中写数据，我们需要用到 java.io.FileWrite...
2018-07-30 15:47:00
91
转载 Java基础知识点总结--从细节再看Java（六）--List及LinkedList
List<E> 是一个继承自Collection<E> 的接口，List除了继承Collection的方法外还有其独特的方法。LinkedList<E> 则是List<E> 的一个实现类，与ArrayList不同的是，ArrayList的数据结构是数组，而LinkedList的结构为链表。由于它们的数据...
2018-07-29 15:01:00
65
转载 Java基础知识点总结--从细节再看Java（五）----集合的三种遍历方式
集合中存储多个元素，有时我们需要遍历集合，接下来我们一起来看遍历集合的三种方式。首先，我们先创建一个集合并给它添加几个元素： // 创建集合对象 Collection collection = new ArrayList(); // 添加元素 collection.add("Hello"); collection.add("J...
2018-07-29 11:40:00
195
转载 Java基础知识点总结--从细节再看Java（四）Java中与日期相关的类Date，SimpleDateFormat，Calendar...
一、Date类Date类可以让我们创建瞬间的时间，它可通过方法来设定时间，可表示任意时间。但Date中大部分方法已经过时，我们只需关注几个方法即可，其余的显示时间的格式我们通过SimpleDateFormat类来实现，后文将会提到该类。构造函数(主要关心两个)Date() ：创建当前系统时间，有其固定的格式。public class Dat...
2018-07-25 01:30:00
155
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人