- 博客(20)
- 收藏
- 关注
RSS订阅原创 SpringBoot学习（一）------------IDEA创建项目
一、创建项目 File-->New-->projects选择这个是因为可以直接选择相关组件进行安装，当然也可以直接创建maven项目然后去导入相关的依赖，这里我选择用这种方法二、信息修改 上一步点击Next进入项目信息选项group不用多说了与maven的一致artifact就是我们的项目名type选project，当然还有其他选项，这里我们选择projectlanguage选javapackaing选jarjava version 选择...
2020-10-19 18:21:14
185
原创 大数据学习之路-----JSch
JSch是Java Secure Channel的缩写。JSch是一个SSH2的纯Java实现。它允许你连接到一个SSH服务器，并且可以使用端口转发，X11转发，文件传输等，当然你也可以集成它的功能到你自己的应用程序。本文只介绍如何使用JSch实现的SFTP功能。SFTP是Secure File Transfer Protocol的缩写，安全文件传送协议。可以为传输文件提供一种安全的加密方法。...
2019-07-22 19:32:59
239
原创 大数据学习之路----Scala语言学习（类、方法、对象、继承、特质）
类、方法、对象、继承、特质Scala的类与Java、C++的类比起来更简洁，学完之后你会更爱Scala！！！1.1. 类1.1.1. 类的定义package cn.bw.class_demo/**在Scala中，类并不用声明为public类型的。Scala源文件中可以包含多个类，所有这些类都具有共有可见性。*/class Person {//用val修饰的变量是可读...
2019-07-22 14:17:54
170
原创 大数据学习之路----Scala语言学习（安装、常量、变量、类型）
一、scala语言Scala是一门多范式的编程语言，一种类似java的编程语言，设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性，这种语言与java类似，有很多java的影子存在，而且还有一些自己的特点，我们可以使用这门语言去操作spark计算引擎，scala在计算和执行效率上要高于java所以我们在使用spark进行在线计算时，采用的是scala语言。多范式：既包含java...
2019-07-05 19:52:52
241
原创 Hive学习之———自定义函数
正常在我们hive中是由很多的函数的，有的我们可以直接用，但是但我们去计算复杂数据时，我们就要去写一些规则来将数据筛选出来，这里我使用的是idea开发环境来开发的。1.UDF自定义函数分为三种一、UDF一对一UDF是继承hive中UDF而实现evaluate方法，它是一对一的关系，UDF操作作用于单个数据行，并且产生一个数据行作为输出。大多数函数都属于这一类（比如数学函数和字符串函数）。...
2019-06-21 21:19:27
256
转载 idea常用命令
【常规】Ctrl+Shift + Enter，语句完成“！”，否定完成，输入表达式时按 “！”键Ctrl+E，最近的文件Ctrl+Shift+E，最近更改的文件Shift+Click，可以关闭文件Ctrl+[ OR ]，可以跑到大括号的开头与结尾Ctrl+F12，可以显示当前文件的结构Ctrl+F7，可以查询当前元素在当前文件中的引用，然后按 F3 可以选择Ctrl+N，可以快速...
2019-06-21 09:37:26
238
原创 Hive数据库语言Hql
首先我们要知道操作Hive数据库的院类似于sql语言但是有些也不同于sql的语言，所以我们就叫他Hql，这里我就介绍一些常用的语言以及我在写语言时的错误。一、创建表create table 表名（属性）ROW FORMAT DELIMITED 行格式分隔FIELDS TERMINATED BY ’,’ 字段之间使用，来分隔COLLECTION ITEMS TERMINATED BY...
2019-06-20 20:33:16
436
原创 HIVE数据仓库工具详解
一、hive是什么？我们听说过很多的编程语言例如C、C++、java、python、php等等一系列的编程语言，这些语言都被许许多多的程序员运用到开发当中了，而sql语言也作为一种语言它没有被运用到实际开发中，而只是进行数据库的操作，那么能不能让回sql的人也可以去处理大数据，不会写mr的人也可以去处理大数据？这里我要介绍的hive就是这样为了解决这个问题而存在的。hive就是基于Hadoop...
2019-06-19 20:25:20
269
原创 Zookeeper运行原理及配置过程
一、什么是Zookeeper官网的解释是：ZooKeeper是一种集中式服务，用于维护配置信息，命名，提供分布式同步和提供组服务。所有这些类型的服务都以分布式应用程序的某种形式使用。每次实施它们都需要做很多工作来修复不可避免的错误和竞争条件。由于难以实现这些类型的服务，应用程序最初通常会吝啬它们，这使得它们在变化的情况下变得脆弱并且难以管理。即使正确完成，这些服务的不同实现也会在部署应用程序时...
2019-06-18 21:14:39
302
原创 在Eclipse中实现MapReduce过程
MapReduce就是将本地的文件从磁盘中拿出，经过map执行我们指定的计算程序去排序后在传入Reduce中进行处理，最后传入磁盘中。那么我们怎么写一个计算程序呢？首先我们先建立一个MapReduce项目然后在src传入 org.apache.hadoop.io.nativeio这个jar包，这个jar包包括我们接下来所有开发的方法，所以一定要放入。接下来我们就要创建一个空的packag...
2019-06-14 21:38:04
1140
原创 MapReduce的运行原理讲解
MapReduce是一种编程模型，它是用于大规模数据集的并行运算，极大地方便了编程人员咋不会分布式并行变成的情况下，将自己的程序运行在分布式系统上。MapReduce的原理总之就是一句话----分久必合，合久必分Map和Reduce是分开的两个部分，Map不是我们所学习的Map集合而是代表了切割，而Reduce就是合并，以下就是MapReduce的运行原理图首先我们在磁盘中获取大量数据源后...
2019-06-14 15:02:13
356
原创 Eclipse进行Hadoop的文件上传下载重命名以及文件是否存在
在开发之前一定要确定你的虚拟机可以连接到HDFS，你的Eclipse一定要连接到集群，这样才会实现操作这里我得代码是在测试类中书写的package com.zhaoxing.test;import java.io.BufferedInputStream;import java.io.File;import java.io.FileInputStream;import java.io.F...
2019-06-13 20:32:46
717
原创 大数据学习之路----HDFS与Eclipse的搭建----集群外提交
使用Eclipse来充当client来对集群中的文件进行上传下载一、环境搭建就像搭建java环境变量一样，在我的电脑>>>属性>>>高级系统设置>>>环境变量中可以看到有之前我们配置的系统变量JAVA_HOME,同样我们首先配置HADOOP_HOME第二我们要配置HADOOP_USER_NAME这里的名字一定要和虚拟机管理员的名字一...
2019-06-13 20:19:47
3258
2
原创 大数据学之路----Hadoop生态圈伪分布式框架搭建
之前我们都了解了什么是Hadoop生态圈以及大数据是什么？如果有新来的小伙伴感兴趣的话可以在我的博客中查看相关介绍。今天我们就来进行实践操作----也就是我们的伪分布式框架搭建要安装Hadoop生态圈首先你的虚拟机中要有jdk，而且你的虚拟机必须保证可以上网可以被外部连接，这里我一一介绍。一、网络配置首先按照平时安装linux系统那样安装系统，在安装完之后在这个位置中在这里我们选择镜...
2019-06-12 22:36:09
220
原创 大数据学习之路----SecondaryNamenode持久化
当Namenode在掌握元数据时，为了保证元数据的安全，会将元数据放到磁盘中，这个就是大数据的持久化，我们今天介绍的SecondaryNamenode就是持久化过程中的一个重要角色。（Namenode----管理者节点、Datanode----工作者节点）SecondaryNamenode在集群中扮演着类似辅助的功能，它就类似于公司中的副总经理，它所辅助的总经理就是我们说的Namenode。...
2019-06-11 21:27:46
245
原创 大数据学习之路----什么是大数据？Hadoop生态圈
谈大数据现如今互联网的发展，我们也看到了，作为一个见证互联网从2G到4G，甚至现在华为的5G，再到未来的6G的我们，总会听到一个词那就是大数据时代，那到底大数据是什么？大数据到底是什么这个问题困扰了许多的程序员以及从事互联网的，阿里巴巴的马云说过，我们不知道什么是大数据，但是大数据时代已经来了，就是这么猝不及防，如果说非要给大数据去做个定义的话，我的理解那就是大数据就是一种大量的、多样的、有价...
2019-06-10 14:52:58
274
原创 大数据学习之路----linux系统的shell脚本编程案例（一）
在学习shell脚本开发中我们需要很多的练习去熟悉shell的命令，所以接下来我分享了几个案例供大家学习并参考，后续也会继续分享跟多的案例案例一、简单计算器这里乘法运算还有一种方法案例二、9*9乘法表第一种第二种这里使用了for循环的嵌套，最重要的就是表达式中的空格，有的时候没有空格是会报错的实现效果案例三、根据输入的数字显示对应的信息案例四、循环输出数字，指定...
2019-06-10 10:07:55
359
原创 大数据学习之路----linux系统的shell脚本编程（一）
一、什么是linux系统linux系统诞生于1991 年10 月5 日,一直以开源的方式存在，经过很多的程序员的开发演变成现在使用的linux系统，一个是企业版，一个是个人版二、shell编程开始shell编程是类似于我们学习的C语言、C++、Java、PHP…等开语言，也有他自己的属性、方法、运算方式三、变量shell脚本定义变量和Java的变量定义不一样，Java遵从‘万物皆对象’的...
2019-06-09 23:55:09
278
原创 Linux删除执行中进程命令
Linux kill命令Linux kill命令用于删除执行中的程序或工作语法：kill [-s <信息名称或编号>][程序] 或 kill [-l <信息编号>]-l <信息编号> 若不加<信息编号>选项，则-l参数会列出全部的信息名称。-s <信息名称或编号> 指定要送出的信息。[程序] [程序]可以是程序的PID或是...
2019-05-13 16:08:32
2526
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人