- 博客(23)
- 收藏
- 关注
RSS订阅原创 flume的使用（给自己看的）
train.sources = s1train.channels = c1 hdfsChannel train.sinks = k1 hdfsSinktrain.sources.s1.type = spooldirtrain.sources.s1.spoolDir = /opt/kb07/flumeFile/traintrain.sources.s1.deserilizer = LINEtrain.sources.s1.deserilizer.maxLineLength = 60000tr
2020-08-19 20:04:35
207
原创 flume上传hdfs的配置文件
user_friends.sources = userFriendsSourceuser_friends.channels = userFriendsChanneluser_friends.sinks = userFriendsSinkuser_friends.sources.userFriendsSource.type = spooldiruser_friends.sources.userFriendsSource.spoolDir = /opt/kb07/flumeFile/user_frie
2020-08-17 14:39:57
232
原创 安装zepplin
一、下载安装包安装包下载地址选择zeppelin-0.8.1-bin-all.tgz二、上传并解压上传到Linuxtar -zvxf zeppelin-0.8.1-bin-all.tgz -C /opt进入目录cd /opt/zeppelin-0.8.1-bin-all/-------ok,安装完成。->But，还需要修改一下配置文件三、修改 配置文件cp zeppelin-site.xml.template zeppelin-site.xml修改端口号：默认是8080
2020-07-23 19:37:38
195
原创 hive的基本语法
hive什么是hive？基于Hadoop的数据仓库解决方案Hive的优势和特点Hive的发展里程碑和主流版本Hive元数据管理记录数据仓库中模型的定义、各层级间的映射关系存储在关系数据库中HCatalogHive环境搭建Hive架构Hive操作-命令行模式Hive操作-客户端交互模式Hive数据类型 - 基本数据类型Hive数据类型 - 集合数据类型Hive数据结构数据表（Table)Hive建表语句Hive建表 - 分隔符Hive中默认分隔符Hive建表高阶语句 - CTAS and WITHCTAS –
2020-07-11 17:07:11
472
原创 大数据运行环境全套安装流程。 （hadoop，hive，zookeeper，Hbase）
1.文件准备安装基本运行环境，需要用到：hadoop-2.6.0-cdh5.14.2.tar.gzjdk-8u221-linux-x64.tar.gzzookeeper-3.4.6.tar.gzhbase-1.2.0-cdh5.14.2.tar.gzhive-1.1.0-cdh5.14.2.tar.gzMySQL-client-5.6.46-1.el7.x86_64.rpmMySQL-server-5.6.46-1.el7.x86_64.rpm把以上文件都拖到配置好的虚拟机，在根目录中建一
2020-07-10 21:31:57
1130
原创 MapReduce中的Combiner，Partitioner与Shuffle 以及整个原理图
CombinerCombiner概述Combiner类是用来优化MapReduce的，在MapReduce的Map环节，会产生大量的数据，Combiner的作用就是在map端先对这些数据进行简单的处理，减少传输到Reduce端的数据量，从而提高MapReduce的运行效率。Combiner并没有自己的基类，他是继承Reducer的，对外功能一样。他们的区别是，Combiner操作发生在Map端，在某些情况下Combiner的加入不会影响程序的运行结果，只会影响效率。以下Combiner代码基于Wo
2020-07-04 21:48:21
689
原创 使用MapReduce获取手机号以及使用信息
这里我们需要获取手机号，以及上行流量与下行流量相加后得到的总流量。我们需要四个类：FlowBean类：定义变量方法。import org.apache.hadoop.io.Writable;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;public class FlowBean implements Writable { private long upFlow;
2020-07-04 12:39:41
561
原创 大数据学习——hadoop分布式计算框架MapReduce之词频获取
MapReduce介绍和优缺点MapReduce是Hadoop中面向大数据并行处理的计算模型，框架和平台。其具有1.易于编程（实现接口便可完成程序）2.平滑无缝的可扩展性（可布置在廉价服务器上，并且只要增加机器数量便可提高MapReduce集群的计算性能）3.高容错性（MapReduce框架有多种有效的错误检测和恢复机制）4.高吞吐量（可处理PB级别的数据）的特点。但是，MapReduce也具有以下缺点：1.难以提供实时计算（因其处理的是磁盘上的数据，会受到磁盘读写速度的限制，无法实施返回结
2020-07-02 23:06:12
492
原创 maven 的安装及环境变量配置 ，有手就行
1.首先解压你下载的maven文件夹，放在自己设定的位置，接下来配置环境变量。2.右击我的电脑点击属性-> 高级系统设置 ->环境变量 ->系统变量。3.在系统变量中新建一个maven_home，变量值为maven的路径。注意！所有路径名都应该是字母，不能出现汉字，不能有空格，不能有中文标点。4.编辑Path变量，添加 %MAVEN_HOME%\bin\，这里的Path是下面的系统变量中的Path5.打开cmd，输入mvn -version，如果配置成功，则出现下图。
2020-06-30 09:09:15
257
1
原创 傻逼教程之把linux的中的文件传到hadoop上，有手就行
这里写自定义目录标题欢迎使用Markdown编辑器欢迎使用Markdown编辑器1.首先打开idea新建工程，new project，然后选中maven，勾选 Create from archetype然后选择：2.点击next，然后设置组别和项目名字。点击next3.设置Maven home directory ，这个选择自己装的maven文件夹。设置User settings file ，这个选择maven文件下的conf文件夹中的settings.xml设置Local reposit
2020-06-29 23:30:33
1119
原创 ELK集群的搭建
一、复制虚拟机虚拟机在关机状态时，复制。使用完全复制，并重新初始化所有网卡的MAC地址。在此我们复制两个。二、修改主机名和主机列表1．网络地址因为虚拟机是复制的，所以他的地址与本机一样，我们在使用前需要修改为不同的地址。每个虚拟机的名字也是一样，都需要修改。（1）输入：vi /etc/sysconfig/network-script/ifcfg-enp0s3 修改网络ip地址。2．主机名（1）输入：hostnamectl set-hostname test01（2）输入：vi /
2020-06-21 20:15:44
146
原创 傻逼教程之ElasticSearch简介与安装配置
首先我们安装虚拟机，这次创建虚拟机是类型选择linux，版本Red hat。如下所示：其他安装不做赘述，上期傻逼教程里面有。下面让我们直接进入主题：ELK的安装配置一 、在安装之前我们需要准备好五个安装包：下载：elasticsearch-6.2.2.tar.gzelasticsearch-head-master.zipkibana-6.2.2-linux-x86_64.tar.gzlogstash-6.2.2.tar.gznode-v8.9.1-linux-x64.tar.gz二、
2020-06-20 19:55:39
404
原创 手把手一步步教你VitrualBox上的LINUX系统安装，傻瓜教程？哦不我这是傻逼教程。
VitrualBox上的LINUX系统安装。配置内存建议4G以上，这里笔者随便 选了。下一步选择的文件的位置以及文件大小，注意两个地方。一个是文件大小当然是高一点好，然后选择固定大小。接着点击创建。创建之后不着急打开虚拟机，在管理器页面选择设置，进入一下界面。在常规里点击高级，选择备份位置。同时下方两个都选择双向。再到系统里把软驱点掉，我们使用iso光驱文件，所以不需要软驱。然后点击存储，再控制器属性一栏里选择虚拟机光驱。还需要选择网络网卡1里的连接方式，改为仅主机网络。启用网卡
2020-06-18 19:42:08
478
原创 java简单代码实现杨辉三角
第一种解法：所有一维数组的第一个值为1，最后一个值为1，其他值等于上一个数组连续两个值的和。第二种解法：（a+b）^n的二项展开式：每一项/前一项的倍数随着列数变化（分子-1，分母+1）以下是第一种方法：import java.util.Arrays;import java.util.Scanner;public class Yanghui { public static void main(String[] args) { Scanner sc=new Scanner(
2020-06-17 08:25:25
1884
原创 冒泡排序和插旗
冒泡排序的思路是用数组中一个值和其他值挨个比较，使用循环控制对比。这里要设置两个循环，外层循环用于控制数组中作比较的值，内层循环用于控制这个作比较的值和其他值对比。插旗则可以看成一个条件判断，满足条件则执行。//冒泡排序和插旗public class Demo04 { public static void main(String[] args) { int a[]={5,6,7,8,9,10,11}; int tmp; for (int i =
2020-06-17 08:23:59
313
原创 在有序的数组中插入一个数
插入一个数到无序的数组中，定义一个更大的数组再用循环赋值即可。在有序的数组中插入，则需要比较这个数和数组中每个数的大小。需要注意的是，数组中原本的比插入的数小的元素需要往后面挪一位。//插入一个数到数组import java.util.Arrays;public class Demo05 { public static void main(String[] args) { int b[]=new int[6];//定义数组的方法 int b[]= new int[6]
2020-06-17 08:23:16
2256
原创 java简单代码逻辑实现百钱买白鸡
百钱买白鸡的逻辑相对简单，只需要知道公鸡母鸡小鸡每种最多能买多少，最少要买多少。然后三种鸡的数目相加为一百，总价为一百，即可得到结果。此处公鸡2元，母鸡1元，小鸡五毛。public class Prac02{ public static void main(String[] args) { double a=1,b=1,c=1; int j=0; double d[]=new double[48]
2020-06-17 08:22:34
534
原创 java简单代码逻辑实现数学黑洞6174
import java.util.Arrays;public class Prac02 { public static void main(String[] args) { int num=(int)((Math.random()*9000)+1000); for (int i = 0; i <7 ; i++) {//因为最多七次运算即可得到6174，所以循环只需要七次 if(num%1111==0){//排除不符合模型的数
2020-06-17 08:21:42
1624
原创 java简单代码逻辑实现查闰年
闰年的定义：闰年分为普通闰年和世纪闰年，普通闰年是指公历年份是4的倍数的，且不是100的倍数，世纪闰年则必须是400的倍数。即可被4整除但不能被100整除的年份和可被400整除的年份。import java.util.Arrays;//闰年public class Prac01 { public static void main(String[] args) { int length=(int)(Math.random()*20); int a[]=new
2020-06-17 08:20:36
340
原创 打擂和选择排序
首先介绍一种打擂的思想。擂台上有变量a,变量b与a打擂台，b比a大（或小）则b留在擂台上。不妨把擂台看成一个变量。此后每个数都与变量中的数比较，符合的留在变量中。选择排序的逻辑与冒泡类似，只不过把最值存放在变量中，每一次比较都可能会改变变量的值。import java.util.Arrays;public class Demo02 { public static void main(String[] args) { int a[]={10,2,88,92,78,59,8,
2020-06-17 08:19:28
614
原创 java简单代码逻辑实现二分法
二分法的逻辑思想为：1.找到中间值2.中间值与基准值进行比较2.1基准值与中间值相等，则算找到，break2.2基准值比中间值大，则开始下标定位中间值，begin=mid2.3基准值比中间值小，则结束下标定位中间值，end=mid3.如果重复上述过程也无法符合2.1，则基准值不在数组内4.如果数组只剩一个元素也无法找到，则可能出现死循环，需要额外跳出 public static void main(String[] args) { int a[]={1,3,5,7,9,
2020-06-17 08:18:31
408
原创 Linux操作系统
一．Linux常用命令（Centos7）：1.目录结构：/ 系统根目录、 ~ 系统家目录2.切换目录：cd 目录–绝对路径、相对路径（…/为返回上一级） 直接输入cd会回到家目录命令： cd / cd ~ cd 目录3.展示所有文件（隐藏文件除外）命令： ll4.清屏：命令：clear或者 rtrl+l5.展示当前绝对路径：命令：pwd6.查看当前目录下的内容：命令：ls: -a -i -l7.文件夹操作：命令：mkdir software
2020-06-17 08:16:41
108
原创 基于mybatis的图书馆模糊查询系统
介绍模糊查询是通过检索与目标相关的关键字来获得目标全部信息的方法。多使用sql语句实行查询。例如搜索字母‘a’，则可以查询出所有包含’a’ 的信息。用于图书查询就可以通过几个关键字检索出与之相关的所有书籍。代码实现1.首先配置环境：在mybatis的根目录下引入映射文件` <mapper resource="cn/kgc/kb07/dao/BookMapper.xml"></mapper>`<?xml version="1.0" encoding="UTF-
2020-06-17 08:15:33
941
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人