- 博客(23)
- 收藏
- 关注
RSS订阅原创 scala IO 正则 日志解析
日志INFO 2016-07-25 requestURI:/c?app=0&p=1&did=18005472&industry=469&adid=31INFO 2016-07-25 requestURI:/c?app=0&p=2&did=18005472&industry=469&adid=31INFO 2016-07-25 requestURI:/c?app=0&p=1&did=18005472&industry
2020-08-03 09:13:26
376
原创 MapReduce初学
一.关于MapReduce(一)什么是MapReduce?1.MapReduce是一个分布式计算框架它将大型数据操作作业分解为可以跨服务器集群并行执行的单个任务。起源于Google,它是一个编程模型,用于大数据量的计算2.适用于大规模数据处理场景每个节点处理存储在该节点的数据3.每个job包含Map和Reduce两部分(二) MapReduce的设计思想1.分而治之简化并行计算的编程模型,即把对大规模数据集的操作分发给一个主节点管理下的各个子节点共同完成,然后整合各个子节点的中
2020-07-13 02:32:27
217
原创 wget下载mysql(CentOS7)
wget下载mysql查看是否有依赖rpm -qa | grep mariadb有mariadb则删除rpm -e ... --nodeps下载wgetyum install -y wget下载mysql社区版wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm解压rpm -ivh mysql-community-release-el7-5.noarch.rpm下载mysq
2020-07-13 02:26:22
1302
原创 Zepplin安装使用（Linux、CentOS7）
一、Apache Zeppelin简介Zeppelin 是一个让交互式数据分析变得可行的基于网页的开源框架。Zeppelin提供了数据分析、数据可视化等功能。方便你做出可数据驱动的、可交互且可协作的精美文档，并且支持多种语言，包括scala,python, java, shell, markdown, spark, hive, tajo等。Zeppelin实现：数据采集数据发现数据分析数据可视化和协作二、Zepplin安装使用下载安装包http://zeppelin.apa
2020-07-12 23:52:13
589
原创 实现Windows与HDFS之间的传输
hadoop2.6.0提取码: kgd1一、本地连接hdfs配置把hadoop2.6.0的tar.gz解压到windows本地目录hadoop.dll,winutils.exe两个文件放到windows的hadoop的bin目录下hadoop.dll在C:\Windows\System32里面再放一份copyToLocalFile方法第一个参数和最后一个解析：第一个参数控制下载完成后是否删除源文件,默认是 true,即删除;最后一个参数表示是否将 RawLocalFileSystem 用作
2020-06-30 20:16:32
1453
原创 hdfs dfs 命令
[-appendToFile … ][-cat [-ignoreCrc] …][-checksum …][-chgrp [-R] GROUP PATH…][-chmod [-R] <MODE[,MODE]… | OCTALMODE> PATH…][-chown [-R] [OWNER][:[GROUP]] PATH…]-chown -R修改这个文件夹和子文件的权限[-copyFromLocal [-f] [-p] [-l] … ][-copyToLocal [-p] [-
2020-06-30 18:58:53
949
原创 大数据概况及Hadoop生态系统
一.大数据概况1.什么是大数据>>hadoop?大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。2.大数据的特征4V特征Volume(大数据量)：90% 的数据是过去两年产生Velocity(速度快)：数据增长速度快，时效性高Variety(多样化)：数据种类和来源多样化（结构化数据、半结构化数据、非结构化数据）Value(价值密度低)：需挖掘获取数据价值固有特征Time-base：时效性Immutable：不可变性3.传统处理模式数据
2020-06-30 03:37:21
439
原创 Java实现本地与HDFS之间的上传与下载初（Linux）
前提构建好hadoop，并启动hdfs（hadoop）导入相对应的jar包：本文通过maven打jar包实现需要的包主要为以下三个https://mvnrepository.com/search?q=hadoopjava编写demo本地上传hdfsimport org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.
2020-06-29 22:55:16
205
原创 Zookeeper集群的同步时间配置
Zookeeper集群的同步时间配置确认是否安装过rpm -qa | grep ntp安装ntpyum -y install ntp修改所有节点的ntp配置文件: vi /etc/ntp.conf#当前节点IP地址restrict 192.168.19.101 nomodify notrap nopeer noquery #集群所在网段的网关（Gateway），子网掩码（Genmask）restrict 192.168.19.1 mask 255.25
2020-06-29 00:03:04
331
原创 Docker初识基础
一、概念Docker 是一个开源的应用容器引擎，基于 Go 语言 并遵从 Apache2.0 协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。二、使用Docker 安装 MySQL下载dockeryum install -y docker配置docker镜像（系统CentOS7）vi /etc/docker/daemon.json内容{"registry-mirrors
2020-06-28 22:38:15
98
原创 Hadoop集群、ZooKpeeper、HBase、Hive搭建（系统centos7.0）
目录Hadoop集群搭建一、复制虚拟机二、修改主机名和主机列表三、配置免密登录四、修改配置文件五、Hadoop运行、查看ZooKeeper搭建需要用到的安装包：jdk-8u221-linux-x64.tar.gz提取码: tmxpMySQL-client-5.6.46-1.el7.x86_64.rpm提取码: wedyMySQL-server-5.6.46-1.el7.x86_64.rpm提取码: 6n7khadoop提取码: ebuizookeeper提取码: 95nihbase提取码: n
2020-06-28 17:01:58
363
原创 Hadoop安装与配置（CentOS7、伪分布式、单节点）
目录一、安装Linux虚拟机（系统：CentOS7）二、配置主机三、解压安装包四、文件配置本文用到的安装包jdk（Linux）提取码: tmxpHadoop安装包提取码: vcfg一、安装Linux虚拟机（系统：CentOS7）安装链接如下（主机网卡地址自定义）Linux 虚拟机安装二、配置主机修改主机名hostnamectl set-hostname hadoop101添加主机列表vi /etc/hosts3. 配置密钥（回车两次）ssh-keygen -t -P
2020-06-28 00:29:54
258
原创 使用VM创建Linux虚拟机（系统：CentOS7）
目录一、新建虚拟机二、启动虚拟机三.配置静态ipcentos7isosx86_64镜像安装一、新建虚拟机准备好镜像文件配置相关设置新建虚拟机稍后安装，也可以选择安装程序光盘映像文件选择Linux CentOS7操作系统创建虚拟机名称和位置磁盘大小自拟定义硬件内存大小4g，新CD/DVD 添加镜像文件，配置并添加网络适配器（每次创建或复制虚拟机都需要生成MAC地址）二、启动虚拟机语言设置时区设置、硬盘确认、开启网关时区硬盘网关以
2020-06-27 22:51:31
323
原创 ES常用命令基础
ES常用命令及相关实例ES常用命令命令含义PUT增加/跟新UPDATE改变DELET删除GET查询POST查询/修改HEAD改变/删除ES数据模型ElasticSearch含义Index索引，由多个Document组成Type索引类型，6.x中仅支持一个，以后将逐渐被移除Document文档，由多个Field组成Field字段，包括字段名与字段值注：一个索引只能存一个类型
2020-06-23 23:05:40
3089
1
原创 ELK启动命令(ELK已安装完成)
目录一、ELK简介二、启动ELK(1)启动elasticsearch（es普通用户）(2)启动Head-master（root 用户）(3)启动kibana（root）一、ELK简介Elasticsearch（存储+检索+分析），简称ESLogstash（日志收集）Kibana（可视化）ELK安装配置二、启动ELK(1)启动elasticsearch（es普通用户）切换到elasticsearch-6.2.2目录 cd /opt/es622/进入es普通用户su es
2020-06-23 22:58:06
804
原创 初识Shell脚本（Linux）
一、概念Shell脚本是包含一系列命令的文本文件Shell读取此文件并执行命令二、应用场景重复性操作批量事务处理自动化运维定时任务执行三、初识Shell脚本注：#！默认执行命令，是一个约定的标记，它告诉系统这个脚本需要什么解释器来执行练习：到根目录创建一个目录cd /mkdir tempcd /temphelloworld创建关于shell文件（以.sh为文件扩展名）vi helloworld.sh 编写内容#!/bin/bash echo "hellpworl
2020-06-22 22:47:42
192
1
原创 ELK集群的搭建（Linux虚拟机）
一、复制虚拟机（也可以重复创建）专家模式中修改虚拟机名选中重新初始化所有网卡的MAC地址完成后启动二、修改主机名和主机列表1．网络地址（1）修改网络ip地址：vi /etc/sysconfig/network-script/ifcfg-enp0s3（2）重启网络：systemctl restart network2．主机名（1）修改显示主机名(临时)：hostnamectl set-hostname bigdata03（2）主机名修改为bigdata03：vi /etc/hostn
2020-06-20 00:45:38
332
原创 ElasticSearch(ES)安装配置（Linux系统下ELK安装）
ELK的安装配置一、ES简介ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。特点是：高可用，高扩展，是一种NOSQL的数据存储工具二、ES安装前的准备(elk安装包版本要求一致)下载：elasticsearch-6.2.2.tar.gzelasticsearch-head-master.zipkibana-6.2.2-linux-x86_64.tar.gzlogstash-6.2.2.tar.gznode-v8.9.1-linux-x6
2020-06-19 01:17:55
375
原创 关于Linux安装mysql、jdk、tomcat、SVN步骤
本文可能用到的包apache-tomcat-8.5.45.zip下载地址jdk-8u221-linux-x64.tar.gz提取码: tmxpMySQL-client-5.6.46-1.el7.x86_64.rpm提取码: wedyMySQL-server-5.6.46-1.el7.x86_64.rpm提取码: 6n7k一、安装mysql步骤：(1)上传rpm包(2)yum 下载并安装依赖包：net-tools、perl、autoconf yum install -y net-tools
2020-06-18 19:45:05
193
原创 Linux初学常用命令（系统：CentOS7）基于VirtualBox连接MobaXterm（二）
Linux常用命令1.echo 命令：可以打印变量的值echo $变量名（精确查找）echo $PATHecho $PWD 打印当前路径echo $_ 打印上次操作结果2.export 命令：在/etc/profile中配置是全局变量（需要重启或source来配置生效）export在命令行或在其他普通脚本中声明变量则在当前session立即生效export a=123不在配置文件中配置的是（局部变量）临时变量echo $a 查看，只能在当前连接内调用(不同连接方式无法查看)3.print
2020-06-18 18:34:48
408
原创 基于VirtualBox创建Linux 虚拟机（系统：CentOS7）连接MobaXterm
以下关于VirtualBox、MobaXterm、centos7isosx86_64镜像安装包地址VirtualBox-5.2.16-123759-Win.exe 提取码: j5mpMobaXtermcentos7isosx86_64镜像安装一、新建Linux虚拟机安装好Oracle VM VirtualBox，MobaXterm、准备镜像文件打开VirtualBox 新建虚拟机 取名、类型为Linux、 版本选Red Hat（64-bit）、内存大小4G创建虚拟硬盘 （自拟文件位置、文件
2020-06-17 22:38:21
869
原创 Linux初学常用命令（系统：CentOS7）基于VirtualBox连接MobaXterm
一、目录操作1.目录结构：1). /(系统根目录)2). ~(当前用户家目录)3). 其他普通目录2.切换目录：1).打开指定目录： cd /开头绝对路径、cd 相对路径、cd …/返回上一级2).返回家目录： cd ~或cd3).返回根目录： cd /3.清屏：clear或者ctrl+l4.查看当前绝对路径：pwd5.查看当前目录下的内容：ls :列出目录及文件名追加-a:显示所有文件及目录追加-r: 配合（-l) 将文件以相反次序显示(原定依英文字母次序)追加-l:详细
2020-06-17 01:38:02
1079
原创 mybatis：图书管理项目
mybatis：图书管理项目一、连接数据库，建立数据库及二、使用mybatis连接数据库,查询1)、搭建mybatis环境 jar包引入 mysql-connect-java-5.x.jar mybatis-3.2.2.jar tomcat 工具包 junit（单元测试）4.12+hamcrest-core-1.3 log4j jstl+standard 配置tomcat2)、mybatis配置文件
2020-06-16 02:26:09
375
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人