2020年06月_大数据fighting

原创在hadoop中使用javaAPI操作hdfs

一、大数据概况（1）大数据的特征（4V）Volume(大数据量)：90% 的数据是过去两年产生Velocity(速度快)：数据增长速度快，时效性高Variety(多样化)：数据种类和来源多样化结构化数据（表）、半结构化数据（json xml）、非结构化数据（视频音频日志文件）Value(价值密度低)：需挖掘获取数据价值（2）分布式计算：将大数据拆分成小数据进行计算二、Hadoop生态系统**Zookeeper：**是一个分布式应用程序协调服务解决分布式集群中应用系统的一致性问题

2020-06-30 17:30:39 649

原创如何正确快速在IDEA中创建maven工程

一下载安装配置maven(1)下载前往https://maven.apache.org/download.cgi下载最新版的Maven程序：（2）安装把下载的安装包解压到自己的路径中（3）配置环境变量在path环境变量新增maven的变量值：（自己maven解压后的路径的后一级）I:\maven\apache-maven-3.6.1-bin\apache-maven-3.6.1\bin（4）完成配置在cmd 下输入mvn -v 查看是否成功出现如下信息。表示安装成功。（5）

2020-06-30 15:17:49 1087

原创在centos07 VM 下的单机hadoop搭建

一、创建vm虚拟机点击文件新建虚拟机下一步：选择稍后安装操作系统下一步：选择LINUX和Centos7 64 位下一步：填写虚拟机名和存储的位置下一步：磁盘大小可以选择20G 拆分成多个文件下一步：点击自定义硬件配置内存改为4096M添加centos7镜像配置网络适配器（两个，需要自己添加一个）记得生成mac地址点击确定关闭完成配置完，可以启动虚拟机选择语言英文或中文然后begin配置时间选择如下：点击如下两个箭头所指第一个点进入然后

2020-06-30 14:17:59 285

原创 IDEA中如何正确快速打jar包（包括瘦包、胖包）

1、打开idea 如图所示：点击箭头所指的位置：2、选择你自己要打包的available element 后如图所示逐步点击即可进入如下页面点击ok打包完成来到主页面对新打的jar包 build选择刚打的新包build此时jar包完成在如下界面查看...

2020-06-30 08:46:38 2994

原创 DSL基础语法

ELK StackElasticsearch（存储+检索+分析），简称ESLogstash（日志收集）Kibana（可视化）以上软件的安装请看上几篇博客1、向es中插入数据使用head插件向ES中新增一条数据并进行数据浏览2、ES数据模型Index：索引，由多个Document组成Type：索引类型，6.x中仅支持一个，以后将逐渐被移除Document：文档，由多个Field组成Field：字段，包括字段名与字段值3、ES与关系型数据库的对比es中的索引相当于数据库类型相当于

2020-06-23 22:22:36 4625

原创 shell基本语句

shell基础语句shell变量可以直接为一个变量赋值如：a=123b=“start” （单引号、双引号、不用都可以）使用时 echo ${a}echo b也可把变量更改为只读readonly变量名删除变量：unset变量名局部变量：局部变量在脚本或者命令中定义，仅在当前shell中有效环境变量：所有的程序，包括shell启动的程序拼接字符串(可以用双引号，也可以用单引号)a="abc"b="www"c="wwww,"{b}也可把变量更改为只读 readonly 变量名删除变量： uns

2020-06-22 22:16:09 451

原创 ELK集群搭建

ELK集群的搭建一、复制虚拟机本集群使用的是3台虚拟机要复制时要把主虚拟机关掉，在进行以上图片中的操作。二、修改主机名和主机列表启动原虚拟机和复制的虚拟机输入用户名和密码，进入虚拟机1．网络地址（复制的虚拟机都要修改）（1）输入：vi /etc/sysconfig/network-script/ifcfg-enp0s3修改网络ip地址重启网络一定要记得及时生效修改的配置文件2．主机名（1）vi /etc/hostname 内容修改为test01(各个虚拟机都

2020-06-20 14:35:07 244

原创 Linux下ELK的安装与配置

ES简介ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。特点是：高可用，高扩展，是一种NOSQL的数据存储工具ES安装前的准备下载：可以自行到官网下载elasticsearch-6.2.2.tar.gzelasticsearch-head-master.zipkibana-6.2.2-linux-x86_64.tar.gzlogstash-6.2.2.tar.gznode-v8.9.1-linux-x64.tar.gz（1）先创建虚拟

2020-06-18 23:15:42 418

原创 Linux系统软件安装及项目发布

一、Linux系统软件安装Linux下的进程yum命令：搜索命令：yum search 命令名（有关联或者类似）下载并安装命令：yum install -y 应用名卸载：yum remove 应用名yum search java或者mysql （使用yum下载数据源）yum search ifconfig 查询主机地址yum install net-tools 下载网络工具创建虚拟机1、进入vm VirtualBox中点击新建选择一下类型和版本创建内存大小一般4G以上

2020-06-17 17:24:05 319

原创 Linux基础命令总结

一、 Linux 下的目录操作cd:切换目录操作cd / 切换到根目录下cd / 目录路径切换到根目录下的某个文件下cd 切换到当前用户的目录下（家目录下，在用户是root的情况下等同于 cd root）cd 目录路径切换到当前用户目录下的某个文件下cd …/ 返回到上一级目录pwd 查询当前的绝对路径二、Linux下对文件夹操作新建文件夹mkdir / 目录路径（在根目录下创建新的文件夹）mkdir 目录路径（在当前目录下创建新的文件夹）mkd

2020-06-16 23:18:04 291

qq_41704237的博客