- 博客(15)
- 收藏
- 关注
原创 excal造数据
然后右边滑块到上面 shfit+鼠标左键 框选数字填充创建随机英文名 选中单元格 =char(97+rand()*26)&char(97+rand()*26)&char(97+rand()*26)&char(97+rand()*26)&char(97+rand()*26)&char(97+rand()*26)随机生成时间选择日期 – 然后日期类型 -确定在此单元格输入—>之后自动生成(单元格右下角-黑色十-双击左键)自己理解.
2020-07-16 11:55:53
137
原创 MapReduce原理
MapReduce原理及编程MapReduce介绍MapReduce的设计思想MapReduce特点MapReduce实现WordCountMapReduce执行过程Hadoop V1 MR引擎Hadoop V2 YARNHadoop及YARN架构Hadoop2 MR在Yarn上运行流程InputSplit(输入分片)Shuffle阶段Key&Value类型MapReduce编程模型InputFormat接口MapReduce介绍1.MapReduce是一个分布式计算框架它将大型数据操作作业
2020-07-02 07:37:16
483
原创 MapReduce编程-统计词频
MapReduce编程及原理-统计词频统计词频统计词频Map/** * KEYIN:输入的key类型 * VALUEIN:输入的value类型 * KEYOUT:输出的key类型 * VALUEOUT:输出的value类型 */public class WCMapper extends Mapper<LongWritable, Text,Text, IntWritable> { //创建输出的k,v对象 Text k = new Text(); IntW
2020-07-02 07:37:02
487
原创 Hadoop-Java进行HDFS文件操作
Java进行HDFS文件操作配置pom.xmlJava进行HDFS文件操作配置pom.xml中下载依赖包<dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> <scope>test</scope> </d
2020-07-01 07:04:57
199
原创 idea-maven创建quickstart以及打jar包
maven工程创建以及打jar包提前准备maven创建quickstart打jar包提前准备安装jdk,并配置环境安装maven,并修改setting文件网上找的源,放在这对标签中<mirror> <id>alimaven</id> <mirrorOf>central</mirrorOf> <name>aliyun maven</name> <
2020-06-30 07:24:35
457
原创 Hadoop-理论知识(大数据概况及Hadoop生态系统使用Java进行HDFS文件操作)
大数据概况及Hadoop生态系统以及使用Java进行HDFS文件操作一、什么是大数据?二、大数据特征三、分布式计算四、Hadoop是什么、为什么使用?五、Hadoop vs RDBMS六、Hadoop生态圈七、Zookeeper八、Hadoop架构九、HDFS特点十、HDFS CLI (命令行)十一、hdfs dfsadmin十二、HDFS角色十三、HDFS架构十四、HDFS副本机制十五、HDFS高可用十六、HDFS读文件和HDFS写文件十七、HDFS文件格式十八、使用Java进行HDFS文件操作一、什么
2020-06-29 23:53:45
498
原创 hadoop
hadoop提前说明Hadoop安装配置Hadoop安装配置1、配置hadoop/etc/hadoop/hadoop-env.sh2、配置hadoop/etc/hadoop/core-site.xml3、配置hadoop/etc/hadoop/hdfs-site.xml4、配置hadoop/etc/hadoop/mapred-site.xml5、配置hadoop/etc/hadoop/yarn-site.xml6、配置hadoop/etc/hadoop/slaves7、Hadoop环境变量配置配置是否成功h
2020-06-26 06:43:29
95
原创 Elasticsearch
ElasticsearchElasticsearch简介安装启动Elasticsearch简介基于Lucene的开源分布式搜索引擎,大幅降低了PB级海量数据存储、检索、分析门槛特点: 分布式实时文件存储、检索、分析 零配置、集群自动发现 索引自动分片、副本机制 RESTful风格接口 多数据源 自动搜索负载安装启动#切换至非root用户#前台运行,停止方式CTRL+C./opt/es/bin/elasticsearch #前台运行#后台运行,停止方式 kill -9 pid后
2020-06-24 07:40:01
96
原创 Linux-shell编程
Linux shell编程第一个shell脚本变量变量的定义及使用预定义变量和位置变量数值关系运算符、逻辑运算符和字符串运算符文件运算符test结构循环if、for、whileTMOUT函数参数shell循环打印图形三级目录第一个shell脚本vi test.sh 下面展示一些 代码。#!/bin/bashecho "Hello,shell,u'r very pretty."chmod +x test.sh 赋予执行权限运行几种方式:1、./test.sh2、sh test.sh
2020-06-22 21:29:16
331
原创 ELK集群的搭建
ELK集群的搭建提前说明修改主机名和主机列表提前说明在原先搭建elk的虚拟机上复制两个虚拟机(方便)正常是在搭建两个,一共3个修改主机名和主机列表打开3台已经搭建好elk的虚拟机,输入用户密码...
2020-06-22 00:24:13
103
原创 ELK的安装配置
ELK的安装配置提前说明一、ES简介二、ES安装前的准备(elk安装包版本要求一致)三、ELK的安装四、ES的配置五、Head-master及node的配置六、使用Head-master对ES进行测试七、kibana安装,配置和实例提前说明学习整理需要配置好的虚拟机一、ES简介ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。特点是:高可用,高扩展,是一种NOSQL的数据存储工具二、ES安装前的准备(elk安装包版本要求一致)下载:el
2020-06-18 22:13:54
191
原创 Linux-虚拟机Oracle VM VirtualBox 和 VMware Workstation创建
Linux学习2一、提前说明二、虚拟机配置moba连接虚拟机一、提前说明需要CentOS-7-x86_64-DVD-1908.iso光盘映像文件二、虚拟机配置双击打开vm,新建名称随意;类型选择Linux;版本:Red Hat(64-bit);内存大小随意;完事点创建。设置文件位置;文件大小看你心情;完事创建。点中刚创建的虚拟机,然后点设置。常规:基本:检查一下;高级:设置一下备份位置,我和之前虚拟机文件在一起系统:主板:内存看自己心情;软驱勾去掉,勾上网络存储:点击控制
2020-06-17 22:31:47
982
原创 Linux-Linux配置jdk、tomcat、MySQL
Linux安装配置jdk、tomcat、MySQL提前说明一、安装jdk包二、安装tomcat三、安装mysql三级目录提前说明需要linux版jdk安装包tomcat压缩包mysql的ROM文件下载地址:自己找一、安装jdk包文字描述:(1)上传jdk的安装包(2)tar -zxvf jdk-8u221-linux-x64.tar.gz -c 目标目录(解压安装)(3)配置环境变量 vi /etc/profile (JAVA_HOME、JRE_HOME、CLASSPATH、PATH
2020-06-17 22:31:19
211
原创 Linux-常用linux命令
Linux学习整理一、目录操作1、目录结构2、切换目录3、文件夹操作4、文件内容操作二、文件操作三、vi编辑器一、目录操作1、目录结构/系统根目录、~当前用户根目录、其他普通目录2、切换目录cd用法:cd 目录 /绝对路径(从根目录开始找);相对路径 ../返回上一级;直接cd会回到家目录清屏:clear命令或者Ctrl+L查看当前绝对路径:pwd查看当前目录下的内容:ls: -a -i -lll:以列的形式显示3、文件夹操作增:mkdir 目录路径删:rmdir 目录路径
2020-06-16 22:12:43
334
1
原创 图书管理
图书管理1、数据库设计1、图书管理需要以下几张表:用户表、用户类型表、图书表、图书类型表、图书借出归还表、图书购买记录表、历史记录表。先想到这么多,先做着,有问题之后再补充。2、开始进行建数据库,建表,插入数据,为了方便不是用索引,但要理清各个表之间的关系。2、后台设计1、配置1)创建java工程,勾上Web application;配置tomcat,导入jar包。jar包如下图:2)在Project Structure中,在工程目录下创建test和resources两文件夹,分别选上对应的Mark,如下图
2020-06-16 07:44:18
971
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人