tmh1995的博客

原创 Numpy中的ndarray练习

创建一个如下形状的ndarray，使用arange()方法实现.[[1,2],[3,4],[5,6]]In [4]:import numpy as nps = np.arange(1,7)s.shape=(3,2)sOut[4]:array([[1, 2], [3, 4], [5, 6]])

原创 Spark在虚拟机上安装及环境配置

1.将压缩包通过xftp放入/opt中2.cd /opt3.tar -zxvf spark-2.3.4-bin-hadoop2.6.tgz4.mv spark-2.3.4-bin-hadoop2.6 soft/spark2345.cd soft/spark234/conf/6.cp spark-env.sh.template spark-env.sh7.cp slaves.template slavesslaves中设置master节点和worker节点(主，从)8.vi spark-env

原创 HDFS之WordCount

1.pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.

原创 Yarn工作原理自我总结

如图所示1.由Client(客户端)提交一个作业请求给ResourceManager(资源管理器)2.ResourceManager生成一个ApplicationMaster(程序管理员)，并根据Node Status(状态)在空闲的NodeManager节点上运行ApplicationMaster3.ApplicationMaster向ResourceManager注册其信息，并发送资源申请报告，然后ResourceManager会为各个作业申请Container(容器)，每个Container被.

原创 Hive和Mysql上的导入和导出

hive导入和导出导出到hdfs上export table xxx to ‘/hdfs地址’从hdfs上导入import table xxx from ‘/hdfs地址’mysql导入和导出从数据库中导出表到文件夹中mysqldump -u[用户名] -p[密码] mydemo customs>abc从本地文件夹中导入到数据库中mysql -u[用户名] -p[密码] test<abc...

原创 zeppelin在虚拟机上安装，内含下载地址

前置安装：hadoop和jdkhadoop安装教学地址jdk安装教学地址下载zeppelin安装包选择zeppelin-0.8.1-bin-all.tgz1.解压[root@tmh opt]# tar -zxf zeppelin-0.8.1-bin-all.tgz2.移动到自定义文件夹[root@tmh opt]# mv zeppelin-0.8.1-bin-all soft/zeppelin0813.进入conf文件夹中[root@tmh opt]# cd soft/zeppelin0

原创 虚拟机上JDK环境配置，内涵下载地址

将jdk-8u111-linux-x64.tar.gz通过xftp放入/opt/中mkdir -p /opt/soft/jdk180tar -zxvf /opt/jdk-8u111-linux-x64.tar.gz -C /opt/soft/jdk180vi /etc/profileexport JAVA_HOME=/opt/soft/jdk180export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOM

原创 Hive在虚拟机上的环境搭建，内含下载地址

前置安装了hadoop2.7.3version：zookeeper-3.4.5-cdh5.14.2.tar.gzhive-1.1.0-cdh5.14.2.tar.gz1.将两个压缩包放到虚拟机的文件夹中，通常放到/opt/下2.tar -zxf zookeeper-3.4.5-cdh5.14.2.tar.gz3.tar -zxf hive-1.1.0-cdh5.14.2.tar.gz4.mv zookeeper-3.4.5-cdh5.14.2 soft/zk3455.mv hive-1.1.

原创 MapReduce流程图

原创 在windows系统上实现MapReduce的Word Count

这里使用的hadoop版本为：hadoop-2.6.0-cdh5.14.2.tar.gz附带2个对应版本的文件：hadoop.dllwinutils.exe一.配置环境如上图所示进行配置。二.将两个文件放到对应路径下将hadoop.dll放到C:\Windows\System32目录下将winutils.exe放到F:\hadoop-2.6.0-cdh5.14.2\bin目录下三.创建maven工程启动一个普通的maven工程，maven-quickstart即可。1.先配置po

原创 HDFS读写文件

HDFS读写文件HDFS读文件:　　首先,由Client下达命令交给Distributed File System系统翻译成Linux命令,然后把命令发送给NameNode,NameNode去搜索fsimage和edit logs,搜到以后把文件的块地址(get block locations)返回给Client,Client到对应的DataNode地址去读信息,优先级为：主副本>同机架副本>相邻机架副本.最后返回一个FSDataInputStream对象给Client,然后close这个流

原创 HDFS副本机制

Block：数据块　HDFS最基本的存储单元　默认块大小为128M(2.x)副本机制作用：避免数据丢失副本数默认为３存放机制：　☆一个在本地机架节点　☆一个在同一个机架不同节点　☆一个在不同机架的节点...

原创 NameNode和Secondary NameNode的关系

NameNode:　　NameNode把改动写到文件系统edit logs上　　在启动的时候读取fsimage(1)并跟edit logs合并Secondary NameNode:　　定时查询NameNode上的edit logs　　把edit logs改动更新到fsimage(2)上并产生新的镜像文件　　将镜像文件fsimage(2)拷贝回到NameNode上　　　　本博客仅供自己理解所用...

原创 Hadoop基础知识

1、4个V[Volume]–大数据量：90%数据是过去2年产生[Velocity]–速度快：数据增长速度快，时效性高[Variety]—多样性：数据种类和来源多样化[Value]-----价值密度低：需挖掘获取数据价值2、3个核心Hadoop是一个开源分布式系统架构　1、分布式文件系统HDFS——解决大数据存储(Hadoop Distributed File System)　2、分布式计算框架MapReduce——解决大数据计算　3、分布式资源管理系统YARN(Yet Anoter R

原创 Hadoop安装教程，内含下载地址

版本：hadoop-2.6.0-cdh5.14.2.tar这里博主喜欢将文件放到/opt/中1、tar -zxf hadoop-2.6.0-cdh5.14.2.tar2、cd soft/hadoop260/etc/hadoop通过echo $JAVA_HOME/查看jdk路径这里为/opt/soft/jdk180/3、vi hadoop-env.sh将如图所示路径改成jdk的路径，保存并退出4、vi core-site.xml在如图所示位置添加以下四段代码 <property&

原创 elasticsearch建表相关操作

这里通过POSTMAN建表先在虚拟机上启动数据库一般在bin/目录中1、./elasticsearch2、npm run start建表PUT http://192.168.56.99:9200/[数据库名]/_mapping/[表名]在Body => raw中操作，将Text改成Json{ "settings":{ "index":{ "number_of_shards": 3, "number_of_replicas": 1 } }, "mappings"

原创 冒泡、快速排序练习

public class MyDemo{ private int[] arr; private int size; public MyDemo(int size){ this.size=size; this.arr=new int[size]; Random rd = new Random(); for(int i=0;i<size;i++){ this.arr[i]=rd.nextInt(100); } } public void show(){ for(i

原创 springboot流程

首先，在虚拟机上通过mysql -uroot -p进入mysql操作界面create database mydemouse mydemo简单的完成表的创建create table userinfo(userid int primary key not null auto_increment,username varchar(20) not null,password varchar(20) not null);给表中添加数据insert into userinfo(usernam

原创 elastic安装教程，内含下载地址

通过xftp将 elasticsearch-header-master.zipelasticsearch-6.2.2.tar.gz放入/opt/文件夹中(注：这里博主喜欢把文件放在/opt/里).解压tar -zxf elasticsearch-6.2.2.tar.gz 移动到指定文件夹mv elasticsearch-6.2.2 soft/elasticsearch622 新增用户useradd [用户名]设置密码passwd [用户名]...

原创 nodejs安装，内含下载地址

考虑需要安装elasticsearch-head作为web展示，首先安装nodejs，主要是利用npmPS:博主喜欢将文件放在/opt/下1.cd /opt/2.wget https://npm.taobao.org/mirrors/node/v11.0.0/node-v11.0.0.tar.gz(如果没有wget工具先yum install -y wget)注意：此处若下载有误建议自行寻找，然后通过xftp放入文件夹中3.tar -zxvf node-v11.0.0.tar.gz4.cd n

原创 Linux常用命令

初学Linux----常用命令分享Linux目录操作命令pwd：查看当前所在目录cd：打开目录ls -a：查看目录下文件ll：以列的方式显示目录下的文件列表mkdir：创建文件目录rm -rf：删除文件或目录rm ri：删除文件前询问客户cp：复制文件命令mv：移动文件或修改文件名举例：在用户主目录下创建 test/java/javaEE/文件目录mkdir -p test/java/javaEELinux文件操作命令head：从文件开始显示文件内容head -n：显示指定文件