Jaserok的博客

原创 scala中的映射Map

1.定长的Mapscala> val a = Map("name"->"ruoze","age"->30)a: scala.collection.immutable.Map[String,Any] = Map(name -> ruoze, age -> 30)查询scala> a("name")res0: Any = ruozescala> a...

原创 scala中的集合List

1.空集合scala> Nilres0: scala.collection.immutable.Nil.type = List()scala> val l2=1::Nill2: List[Int] = List(1)scala> val l3= | 2::l2l3: List[Int] = List(2, 1)scala> val l4=1...

原创 scala中的数组

1.定长数组定义一个数组scala> val a = new Array[String](5)a: Array[String] = Array(null, null, null, null, null)scala> val a = new Array[Int](5)a: Array[Int] = Array(0, 0, 0, 0, 0)scala> val a =...

原创 scala在控制台上的简单用法以及val和var的区别

1算术（+ ，-， *， /， %）等等scala> 4+5res17: Int = 9scala> 45+76res18: Int = 121scala> 88/4res19: Int = 22scala> 76*5res20: Int = 380scala> 786-43res21: Int = 743scala> 65%8...

原创 scala的安装与注意事项

1.scala 的网站地址(以scala2.11.8为例)https://www.scala-lang.org/download/2.在linux中下载[hadoop@hadoop000 ~]$ wget https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz -C ./software[hadoop@hadoop000...

原创 hadoop集群在web界面

1. 查看namenode(hdfs)第一台118.190.25.217:50070 第一台的公网ip ：118.190.25.217第二台114.215.40.196:50070 第二台的公网ip ：114.215.40.1962.查看resourcemanager(yarn）第一台118.190.25.217:8088第二台114.215.40.196：8080/cl...

原创 hadoop集群监控以及命令帮助

[hadoop@iZm5egvghvhhyj2r5iixetZ hadoop-2.6.0-cdh5.7.0]$ hdfs dfsadmin -report20/03/13 22:27:50 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java...

原创 hadoop集群关闭与启动

关闭hadoop集群:yarn–>hdfs第一台[hadoop@iZm5egvghvhhyj2r5iixetZ hadoop-2.6.0-cdh5.7.0]$ stop-yarn.shstopping yarn daemonsstopping resourcemanagerhadoop003: stopping nodemanagerhadoop001: stopping nod...

原创 hadoop集群启动

1.启动zk第一台# ```[hadoop@iZm5egvghvhhyj2r5iixetZ zookeeper-3.4.6]$ bin/zkServer.sh statusJMX enabled by defaultUsing config: /home/hadoop/app/zookeeper-3.4.6/bin/../conf/zoo.cfgError contacting ser...

原创 hadoop中的垃圾回收箱

在linux中，有些高危命令比如rm -frm -rf;但是在hadoop中，有一些机制来控制，即使发生高危命令，也可以挽救如下是hadoop官网中的一些配置core-default.xmlhdfs-default.xmlmapred-default.xmlyarn-default.xmlDeprecated Properties在core-default.xml中找到两个...

转载 MySQL的存储引擎

如何查看MySQL的当前存储引擎？一般情况下，mysql会默认提供多种存储引擎,你可以通过下面的查看:看你的mysql现在已提供什么存储引擎:mysql> show engines;看你的mysql当前默认的存储引擎:mysql> show variables like ‘%storage_engine%’;你要看某个表用了什么引擎(在显示结果里参数engine后面的就表示...

原创 MySQL中有关用户的创建

#要想创建用户，先创建一个库（先到root用户去创建）1，create database ruozedb;2,grant all privileges on ruozedb.* to ruoze@’%’ identified by ‘123456’;（对于任意的ip（%表示任意ip），ruoze这个用户对ruozedb所有的库表等等（.*表示ruozedb中所有的表，索引等），有所有的权限（...

原创 MySQL中修改登录密码的细节

##部署好MySQL好后,第一次是空帐户登录:#但是空帐户登录是危险的，所以要设置一下：1，user mysql;(先切到mysql数据库)2，show tables;(查看mysql库中的表，user表：管理账户和密码的)3，select user,password,host from user;（查看发现没秘密还有空账户）4，delete from user where user...

原创 再次部署MySQL遇到的坑

#和第一次一样拿到文档和视频做了一遍，但是到最后运行mysql的时候就是起不来如图：查看mysql的状态是正常的，反复又查了一次都是好的##然后就在想这句抛出来的句子，如图：就在想是不是哪里的配置有问题，果然，在配置/etc/my.cnf中找到了这句话，但我对mysql也不是很了解，具体不知道是干嘛的，我就随便改了个数，又运行了一下，还是不行，如图：最后干脆在配置文件/etc/my....

原创 linux中对sudo命令的理解

#比如我要切换用户（有三个用户root huhu jepson）##root是管理员用户，可以任意切换用户（输root用户的密码就行）##如果我用jepson用户切换huhu用户会切不过去，还要密码如图此时，我就必须用到sudo命令。###首先到root用户vi /etc/sudoers，编辑一句话 :jepson ALL=(root) NOPASSWD:ALL然后...

原创 Telnet安装

#安装telnet##在虚拟机中安装telnet时，用到yum -y install telnet.###之后在电脑上找到控制面板—>程序和功能—>找到启用或关闭windows功能—>勾选Telnet客户端就可以...

原创 Java中的随机数

如黄色箭头是随机数的默认情况是double类型范围【0.0-1.0）粉红色箭头是乘以10以后，变为int类型，范围【0-10）黑色箭头是乘以10再加1，还是int类型，范围【1-11）...

原创 Java中的键盘录入

如何实现键盘录入，人机交互

原创 玩转大数据之shell脚本二

1.if判断创建一个脚本写脚本时注意中括号前后有空格，==前后也有空格，最后要写fi结尾1.2例子（多了一个elif语句）then可以在末尾也可以在句首2.循环（for while）创建编辑三个循环（for for while）结果...

原创 大数据之玩转shell脚本一

1.创建1.1格式1.2打印一句话www.ruozedata.com到shell脚本（封装一句话到shell)1.3执行刚刚封装的shell脚本抛错，因为没权限，修改权限1.3.1用sh命令执行，不需要修改权限sh -x 是调试模式系统自带的命令2.定义变量及引用先创建定义：k=v (定义的时候=前后没有空格）rz=“www.ruozedata.com”...

原创 多台机器ssh互相信任关系

1.准备三台机器创建hadoop用户，su - hadoop切换到hadoop用户2.三台机器同时删除.ssh隐藏文件3.三台机器同时生成选取第一台机器再进去4.以第一台为主将其他两台的公要文件（id_rsa/pub)传给第一台scp传输在第一台看一下是否有5.把三个公要文件放到authorized_keys查看一下6.在以第一台为主把authorized_...

原创 Yarn HA (High availability)的架构

1.架构图注释：此图的ZKFC是线程.作为RM进程的一个线程而非独立的守护进程来独立存在什么是线程:线程 属于一个进程的里面的 除非特殊命令和工具才能看到 包含至少1个线程叙述:MStateStore:a.RM把job信息存在在ZK的/rmstore下，activeRM会向这个目录写app信息b.当active RM挂了，另外一个standby RM通过zkfc选举成功为act...

原创 HDFS HA (High availability) 架构

1.架构图叙述：HA是为了解决单点问题，通过JN集群共享状态，通过ZKFC 选举active，监控状态，自动备援。DN会同时向active standby nn发送心跳。ActiveNN：操作记录写到自己的editlog,同时JN集群也会写一份；接收 DN的心跳和blockreportStandbyNN: 接收JN集群的日志， 先是读取执行log操作（重演），使得自己...

原创 Sqoop

原创 Hive中的分区表

原创 Hive中的内部表和外部表（面试题）

内部表创建：table type : manage_tablelocation: /user/hive/warehouse/ruoze_emp等等在HDFS和Mysql上都有数据外部表创建CREATE EXTERNAL TABLE ruoze_emp_external (empno int,ename string,job string,mgr int,hiredate ...

原创 Hive的DDL

DDL: Data Definition Languagecreate delete drop alter 关键字开头的DatabaseHDFS上的一个文件夹默认自带一个default数据库默认数据库存放位置：/user/hive/warehouse位置是由参数决定的：hive.metastore.warehouse.dir在Hive里面查看指定配置参数的语法：se...

原创 218 11 2 早课

1.yarn的调优参数 已经整理写博客没?2.hive数据和元数据 分别存储在哪3.哪几种SQL触发mr job4.hive内部表和外部表区别5.外部分区表 静态 动态 什么区别6.拓展题: 桶表 去了解一下7.hive支持update delete吗8.sqoop 什么是导入 什么是导出9.sqoop 常用的到导入，整理了博客没10.sqoop支持 按写SQL，导吗11.s...

原创 2018 11 1 早课

1.mapreduce分为哪两个阶段2.谈谈你对这两个阶段的理解3.谈谈你对shuffle的理解4.运行wordcount案例跑在yarn上，你会不?5.mapreduce job跑在yarn的工作流程，简述6.谈谈对executor理解7.executor是运行在RM节点上吗?8.APP master是运行在RM节点上吗？9.yarn调优的，博客整理了没10.一般我们把dn和n...

原创 2018 10 31 早课

1.hadoop广义狭义2.hdfs哪三个进程3.yarn哪两个进程4.hdfs yarn默认web界面端口号5.假如让你们改web界面端口号，请问怎么修改，去哪里找6.hdfs的NN是做什么的?7.hdfs 副本放置策略 简述8.一个文件130M，副本数3，块大小设为128M，请问多少块，多少实际存储空间要求9.面试题:hdfs读写流程 ，自己博客整理了没?10.谈谈你对jp...

原创 2018 10 30 早课

1.简述mysql部署过程下载，解压，配置文件2.mysql哪些数据类型int double float char varchar3.增删改查语法insert into …value…delete from…where…update …set…where…select * from… (*表示所有选项）4.模糊查询 第二个字母slike ‘_s%’5.union 和 ...

原创 2018 10 29早课

1.查看当前目录命令pwd2.创建级联目录mkdir -p3.切换目录命令cd4.切换上一层目录和上一次cd …/ cd -5.切换到家目录cd cd ~6.ls -l等价于什么ll7.隐藏文件或文件夹什么标识开始，怎样查看以 . 开始 ll -a8.查看文件夹大小哪两个命令ll -h du -sh9.查看文件大小l...

原创 hive部署

1.下载wget http://archive-primary.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz2.解压3.配置坏境变量生效4.hive配置配置这个路径hive-site.xml配置的就是MySQL的相关信息拷贝mysql驱动到$HIVE_HOME/lib...

原创 Yarn的调优

1.数据本地化DN与NM在同一台机器上,减少损失,速度快DN与NM不在同一台机器上,要用网络io传递，有损失，比较慢48G内存:25%给Linux75%给大数据进程 : 36G内存DN: 4G （生产上4G)在哪些设置 重启生效 hadoop-env.sh默认的是1000m修改NM: 2G yarn-env.sh如何修改3.还剩: 36-...

原创 Yarn的调度器与vcore

1.调度器1.FIFO 先进先出2.Capacity 计算3、Fair 公平 （ 生产）2.core 与vcoreYARN自己引入的概念vcore以区别不同性能的物理coer

原创 Yarn的架构设计及容器（资源管理与调度)

1.MR JOB提交到Yarn的工作流程 =Yarn的架构设计=Yarn的工作流程（可参考博客mapreduce架构）2.ContainerContainer：容器 Yarn的资源的抽象，封装了某个节点的多维度资源,如内存 cpu，磁盘，网络当AM向RM申请资源时，RM为AM返回的资源就是使用container来标识...

原创 MapReduce架构 （面试题）

MR JOB提交到Yarn的工作流程Yarn的架构设计Yarn的工作流程1.用户向Yarn的RM提交应用程序，其中包括ApplicationMaster程序，启动ApplicationMaster命令等2.RM首先为该app程序分配第一个container容器，并与对应的NM通信，要求NM在这个Container中启动应用程序的application master3.App master首...

原创 HDFS的pid文件剖析和补充及垃圾回收站剖析

1.pid1.pid默认存储在/tmp目录下1.1如何修改存储路径2.pid内容就是进程号2.1jps启动的是/tmp目录下的hsperfdata_hadoop文件pid文件删除，不影响服务正常运行和用户的读写（但我们删除的是/tmp目录下的所以: stop–>关闭不掉(找不到pid号）start–>另起一个进程 ，形成进程混乱注意:/tmp目录...

原创 HDFS的写流程和读流程

1.写流程1.Client调用FileSystem.create(filePath),去与NN节点进行RPC通信，check该路径下的文件是否已经存在？是否有权限创建该文件？假如OK，就创建一个新的文件，但是不关联任何的block，返回一个FSDataOutputStream对象；假如不OK，就返回错误信息2.Client调用FSDataOutputStream对象的write方法，将第一个块...

原创 HDFS之 put命令权限问题剖析和文件系统常用命令

由上图可知，root用户会抛权限问题（Permission denied)把README.txt文件放到hadoop中的/ruozedata文件夹如何解决1.切换目录所需的用户 su - hadoop 生产中2./ruozedata 修改对应的用户和用户组 生产管控不严格 或者 测试学习2.常用命令[hadoop@hadoop0...