- 博客(20)
- 收藏
- 关注
RSS订阅原创 scala的基础语法之变量
1、类介绍我们在new scala类的时候，这里分为Class和Object两大类（idea2019.1版本，其他新版本应该是四种，case Class和case Object，不过没关系，这里想要使用case的直接在前面写case即可）。def是define，是对方法的修饰或者叫定义，Unit代表没有返回值。2、变量2.1数据类型主要分为两个大的数据类型，AnyVal（value 值数据类型）和AnyRef（reference引用数据类型），这和java中的数据类别一致。...
2020-09-07 08:51:05
203
原创 scala简介与安装
一、简介1、scala是啥？Scala用一种简洁的高级语言将面向对象和函数式编程结合在一起。 Scala的静态类型有助于避免复杂应用程序中的错误，其JVM和JavaScript运行时使您能够轻松访问庞大的库生态系统来构建高性能系统。2、为啥要学scala？scala相比java语言有很多的优点（1）简洁优雅。scala使用一行代码就能实现之前java的十几行代码的功能。代码量减少，所以简洁而且优雅。（2）高效。他不仅开发效率高，而且是静态编译的，所以速度较快。（3）更好的和H
2020-09-06 21:44:15
210
原创 关于虚拟机（CentOS 7 ）远程连接超时（SecureCRT 软件）、网络服务启动失败的解决方法
问题：开启虚拟机后，用CRT软件连接虚拟机发现，总是连接超时（connectiontimeout），返回VM，尝试ping一下百度，发现ping不通，然而在windows上ping百度可以ping通，并且在虚拟机上直接ping百度的ip，发现也ping不通，那么就排除了域名解析出问题的可能。问题就可以确定为虚拟机无法连接外网。解决方法：输入systemctlstatusnetwork.service检查一下网络服务状态，发现激活失败上网查询之后，发现可能与系统自带的Networ...
2020-09-01 11:31:53
2120
原创 Hbase的shell客户端补充（三）
1.namespace2.DDLalter 修改表 alter_async alter_status clone_table_schema 克隆表结构 create 创建表 describe 列出表详情 disable 禁用表 disa...
2020-08-29 19:58:57
289
原创 关于Hbase的shell客户端list_namespace时出现Master is initializing问题以及一键关闭Hbase命令等待超时的解决方法
问题出现原因：可能由于集群的机器时间不同步时，盲目的开启hbase造成的。此外，集群机器时间不同步，还会导致集群开启异常，比如，开启的节点个数变少以及Hmaster节点启动一段时间后自动关闭等问题。hbase(main):001:0> list_namespaceNAMESPACE ERROR: org.a...
2020-08-28 23:59:47
1688
原创 Hbase的简介和安装（一）
一、Hbase简介1.Hbase是什么Hbase是一个分布式的、列式存储的数据库。HBase在Hadoop之上提供了类似于Bigtable的能力，是Apache的Hadoop项目的子项目，用于存储海量的结构化或者半结构、非结构化的数据。HBase是一个高可靠性、高性能(快)、面向列、可伸缩的分布式数据库系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化和非结构化数据存储集群。高可靠性：分布式的数据库 , 存储的数据是安全的, 集群对外服务是可靠 高性能：处理数据的速度.
2020-08-28 23:57:39
253
原创 HBase的shell客户端及常用命令介绍（二）
1.开启客户端[root@linux01 /]# hbase shellSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/opt/apps/hadoop-3.2.1/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J: Found ...
2020-08-27 21:12:45
587
原创 HDFS原理加强与其特点
1 写数据流程（上传）（1）客户端请求namenode上传文件（大小、副本个数、物理块大小）（2）namenode进行检查、校验（权限、存储容量）后，生成该文件对应的元数据，并返回OK给客户端（3）客户端请求上传第一块数据，namenode将第一块的元数据信息返回给客户端（4） 客户端和元数据信息中的3台机器建立连接通道（5）通道建立后，3台机器返回OK给客户端（6）客户端本地读取第一块数据的内容，并将其转为分布式输出流(DistributeOutputStream)——封装为数据包，提高效率
2020-08-22 23:26:41
136
原创 HDFS的java客户端
1、首先创建一个maven项目，在pom.xml中添加一些必要的依赖<dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>3.2.1</version> </depende
2020-08-18 20:15:43
233
原创 HDFS的shell客户端以及命令介绍
1、hdfs的shell客户端我们曾在bin>hadoop namenode-format对namenode进行过初始化。输入hdfs ，会展示一些命令。hdfs dfs展示一些具体的操作hdfs文件系统的命令，大部分命令和linux的一致，多出来的-get、-put分别是下载和上传。2、hdfs dfs -mkdir /data2在hdfs文件系统根目录下 / 创建一个data2文件。输入linux01:9870打开页面。3、hdfs dfs -put jdk-8u141-li
2020-08-18 11:34:16
245
原创 HDFS安装、配置与节点的一键启停
1、上传文件alt+p或者rz将文件hadoop安装包上传至/opt/apps/下。2、解压压缩包hadoopvar -zxf hadoop包名3、hadoop目录介绍log日志，是在使用后自动创建的。4、修改配置文件配置文件的位置：ls /opt/apps/hadoop-3.2.1/etc/hadoop4.1 vi hadoop-env.sh进入文件后，输入":set nu"显示行号，在54行处，将#删除，把JAVA_HOME变量的绝对路径，这是配置Hadoop使用的ja
2020-08-16 23:57:55
487
原创 linux的集群搭建以及免密连接
1、快照顾名思义，类似于我们日常生活中的照相。他是对虚拟机当前状态进行保存，以便于后续的使用过程中，如果机器崩溃，可以通过快照来将机器恢复至我们现在的状态，避免重头再来。在拍摄快照时，建议名称写当前日期，描述的话写当前状态下机器，安装了一些什么软件，这样我们恢复的时候就可以清楚的指导机器的软件安装的情况。拍摄完成后，快照管理器中将会有我们的记录，我们可以对之前旧的快照进行管理。建议定期的对机器进行快照。2、克隆和生物上的克隆一样，就是将机器当前的所有数据进行克隆，形成一个一模一样的虚拟机。。当
2020-08-15 14:21:29
171
原创 关于Hadoop在java客户端进行下载时的异常java.io.FileNotFoundException: Hadoop home directory is no existed的解决办法
1、将hadoop安装包解压至windows中的文件下2、在windows的环境变量中，新建HADOOP_HOME环境变量，路径=hadoop的解压位置bin的上一级目录。3、在环境变量Path中添加%HADOOP_HOME%\bin;一路点击确定后退出。这类似于JAVA_HOME的配置。4、重启电脑，重启集群，重启idea，如果还是同样的错误，就将hadoop/bin/的hadoop.dll复制到C:\Windows\System32下，再次重启idea就行了。...
2020-08-14 14:33:59
1459
原创 hadoop的概念及特点
1、什么是Hadoop？Hadoop，简单而言，就是一个用于处理海量数据的分布式框架。他是将一堆海量的数据分发至不同的电脑上进行存储和处理分析，这样就避免了因数据量太大，导致在一台电脑处理数据时出现宕机或者崩溃的情况，不仅提高了海量数据的处理速度，还具有极高的安全性。他解决了两大难题：海量数据的存储和海量数据的处理分析，这也构成了hadoop的两大核心：HDFS和MapReduce。2、Hadoop的特点（1）高可靠性：在处理数据时，Hadoop往往会将数据备份多份分发至不同的机器进行保存，这样就避
2020-08-13 22:48:10
9525
原创 linux安装软件命令与上传下载(rz sz)
1、yum类似maven，自动解决软件之间的依赖问题，是最为常用的软件安装命令。yum list 列出支持的软件安装包yum list | grep 软件名 搜索支持的某软件yum -y install 软件名 安装某软件，-y=yes2、net-tools下载yum -y install net-tools 下载了该工具包后，就可以使用netstat命令了，用于查看网络端口netstat -nltp | grep 8080 查看tomcat默认端口n：数字l：list列表展示
2020-08-11 22:54:00
1136
原创 Linux虚拟局域网的网络配置以及域名映射
1.基本概念ip地址： 每台电脑都有一个惟一的ip地址，用于在网络上进行通信，ip地址可以称为电脑的唯一标识。端口： 一个端口可以运行一个程序，但一个程序可以部署在多个端口上。局域网的通信原理： 在局域网中，同一个网段下的不同机器可以互相通信，ip不能重复。网关（gateway）： 在局域网中，交换机的ip地址被称为网关，这里的是192.168.xxx.xxx子网掩码（netmask）：用于计算网段 , 网关的ip&子网掩码 (默认为255.255.0.0 / 255.255.25
2020-08-11 16:45:16
4376
2
转载 Contos 7安装mysql
https://blog.csdn.net/qq_37933018/article/details/1069481371. yum list列出所有可安装的软件包2. yum -y install wget下载wget -y代表yeswget是一款免费开放源代码下载工具,可以运行在Unix和Linux操作系统下3. wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm在wget下找到
2020-08-11 00:03:26
99
原创 linux——jdk安装及配置流程
1.新建一个文件夹software用于存放jdk2. 按alt+p进入到sftp(Secret File Transfer Protocol 安全文件传送协议)模式下，3.将jdk压缩包拉进来，它会默认将压缩包放置/root/下4.将压缩包解压至software文件夹下5.解压后查看是否在software文件下6.设置环境变量，vi /etc/profile 进入配置文件下，在命令模式下（千万别按i进入编辑模式，不是insert模式），按G（大写）跳转至文件最后一行，输入o（小写
2020-08-10 23:13:24
115
原创 Linux文件目录和常用命令（补充）
一、文件夹简介以：-开头的是文件d开头的是文件夹l开头的是链接，也就是快捷方式bin(binaries)是存放执行命令的文件夹boot是启动文件dev(device)是设备文件etc是系统管理和配置文件home是用来存放用户的media是多媒体mnt(mount)是挂载点...
2020-08-10 19:13:18
197
原创 Linux基本命令
Linux系统的基本命令一、Linux系统的特点稳定性好安全性高支持多用户，并且权限控制严格相比Windows系统，资源占用少开源免费没有桌面，方便部署有自己的文件系统基于以上优点，Linux系统一般作为企业开发时服务器的首选系统。二、Linux的基本命令1.cdcd——change directory——进入到某目录下eg：cd a ——表示进入a目录下cd / ——代表进入当前所在文件的根目录下cd . ./——进入上级目录cd - ——进入上次文件所在目
2020-08-09 22:04:58
185
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人