大数据学习
默默谦行
这个作者很懒,什么都没留下…
展开
-
安装Spark,搭建伪分布式和完全分布式(3节点)
安装Spark,搭建伪分布式和完全分布式(3节点)搭建伪分布式搭建完全分布式搭建伪分布式解压缩文件tar -zxvf /opt/software/spark-2.1.0-bin-hadoop2.7.tgz -C /opt/module/因为spark和hadoop的目录结构相似,都有bin和sbin目录,为了防止冲突,就不配合环境变量了进入conf目录,对配置文件重命名mv spa...原创 2020-02-29 17:00:09 · 380 阅读 · 0 评论 -
scala基础内容 函数式编程与基础函数,匿名函数,递归练习
scala基础内容 函数式编程与基础函数,匿名函数,递归练习函数式编程普通的函数有参,有返回值无参,无返回值有参,无返回值scala至简原则匿名函数可变参数默认参数函数的高级使用函数科里化闭包函数作为函数的参数递归函数式编程scala是完全面向函数式编程语言函数式编程最关心的是问题的解决方案(封装的功能),重点在于函数的功能,函数的入参和函数的出参函数式编程完全就是依托于函数而实现的sc...原创 2019-12-28 21:00:29 · 272 阅读 · 0 评论 -
scala基础内容 学习scala的原因,scala的特点,scala和java以及jvm的关系,如何快速的学习并掌握scala
scala基础内容 学习scala的原因,scala的特点,scala和java以及jvm的关系,如何快速的学习并掌握scala学习scala的原因scala语言的特点scala和java以及jvm的关系java代码运行(.java)scala融入java:Scala代码运行:(.scala)scala和java以及jvm的关系分析图(重点)如何快速的学习并掌握scala学习scala的原因学...原创 2019-12-17 22:51:26 · 542 阅读 · 0 评论 -
scala基础内容 函数,懒值,数组
scala基础内容 函数,懒值,数组函数(def)函数参数的求值策略Scala中函数参数的类型默认参数代名参数可变参数懒值(lazy)对比:使用lazy读取一个不存在的文件数组(Array)数组创建之后的默认值未声明数据类型和已声明数据类型变长数组(ArrayBuffer)使用for,foreach遍历数组数组常见操作多维数组函数(def)/*def 定义函数的关键字name 形参Str...原创 2019-12-17 08:05:03 · 159 阅读 · 0 评论 -
redis安装,设置后台启动与简单客户端应用
redis安装,设置后台启动与简单客户端应用redis安装1.上传redis安装包,并解压2.进入redis文件夹3.安装,编译4.执行yum语句5.执行make install6.进入/usr/local/bin/目录查看redis文件7.在任意目录下,执行redis-server,出现下面的内容,即为安装成功设置redis在后台启动1.备份redis.conf文件到其他目录下首先在redis文...原创 2019-12-15 10:37:40 · 130 阅读 · 0 评论 -
linux下 zookeeper-3.4.10安装,命令行基础命令,过半机制,奇数原则
linux下 zookeeper-3.4.10安装,命令行基础命令,过半机制,奇数原则zookeeper安装基础命令启动zookeeper(集群,最少两个)查看当前节点的zk状态启动zk客户端显示所有操作命令:help普通创建(永久节点):create获得节点的值:get path [watch]设置节点的具体值:set使用 ls 命令来查看当前znode中所包含的内容删除节点:delete和 递...原创 2019-12-10 21:52:06 · 248 阅读 · 0 评论 -
hbase的实现原理和运行机制
hbase的实现原理和运行机制hbase的实现原理Hbase的功能组件库函数:HMaster:HRegionServerHRegion定位RegionHbase的运行机制Hbase的架构缓存刷新机制StoreFile合并与分割写入数据读取数据国家开放大学(原名沈阳电大)hbase的实现原理Hbase的功能组件库函数:一般用于连接每个客户端,客户端能够利用库函数访问Hbase的数据HMa...原创 2019-12-08 16:25:57 · 1911 阅读 · 3 评论 -
大数据学习之 hbase简单应用
大数据学习之 hbase简单应用1.进入客户端:bin/hbase shell2.查看帮助文档:help3.查看当前数据库中有哪些表:list4.ctrl+Backspace(←)是删除光标前面的字符5.创建表:create6.数据插入:put6.1数据插入6.2更新字段(列)7.查看数据:scan7.1查看所有数据:scan 'student'7.2根据Rowkey来查看数据:8.查看数据:ge...原创 2019-11-28 22:37:51 · 168 阅读 · 0 评论 -
大数据学习之 hbase1.3.1安装
大数据学习之 hbase1.3.1安装1.准备工作,启动ZK和hadoop2.解压缩habse3.修改配置文件进入conf目录hbase-env.sh文件,将46-47行注释,并增加JAVA_HOME配置hbase-site.xml文件regionservers文件,将文件中的localhost改为自己的集群中所有虚拟机的ip4.配置环境变量5.HBase远程scp到其他集群6.启动之前,查看ha...原创 2019-11-28 22:05:25 · 279 阅读 · 0 评论 -
linux之zookeeper-3.4.10安装,命令行命令简单使用及JAVA API的简单实现
zookeeper-3.4.10在Linux系统安装,命令行命令简单使用及JAVA API的简单实现zookeeper-3.4.10在linux上安装步骤命令行操作1.启动zookeeper(集群,最少两个)2.启动zk客户端常用命令:JAVA API的简单应用pom.xmlAPI 简单应用分布式秒杀pom.xmlzookeeper-3.4.10在linux上安装步骤准备工作,将zookeep...原创 2019-11-07 21:29:46 · 286 阅读 · 0 评论 -
大数据学习之 MapReduce基础及第一个程序 WordCount
大数据学习之四 MApReduce基础及第一个程序 WordCountMapReduce定义优缺点MapReduce编程思想MapReduce进程编码规范Hadoop序列化为什么要序列化?什么是序列化?为什么不用Java的序列化?为什么序列化对Hadoop很重要?常用数据序列化类型MapReduce工作流程shuffle流程详解WordCount代码(带有Partitoner分区操作)Wordco...原创 2019-11-03 20:17:17 · 285 阅读 · 0 评论 -
大数据学习之四 HDFS流程图解,网络拓扑,机架感知
大数据学习之四 HDFS流程图解,网络拓扑,机架感知HDFS读操作HDFS写操作网络拓步机架感知(副本节点选择)HDFS读操作流程解析:客户端(client)向NameNode请求上传文件,NameNode检查目标文件是否已经存在,父目录是否已经存在。NameNode返回是否可以上传文件。客户端请求第一个block(块,默认128MB)要上传到哪几个DataNode上。NameN...原创 2019-12-10 20:32:40 · 232 阅读 · 0 评论 -
大数据学习之 HDFS IO API的简单使用
大数据学习之三点五 HDFS IO API的简单使用以及四大机制和上传下载HDFSIO流 API练习HDFS四大机制1、心跳机制2、机架策略——副本存放策略3、负载均衡4、安全模式HDFS写入与下载HDFSIO流 API练习import java.io.FileOutputStream;import java.io.FileInputStream;import org.apache.had...原创 2019-10-27 21:08:03 · 290 阅读 · 0 评论 -
大数据学习之 HDFS API的简单使用
HDFS API的简单使用需要配置的pom.XML文件需要在****中添加如下内容 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> ...原创 2019-10-20 15:41:57 · 312 阅读 · 0 评论 -
大数据学习之 安装jdk
安装jdk卸载现有jdk查询是否安装java软件rpm -qa|grep java如果安装的版本低于1.7,卸载该jdkrpm -e 软件包名字安装jdk在/opt目录下创建两个子文件mkdir /opt/modulemkdir /opt/software解压jdk到/opt/module目录下tar -zxvf jdk-8u144-linux-x64.tar.gz -C /...原创 2019-10-19 15:58:18 · 195 阅读 · 0 评论 -
大数据学习之 搭建伪分布式和完全分布式
搭建伪分布式和完全分布式搭建伪分布式1.在安装的Hadoop目录下的etc/hadoop路径下,找到core-site.xml文件2.在中写入下面的内容代码如下,需要根据自身linux情况进行更改主机名和hadoop版本号:<property> <name>fs.defaultFS</name> <value>hdfs...原创 2019-10-19 15:51:45 · 1657 阅读 · 1 评论 -
大数据学习之 Linux基础配置
Linux基础配置第一步:防火墙关闭显示防火墙systemctl status firewalld.service显示结果如果是running,代表防火墙是开启状态,就需要关闭防火墙关闭防火墙systemctl stop firewalld.service运行完后再执行一遍systemctl status firewalld.service命令,当状态为dead时就代表防火墙已经关...原创 2019-10-10 22:09:16 · 105 阅读 · 0 评论