scala及spark
scala大数据编程
落叶1210
这个作者很懒,什么都没留下…
展开
-
spark基础概念
1、DAGDAG:字面概念是有效无环图,指的是一个无回路的有向图。如果有一个非有向无环图,且A点出发向B经C可回到A,形成一个环。将从C到A的边方向改为从A到C,则变成有向无环图。而在Spark中,由于计算过程很多时候会有先后顺序,受制于某些任务必须比另一些任务较早执行的限制,我们必须对任务进行排队,形成一个队列的任务集合,这个队列的任务集合就是DAG图,每一个定点就是一个任务,每一条边代表一种限制约束(Spark中的依赖关系)。 通过DAG,Spark可以对计算的流程进行优化,对于数据处原创 2020-07-13 18:01:24 · 456 阅读 · 0 评论 -
Scala数据类型与变量
一、scala数据类型Byte:8位有符号整数Short:16位有符号整数Int:32位有符号整数Long:64位有符号整数Float:32位单精度浮点数Double:64位双精度浮点数Char:16位无符号Unicode字符String:字符串类型Boolean:true或falseUnit:表示无值,主要用于无返回结果的方法的返回类型。Unit的实例值为...原创 2019-07-30 00:08:23 · 364 阅读 · 0 评论 -
scala实现hbase批量写入
一、编程环境:1、JDK1.82、scala2.11.73、hadoop3.0.0、hbase2.1.0、spark2.4.0操作系统:centos7.6,编译器使用idea2019二、实现步骤:1、添加hbase的jar包因为我这里使用使用的是cdh发行版本,hbase的jar包位置为:/opt/cloudera/parcels/CDH/lib/hbase/lib/...原创 2019-08-19 18:29:28 · 2100 阅读 · 1 评论 -
windows下hbase部署和使用
这里假定hadoop已经部署完成(详细步骤可参考上一篇文章),继续进行hbase的安装,过程如下:1、下载Hbase2.0.5,下载地址:http://archive.apache.org/dist/hbase/,这里注意hbase和hadoop的版本,hadoop2.7.x以上,hbase2.0以上。2、解压并添加环境变量,如下:增加系统变量:HBASE_HOME=E:\geot...原创 2019-05-25 22:53:55 · 5166 阅读 · 4 评论 -
windows下hadoop的部署和使用
本教程在windows10环境下安装配置hadoop+hbase+spark。一、下载压缩包:1、JavaJDK,1.8以上。2、Hadoop2.8.3,下载地址:http://archive.apache.org/dist/hadoop/core/Hadoop2.8.3windows环境下的第三方包:winutils,https://github.com/stevelough...原创 2019-05-25 22:52:26 · 10790 阅读 · 6 评论 -
hbase出现org.apache.hadoop.hbase.PleaseHoldException: Master is initializing错误解决
使用hbase创建namespace和table时提示该错误,完整的错误日志如下:按照网上的解决思路:1、设置主机之间的NTP时间同步。2、修改hbase-site.xml配置文件<property><name>hbase.rootdir</name><value>hdfs://node1:...原创 2019-05-16 21:58:43 · 32400 阅读 · 14 评论 -
阿里云ECS服务器Centos7.6环境下部署CDH6.1.大数据集群
阿里云购买同一地区下的三台服务器,操作系统为Centos7.6,内网地址分别是172.17.58.37 ,172.17.58.38, 172.17.58.39,对应的节点分别为node1,node2,node3,node1为主机。部署CDH6.1.0,详细部署过程如下:一、基础环境配置(全部节点)1、修改主机名#hostnamectl set-hostname node1#vi /...原创 2019-05-10 23:43:37 · 1787 阅读 · 1 评论