大数据
文章平均质量分 63
一颗滚石w
这个作者很懒,什么都没留下…
展开
-
使用阿里云搭建自用大数据集群(3台),含计费方式描述
自学大数据相关课程,需要3台虚拟机,之前是使用本地克隆虚拟机的方式,但是现在用mac比较多,而且需要上班,无法一直坐在开着虚拟机的win前进行操作学习,所以考虑使用搭建对应的集群。原创 2022-08-21 11:25:28 · 1519 阅读 · 1 评论 -
spark读取文件分区,textFile()的理解
textFile函数SparkContext.textFile(path,minPartitions)设置两个文件:1.txt 和 2.txt放在data目录下,读取data目录,结合实际分区理解最小分区数对最终分区个数的影响。1.txt文件内容如下1234562.txt文件内容如下78910测试代码val conf: SparkConf = new SparkConf().setAppName("test").setMaster("local")val sc = new S原创 2021-09-08 16:49:30 · 2728 阅读 · 1 评论 -
Phoenix下载、安装、配置(附hadoop、hbase版本对应关系)
目录Phoenix简介版本对应关系Hadoop与Hbase版本对应关系Hbase与Phoenix版本对应关系我的版本phoenix安装下载解压复制jar包到hbase/lib目录下拷贝配置文件修改配置文件重启hbase启动phoenix踩过的坑Phoenix简介Phoenix是构建在HBase上的一个SQL层,能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表,插入数据和对HBase数据进行查询。Phoenix完全使用Java编写,作为HBase内嵌的JDBC驱动。Phoenix查原创 2020-12-13 11:04:52 · 9978 阅读 · 7 评论 -
第二章 从Hadoop框架讨论大数据生态
1 Hadoop三大发行版本Hadoop三大发行版本:ApacheClouderaHortonworksApache版本最原始(最基础)的版本,对于入门学习最好。Cloudera在大型互联网企业中用的较多。Hortonworks文档较好。Apache Hadoop官网地址:http://hadoop.apache.org/releases.html下载地址:https://archive.apache.org/dist/hadoop/common/Cloudera Hadoop官原创 2020-10-17 17:18:37 · 527 阅读 · 0 评论