- 博客(5)
- 收藏
- 关注
RSS订阅原创 使用阿里云搭建自用大数据集群（3台），含计费方式描述
自学大数据相关课程，需要3台虚拟机，之前是使用本地克隆虚拟机的方式，但是现在用mac比较多，而且需要上班，无法一直坐在开着虚拟机的win前进行操作学习，所以考虑使用搭建对应的集群。
2022-08-21 11:25:28
1706
1
原创 spark读取文件分区，textFile()的理解
textFile函数SparkContext.textFile(path,minPartitions)设置两个文件：1.txt 和 2.txt放在data目录下，读取data目录，结合实际分区理解最小分区数对最终分区个数的影响。1.txt文件内容如下1234562.txt文件内容如下78910测试代码val conf: SparkConf = new SparkConf().setAppName("test").setMaster("local")val sc = new S
2021-09-08 16:49:30
2844
1
原创 java中strip()和trim()的区别【转载】
Java在JDK11中的String类中引入strip方法，trim()和strip()功能类似，主要区别是:trim()可以去除字符串前后的半角空白字符strip()可以去除字符串前后的全角和半角空白字符半角和全角半角是我们多数人在打字的时候使用的状态，如果我们不去刻意调整半全角，它会一直伴随着我们，因为半角状态下，人们已经习惯了这种打字模式，半角状态下可以使用任何标点符号，而且对于空格也没有特殊限制。**全角占两个字节，半角占一个字节。**半角全角主要是针对标点符号来说的，全角标点占两个字节，
2021-03-01 19:20:34
967
原创 Phoenix下载、安装、配置（附hadoop、hbase版本对应关系）
目录Phoenix简介版本对应关系Hadoop与Hbase版本对应关系Hbase与Phoenix版本对应关系我的版本phoenix安装下载解压复制jar包到hbase/lib目录下拷贝配置文件修改配置文件重启hbase启动phoenix踩过的坑Phoenix简介Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表，插入数据和对HBase数据进行查询。Phoenix完全使用Java编写，作为HBase内嵌的JDBC驱动。Phoenix查
2020-12-13 11:04:52
11098
7
原创 第二章 从Hadoop框架讨论大数据生态
1 Hadoop三大发行版本Hadoop三大发行版本：ApacheClouderaHortonworksApache版本最原始（最基础）的版本，对于入门学习最好。Cloudera在大型互联网企业中用的较多。Hortonworks文档较好。Apache Hadoop官网地址：http://hadoop.apache.org/releases.html下载地址：https://archive.apache.org/dist/hadoop/common/Cloudera Hadoop官
2020-10-17 17:18:37
562
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人