- 博客(8)
- 收藏
- 关注
RSS订阅原创 ssm学习（三层架构与依赖注入方式）
java三层架构 1.持久层，采用DAO模式，建立实体类和数据库表映射（ORM映射）。也就是哪个类对应哪个表，哪个属性对应哪个列。持久层的目的就是，完成对象数据和关系数据的转换。 2.业务层，采用事务脚本模式。将一个业务中所有的操作封装成一个方法，同时保证方法中所有的数据库更新操作，即保证同时成功或同时失败。避免部分成功部分失败引起的数据混乱操作。 3.表现层，采用MVC模式。
2021-01-03 17:36:08
562
原创 Hbase高可用搭建
HBase高可用环境搭建 Zookeeper聚群正常部署 Hadoop集群正常部署 解压HBase 修改HBase配置文件 hbase-env.sh hbase-site.xml regionservers 分发配置文件 将Hadoop配置文件软连接到HBase的conf目录下（core-site.xml、hdfs-site.xml）所有节点 在conf目录下创建bac...
2019-10-05 22:21:55
160
原创 Hadoop HA环境搭建
Hadoop HA环境搭建 安装JDK 解压 配置环境变量 配置静态网络 修改【/etc/sysconfig/network-scripts/ifcfg-eth0】 $>su root $>gedit /etc/sysconfig/network-scripts/ifcfg-eth0 修改： BOOTPROTO="static" #原值为DHCP 添加...
2019-10-05 22:20:40
182
原创 1.HDFS
HDFS HDFS分布式部署 一个NameNode，一个SecondaryNameNode，多个DataNode NameNode作用： 管理文件系统的命名空间以及快的元数据信息，以两种文件（fsimage和editlog）永久存储在磁盘中。 fsimage文件包含文件系统中所有目录和文件inode的序列化信息；editlog文件存储用户的操作行为。 通过心跳机制，每隔一段固定的时间，从D...
2019-09-23 21:48:44
76
原创 4. Spark 作业执行过程
Spark 作业执行过程 1.Spark 运行时架构 在分布式环境下，Spark集群采用的是主从结构。在一个Spark集群中，有一个节点负责中央协调，调度各个分布式工作节点。这个中央协调节点被称为驱动器节点（Driver）,与之对应的工作节点被称为执行器节点（Executer）。驱动器节点和所有的执行器节点一起被称为一个Spark应用（Application）。 Spark应用通过一个**集群管...
2019-09-08 21:35:23
209
原创 3. Spark SQL DataFrame与DataSet
Spark SQL DataFrame与DataSet DataFrame DataFrame是一种带有Schema元信息的分布式数据集。类似于传统数据库的二维表，定义有字段名称和类型，用户可以像操作数据库表一样使用DataFrame DataFrame在1.3.0版本之前，称为SchemaRDD，存放Row对象的RDD，每个Row对象代表一行记录。 DF创建方式 通过create...
2019-09-07 22:26:50
169
原创 2. Spark RDD定义与特性
Spark RDD定义与特性 RDD RDD（弹性分布式数据集）：代表一个不可变的，可并行操作的分区元素集合 内部表现上，RDD具有5个特性： a. A list of partitions(分区列表)； b. A function for computing each split(每个切分的计算函数)； c. A list of dependencies on ot...
2019-09-05 20:30:31
195
原创 1. Spark环境搭建
Spark环境搭建 单节点模式 1.版本选型：Spark2.1.2+Scala2.11.8 2.下载Spark安装包 $>cp /mnt/hgfs/5.开发工具/download/apache-spark/spark-2.1.2-bin-hadoop2.7.tgz ~/soft/ 3.解压 $>tar -zxvf spark-2.1.2-bin-hadoop2.7.tgz $>...
2019-09-04 21:19:45
87
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人