gbsmd-CSDN博客

原创持久层框架设计与实现及MyBatis源码剖析(二)--ORM框架设计步骤推导，掌握框架设计思想

目录ORM框架要解决的问题ORM框架使用目标ORM框架要做哪些事参考ORM框架设计原理与定制Mybatis_自定义持久层框架MyBatis(二):自定义持久层框架思路ORM框架要解决的问题连接数据库需要手动创建，需要使用通过实例后调用api才能执行sql，配置化改变的是硬编码导致的反复修改的问题，但是不能达到急查急用的效果。手动创建的数据库连接还必须维护数据库连接和设计高效的使用方式（资源释放，快速访问）。sql写在java文件中，可维护性差，不便问题定位查找，可移植性差，拼接sql容易导

2021-03-13 15:22:01 129

原创持久层框架设计与实现及MyBatis源码剖析(一)--从查询结果集Utils到ORM思想升级

目录DBUtils处理查询的结果集ORM思想DBUtils处理查询的结果集参考https://blog.csdn.net/simonforfuture/article/details/90480147?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2.control&dist_request_id=c08d0c93-dcd8-49cb-bae1-8d51f0655305&am

2021-03-06 16:08:32 156 2

原创 SparkSql的一些问题记录

1.在sparksql打开时（beeline），查询一张表是有数据的，如果此时该表有清洗任务执行，并重新写入数据，那么会出现如下情况 a.在2.0.2版本，如果此时继续查询数据，那么查询结果为没有记录；如果执行refresh table tablename，那么再次查询可以查询到最新数据；如果关闭beeline之后，再重新查询此表，也会查询到最新数据； b.在2.2.1版本，此...

2018-11-19 22:02:07 1110

原创 Spark源码分析笔记（三）SparkContext初始化之一SparkConf

val conf = new SparkConf().setAppName(appName).setMaster(master)val sc = new SparkContext(conf)val lines = sc.textFile("../README.md",2)一般一个RDD开始这样写，配置conf参数，然后用conf作为入参初始化SparkContext。SparkCon...

2018-08-05 22:30:38 731

原创 Spark源码分析笔记（二）Spark设计理念与基本架构

一. hadoop1.0 hadoop2.0 Spark对比hadoop1.0贡献了三个部分：运行时环境：任务管理者jobTracker ，任务的执行者taskTracker 编程模型：MapReduce，开发者完成Map函数和Reduce函数数据处理引擎：Map任务，数据的过滤分类；Reduce任务，数据的汇聚但是也有很多不足：可扩展性差：jobTracker既负责资源管理又...

2018-07-28 18:36:35 269

原创基于expect开发免密码分发多节点文件，ssh多节点操作

直接上程序#!/usr/bin/expect -fset filepath "/home/text_file.txt"set remotepath "/home/"set password "123456"foreach ip {10.9.233.19010.9.233.19110.9.233.19210.9.233.19310.9.233.194} {#puts ...

2018-07-28 17:39:04 242

原创 Spark源码分析笔记（一）环境准备

已有环境hdfs+spark+yarn一.环境准备 JDK+Scala+Spark二.WordCount单词计数进入spark-shellval lines=sc.textFile("../README.md",2)val words=lines.flatMap(line=>line.split(" "))val ones=words.map(w=>(w,1))...

2018-07-17 22:27:04 141

原创 SHELL脚本的一些小技巧

`cd \`dirname $0\`; pwd` `` 脚本里出现斜引号表示内部按指令执行， \`表示转义，斜引号内部的多重指令 $0 表示运行文件本身 dirname $0 定位到运行脚本的相对位置该指令目的是定位运行文件路径，并把路径返回 while read line do … done < file 或者 com...

2018-02-27 23:00:49 209

原创 SHELL的基本知识

1.一个简单的shell脚本vim test.sh-------也可改成任意一个后缀名test.abc#!/bin/bashecho "Hello World !"保存退出后，需要给文件赋权限后才能执行chmod +x ./test.sh 或者chomd 777 ./test.sh./test.sh 执行2.shell变量赋值变量 your_name="qinj...

2018-02-23 14:50:46 247

gbsmd的博客