- 博客(65)
- 收藏
- 关注
RSS订阅原创 大三寒假实训
第一天实现mybatis手动写实现类 以及几层框架AppTest.javaint empno=1Emp emp = sqlSession.selectOne(“selectOne”,empno);sout(emp);public void testInit(){SqlSessionFactoryreturn sqlSession;return}public interface EmpDao{tmp selectOne(int id){return null;}public vo.
2021-03-01 15:09:59
833
原创 大数据知识点
1 kafka命令kafka-topics.sh --create --zookeeper 192.168.100.101:2181 --replication-factor 1 --partitions 3 --topic GMALL_STARTkafka-console-consumer.sh --bootstrap-server localhost:9092 --topic GMALL_STARTS --from-beginning //查看topic内容2 ./redis-cli -h 192
2020-12-26 21:22:34
169
原创 SSM项目实训+新开普大数据考试习题
1 jsp日期格式化<%@ taglib prefix=“fmt” uri=“http://java.sun.com/jsp/jstl/fmt” %> //顶部加上<fmt:formatDate value="emp.hiredate"pattern="yyyy−MM−dd"/>//传值时格式化2传值错误1.model.addAttribute("error","未找到");//controller<spanstyle="color:red;font−weight:bol
2020-12-21 23:10:31
291
原创 spring听课
1.spring ：servlet context listener监听项目是否启动2 springmvc写servlet监听3 mybatis分页助手，帮助分页，忽略数据库的不同4 spring使用logback5 spring项目乱码 字符编码过滤器 characterEncoding org.sringframework.web.filter.CharacterEncodingFilter enoding /* characterEncoding /*6 spring的IOC容器监听
2020-12-20 23:14:08
161
原创 spring听课一点+组成原理心得
1框架层次变多，为了解耦合2.动态页面可以与服务器进行数据交互 freemarker3 处理请求的已经被spring写好了4 计算机组成原理心得体会：通过计算机组成原理的实验，使我更加了解计算机的内部组成，了解一条计算的命令是如何一步步转化成为计算机能够理解的语言。作为软件工程专业的学生，虽然每天和计算机打交道，但是常常关心的是通过编码解决一个问题，或者实现某个功能。更多的是逻辑实现，也就是通常所说的顶层实现，而计算机组成这门学科相对来说，就更多地关心计算机的底层。这对我来说是陌生而又有趣的，当我了
2020-12-17 23:00:14
113
原创 操作系统王道
1 死锁的避免是通过 某些算法加以限制，防止系统进入不安全状态2 资源有序分配策略破坏了死锁的循环等待3 解除死锁通常不采用从非死锁进程处抢夺资源4 资源分配图中：进程指向资源的邮箱变称为申请边，资源指向进程的边称为分配变，矩形框表示资源，其中的圆点表示资源的数目，源泉节点表示进程5 死锁避免是避免死锁发生，死锁检测是指死锁已经出现要把它检测出来6 死锁时检查资源有向图7 死锁定理是用于检测死锁的方法8 银行家算法检测死锁9 系统处于安全状态，系统中一定没有死锁...
2020-12-13 22:48:22
204
原创 学习mybatis
1.华为镜像站，可靠2 linux图形化界面命令 ：init 53 mybatis config 配置加载数据源 mapper.xml4 sqlsessionfactory–sqlsession(会话链接)–statement（执行sql语句）5 sqlsession输入类型 string ，基本数据类型，hashmap,实体类6 输出：基本数据类型，实体类类型，hashmap7 启动linux版本idea：切换到idea下载目录/bin 执行idea.sh8 构造类默认有一个构造方法（私有
2020-12-11 22:37:59
102
原创 操作系统文件+磁盘管理
1.从用户角度看，操作系统引入文件系统的目的是实现对文件的按名存取2 文件系统在常见一个文件时为它建立一个文件目录项3 逻辑文件分为流式文件和结构文件4 文件的逻辑结构是为了用户方便而设计的5 对索引文件存取时，必须先查找索引表6 文件保护是针对文件访问权限的控制7 一个文件在物理存储器上有一个索引节点，可以多个文件名指向同一个索引结点，两个进程各自维护自己的文件描述符8 为文件分配连续的簇，采用磁盘高速缓存可以提高文件访问速度9 快速随机播放选择连续分配10 索引结点的总数与单个文件长
2020-12-08 22:43:05
595
原创 spark上课有关数据可视化与以后的学习方向
1.spark适合批处理，flink适合流处理2 docker ,k8s 云计算 kenel，知道3 BI：写SQL做报表4 可视化创建索引 kafkatools 以及大数据zookeeper 的可视化，监控kafka占用内存5 索引模式：提供检索的一个索引6...
2020-12-06 23:27:01
107
原创 大数据上课笔记
1.原始数据 order,user,province -----ODS2 多表关联，数据抽取，两个列之间是独立的，形成事实宽表s3 创建多个kafka的目的：目的数据不是独占，别的想要读取直接读取kafka主题4 json.parseObjet(record.value().toString jsonjson.getObject(“row”)json.paserObject(value,Class[OrderInfo])...
2020-12-04 23:04:00
130
原创 操作系统+组成原理
1 输入输出指令要在核心态下执行2 通道技术是一种硬件技术3 中断是操作系统必须提供的功能4 特权指令只能由操作系统使用5 中断需要地址重定位，需要硬件支持，进程调度不需要硬件支持6 中断处理程序在核心态执行，是操作系统程序7 用户态到核心态的转变是由硬件决定的8 访管指令仅在用户态下使用，用户态转变为核心态9 CPU执行操作系统代码，处理器处于核心态10 只能在核心态下执行的指令是广义指令11 输入输出必须在核心态下执行12 CPU处于核心态，不能使用访管指令13 整数除零需要中断
2020-12-04 14:37:10
1349
原创 操作系统+计组考研题目
1.用助记符编写的语言 ：汇编语言2 解释程序的特点是翻译一句执行一句高级语言转化为汇编语言：编译汇编语言转化为机器语言：汇编3 冯诺依曼机最早的特征是采用“存储程序”的原理基本工作方式是采取控制流驱动方式4 按地址访问顺序执行程序：冯诺依曼机的工作方式5 PC跟踪下一条指令的地址6 MAR存放访存地址，位数与地址码相同MDR 存放要从存储器中读或写的信息，位数与存储字长相同7 运算器包括数据总线，不包括地址寄存器8 计算机地址空间计算时求2的次方不需要-19 解释程序运行速度较慢
2020-11-30 23:13:32
404
原创 操作系统
1.虚拟存储只能基于连续内存分配2 请求分页，页面增大，可容纳最大页数不变，缺页中断次数减少3 缺页中断后重新执行4 虚拟存储补充内存逻辑空间5 虚拟存储最大容量由计算机地址结构决定6 导致LRU耗费高的原因是需要对所有页进行排序7 可寻址：块设备8 共享设备必须可寻址，可随机访问9 共享设备指一段时间内允许同时访问10 设备控制器通常需要提供：控制寄存器，状态寄存器和控制命令11 设备控制器中I/O逻辑实现设备控制功能12 通道：内存与外设13 通道指的是一种硬件技术14 设备独
2020-11-24 21:42:34
348
原创 操作系统
1 组合逻辑控制器，硬件微程序控制器：软件2 时序部件产生时序信号，是计算机部件的基准3 指令周期包括若干个机器周期（取指令，取操作数）一个机器周期包括若干个时钟周期
2020-11-19 22:50:43
90
原创 操作系统+数仓
1.kylin查询时只能使用自己定义好的方法与连接方式2 从用户的观点看，操作系统是用户与计算机硬件之间的接口3 总线位宽是指总线能够同时传送的二进制数据的位数4 由于独占设备在一段时间内只允许一个进程使用，因此，多个并发进程无法同时使用这类设备5 spooling假脱机技术，传输数据时用到的6 段页式存储管理方式即先将用户程序分成若干个段，再把每个段分成若干个页7 系统管理文件，作业，不管理进程8 对于一个文件来说有唯一的索引节点号与之对应，文件名与索引节点一一对应9 对话框：徽标+R1
2020-11-17 21:27:09
132
原创 操作系统&数据仓库
1 基本分页的存储管理方式物理块的大小应等于页面的大小，是一种离散的分配方式2 文件的逻辑组织中索引文件是记录文件3 银行家算法用于避免死锁4 请求分页的时候如果处理不当则会发生抖动。5 节点包含了描述一个文件所必须的全部信息。所以i节点是文件系统管理的一个数据结构6 从功能上讲，计算机硬件主要由________部件组成7 采用的进程调度算法效率低下不属于产生死锁的原因8 用空白链记录内存空白块的主要缺点是分配空间时可能需要一定的查链时间9 栈私有，堆公有10 操作系统不知道用户线程的存在
2020-11-16 23:01:28
189
原创 数仓+操作系统
1 mysql与superset对接时，mysql里的时间必须是date或者datetime类型才会被识别2 OLAP–联机分析处理多维分析即席查询，按照不同方面进行查询要求：引擎速度快（亚秒）Presto基于内存Druid,Kylin预查询3 数据仓库是BI（商业智能）的核心部件4 商业智能：将企业中现有的数据转化为知识，帮助企业做出明智业务经营决策的工具5 kylin -molap多维查询有限个不同的因素相互组合组成不同的cuboid ，所有cuboid组成一个cube6 HBA
2020-11-15 23:08:37
216
原创 大数据上课笔记
1.document文档是json数据 ，key-value 中的key是字段，value是数据2 es中的key类似于mysql中的table3 index下有_type 新版本去掉了，改成了通用的类型 _doc4 es中的shards和replicas 类似于kafka中的partition ，es中的数据分为主分片，副分片，es的副本真的是副本，总的数据等于副本数加一5 keywords与text分别：keywords不会分词，keywords一般比较短6 es一般用于缓存，时效性高，可以
2020-11-13 21:32:08
98
原创 superset+大数据课堂
1.superset 使用Database * 随便写SQLAlchemy URI * : mysql://账号:密码@IP/数据库名
2020-11-12 19:39:44
117
原创 上课+azkaban
1.连接池如果每个客户端操作时，需要建立连接，会造成资源消耗，但是创建好连接后之后，直接使用就很方便—连接池类比为楼梯与大楼2.redis 经常做缓存3.redisTemplate简便配置redisTemplate.opsForSet().add()redis.Template.opsForString.*4.开发主要是操作业务逻辑，API并不复杂5.long类型 +L6.able 能力 Serializable7.public void multiSet(Map<String,O
2020-11-12 18:55:34
103
原创 数仓技术
数仓项目实战1.涉及到的技术数据采集传输:flume kafka,sqoop数据存储:mysql ,hdfs数据计算:Hive,Tez数据查询Presto,Druid,Kylin数据可视化:superset任务调度: Azkabana集群监控:Zabbix元数据管理: Atlas数据质量监控:Shell...
2020-11-12 18:53:51
176
原创 听课
1.windows提升性能加虚拟内存电池计划–高性能显卡设置–性能优先2 MiniConda安装python环境，不用卸载本地python环境3 conda环境conda activate env_name ##激活conda deactivate ##退出4 删除时删不掉ctrl+删除5 superset创建管理员用户只能有一个...
2020-11-12 09:00:35
77
原创 操作系统
1 在分时系统中，若当前运行的进程连续获得了两个时间片，原因可能是就绪队列为空2 执行系统调用的过程是这样的：正在运行的进程先传递系统调用参数，然后由陷入（trap）指令负责将用户态转化为内核态，并将返回地址压入堆栈以备后用，接下来CPU执行相应的内核态服务程序，最后返回用户态。3 相联存储器是一种不根据地址而是根据存储内容来进行存取的存储器，可以实现快速地查找块表。既可以按照地址寻址也可以按照内容寻址(通常是某些字段)，为了与传统寄存器作区别，称为按内容寻址的存储器。4 分页机制中逻辑地址空间是一维
2020-11-10 22:53:08
213
原创 操作系统
1 文件系统采用（目录）组织文件2 对临界资源，应采取互斥访问方式，来实现共享3.Multitasking系统具有同时管理和运行多个应用程序的能力4.可确保系统不发生死锁的设备数n最小为每个进程要求资源数-1的和，再加一5 设备管理具有设备独立性的特点，操作系统以系统调用方式来请求某类设备时，使用的是逻辑设备名。6.[0-9]*匹配任意长度的数字序列7 [^0-9] 匹配任何不在指定范围内的任意字符8 malloc和new申请的内存在堆区，使用完毕需要程序员手动释放9 使用栈就象我们去饭馆里
2020-11-09 23:09:33
351
原创 操作系统
1.多道程序设计指的是允许多个程序同时进入一个计算机系统的主存储器并启动进行计算的方法2.SCAN扫描（电梯）算法，先沿一个方向到底，再向另一个方向。3.在段页式存储管理系统中其虚拟地址空间是二维的4.命令解释程序在用户态执行5.最佳适应算法：大小最小，满足要求6.最先适配：从首位置查找7.机票订购系统是一个实时信息处理系统8.操作系统中的工作集模型与一个进程访问的页面集合有关9. 多重处理：对于有多个CPU的计算机，同时在每一个CPU上执行进程称为多重处理。10.虚拟存储刚开始什么都没有
2020-11-08 20:49:19
263
原创 数据仓库笔记
1.浏览器登录azkaban无法登录时，发现不能直接输入IP：端口需要输入 https:IP：端口azkaban需要使用https协议,但是浏览器默认使用http协议2.知识jetty --tomcat --servlet3.kafka时间索引新添加的时间必须大于旧的时间如果日期不对，要删除kafka的topicbin/kafka-topics.sh --zookeeper hadoop102:2181 --delete --topic topic_startbin/kafka-top
2020-11-04 22:33:52
66
原创 测试 数仓架构 思想
1 单元测试根据设计说明书编写，不能根据代码2 单元测试：接口，局部数据结构，边界条件，执行路径，错误处理3 集成测试最简单的形式是两个单元测试之间的接口4 group by要求:常量 聚合函数 group by 的5 数据流程mysql_to_hdfs -->hdfs_to_ods_db -->ods_to_dwd_dbhdfs_to_ods_log-->ods_to_dwd_base_log-->ods_to_dwd_event_log
2020-11-02 23:13:14
225
1
原创 软件测试思想数仓
1.白盒测试没有边界值分析法2.小时候看世界，没觉得什么东西好美，后来慢慢地就有这种感觉的3.我不知道，我什么都没想，我就想着跑一步，再跑一步，然后就这样一步，一步，一步，不知不觉就跑完了4 所有人都在关心你飞得高不高，却没有一个人在乎你飞得累不累5.负载测试和性能测试的主要区别在于负载测试时，系统负载是逐渐增加的，而不是一步到位压力测试是评估系统处于或超过预期负载时系统的运行情况6 软件可靠性是软件系统在规定的时间内以及规定的环境条件下，完成规定功能的能力。一般情况下，只能通过对软件系
2020-11-01 23:02:49
307
原创 软件测试 组成原理 思想
1.笔记1 演员总是以虚构的角色解决虚构的问题2 数组在内存中空间连续3 UTF-8又称万国码4 解释器参与运行控制，程序执行的速度慢 java程序就是解释型语言5 RFID指射频识别技术6 Unicode缺省是用16位来表示一个字7 PC寄存器中始终保存的是下一条指令的首地址8 &按位与 都是1 取1， 1 0 取09 LR分析器是一种由下而上（bottom-up）的上下文无关语法分析器10 Intel的80x86是唯一还在坚持使用小端的芯片11 大端：最
2020-10-31 23:06:35
173
原创 上课笔记
1.非关系数据库对比Hbase Elasticsearch索引数据库自己创建MongoDB 表是集合2.redis命令客户端：redis-cliredis 是二进制安全 redis 的string可以包含任何数据 最大可以存储521Mredis6 TAP键补全命令命令里L R有的代表方向 有的代表list...
2020-10-30 23:32:10
69
原创 数仓 上课 想法 IDEA
1.活跃用户周活 != 日活相加 每天活跃 周活算一次沉默用户：安装当天启动，7天内不启动2.思想考虑一天要做的事情，然后写成脚本技术活，并不是说你胳膊粗，后台硬就能做好3.物竞天择，适者生存 从前以为人类是一种有着高级智慧的生物，可是在听了两节课后，发现达尔文的进化论似乎可以有一种正确的理解，那就是，人类并不是有意识地去选择要做什么，不要做什么，而是在为了生存的过程中发现做一件事情有好处，一件事情没有好处，然后就慢慢地变成了一种现象，就像一些事情，富不过三代，好男无好妻，赖子娶
2020-10-29 23:14:48
164
原创 数仓DWS DWT总结加eclipse设置
1full out join两表取相交的和各自有的2.数仓拦截器日志分类kafka削峰传输sqoop（只有map的MR）传输数据不负责计算，自定义inputformat，outputformat数仓分层（不固定）ODS保留原始数据DWD清洗后数据，确定事实表与维度表，事实表与业务过程对应如，下单，退款，评论。声明事实表的粒度，一定要最小粒度。事实表，将退款与商品，时间外键关联，进行建模维度表与商品有关，汇集到一张表中，维度退化DWT,DWS与维度建模没有关系，DWS简化数仓模型，主
2020-10-28 20:50:29
607
原创 操作系统第三章课后答案
第三章第三章处理机调度与死锁1．高级调度与低级调度的主要任务是什么？为什么要引入中级调度？答：高级调度的主要任务是根据某种算法，把外存上处于后备队列中的那些作业调入内存。低级调度是保存处理机的现场信息，按某种算法先取进程，再把处理器分配给进程。引入中级调度的主要目的是为了提高内存利用率和系统吞吐量。使那些暂时不能运行的进程不再占用内存资源，将它们调至外存等待，把进程状态改为就绪驻外存状态或挂起状态。2．何谓作业、作业步和作业流？答：作业包含通常的程序和数据，还配有作业说明书。系统根据该说明书对
2020-10-27 20:36:07
4111
原创 操作系统第二章课后答案
第二章什么是前趋图？为什么要引入前趋图？答：前趋图(Precedence Graph)是一个有向无循环图，记为DAG(DirectedAcyclicGraph)，用于描述进程之间执行的前后关系。画出下面四条语句的前趋图:S1=a：=x+y; S2=b：=z+1; S3=c：=a – b；S4=w：=c+1;答：其前趋图为：什么程序并发执行会产生间断性特征？答：程序在并发执行时，由于它们共享系统资源，为完成同一项任务需要相互合作，致使这些并发执行的进程之间，形成了相互制约关系，从
2020-10-27 20:34:52
3081
原创 操作系统第一章课后答案
第一章1．设计现代OS的主要目标是什么？答：（1）有效性 （2）方便性 （3）可扩充性 （4）开放性2．OS的作用可表现在哪几个方面？答：（1）OS作为用户与计算机硬件系统之间的接口（2）OS作为计算机系统资源的管理者（3）OS实现了对计算机资源的抽象3．为什么说OS实现了对计算机资源的抽象？答：OS首先在裸机上覆盖一层I/O设备管理软件，实现了对计算机硬件操作的第一层次抽象；在第一层软件上再覆盖文件管理软件，实现了对硬件资源操作的第二层次抽象。OS 通过在计算机硬件上安装多层系统软件，
2020-10-27 20:33:19
728
原创 数据仓库
1.拉链表修改频率不高，采用拉链表存储数据2.学习不管他怎么说，反正你会就行3.数仓基础1.在移动统计中，每个独立设备认为是一个独立用户4.盲目比喻无见识无目的
2020-10-27 08:00:34
46
原创 软件测试
以扔掉被检验出有缺陷的东西为目的的检验已经太迟了，没有效率且成本很高，质量不是来自于检验，而是来源于过程的改进。1.软件测试 1.软件质量定义为“与软件产品满足规定的和隐含的需求的能力有关的特征和特性的全体” 2.软件质量保证计划：评价、审查、标准、报告、文档 3.PDCA: Plan Do Chectk Action 4.朱兰质量三部曲：质量计划，质量控制，质量改进。 5.软件质量控制是一组由开发组织使用的程序和方法，使用它可在规定的资金投入和时间限制的条件下，提供满足客户质量要求的
2020-10-26 09:02:58
173
原创 hive
1.date.gettime格式化Format(“yyyy-MM-dd”);2.hive函数concat、concat_ws 连接str_to_map分割成map函数
2020-10-24 22:34:51
220
原创 大数据，操作系统笔记
1.nginx配置多个域名可以在conf 新建文件夹 将想配置的域名放入其中 每个独自配置在 nginx.conf server括号里 添加include /*.conf即使用正则表达式，将配置的文件映射到conf里2.操作系统笔记死锁一定不安全java.util.concrrent.Semaphoresynchorized现在很多硬盘是叠瓦盘...
2020-10-23 23:01:23
61
原创 脚本
1.脚本问题脚本中两个最近的双引号会组成一部分2.join 与过滤在关联条件不是主键或者索引的情况下，join语句还是要先筛选（在被join的表里where过滤）再join其他表3kafka遇到的一个错误.Collection<String> topics = Arrays.asList(names); Arrays.asLis返回ArrayList类型 改为Collection<String> topics = ArrayList<>(Arrays.
2020-10-22 22:43:05
64
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人