- 博客(25)
- 收藏
- 关注
RSS订阅原创 层次化设计-把大象装进冰箱
一、概述在绝大多数的面向对象软件系统设计中，逻辑结构的深度都是非常高的。现在流行扁平化思维，在各大框架源码中复杂的类关系、执行逻辑关系让我等萌新头皮发麻，我不禁想这些源码为什么不采用扁平化思想进行设计呢？明明百十来行代码、一两句话就能说明的问题，在源码中可能扩展为十几个类、数十个函数来处理这些关系，这毫无疑问是增加了新手的学习难度，要知道，源码本来就是拿来给人看的呀。1、面向对象和面向过程使用面向过程的C语言来编程，如果模块划分不当，代码超过上千行后，掌控力不够的程序员就已经把握不住项目了。这时，
2021-04-11 00:03:39
856
原创 echarts导入报错
一、概述最简单的js导入一般就是用标签导入。如下：<html><head> <meta charset="utf-8"> <title>ECharts</title> <!-- <script type="text/javascript" src="https://echarts.baidu.com/dist/echarts.min.js"></script> --> <!-
2021-04-09 01:45:03
1296
1
原创 javaWeb技术架构
这里写目录标题一、概述二、整合三、问题一、概述使用前后端分离架构，idea可以整合spring boot和vue。spring boot可以整合spring MVC。MVC 是 Model、View 和 Controller 的缩写，分别代表 Web 应用程序中的 3 种职责。在spring boot中一般以spring-boot-starter-web体现，spring-boot-starter-web模块包含RESTful、spring MVC的应用程序，tomcat。还有其它更多模块，具体可以在
2021-04-06 21:41:14
355
原创 上海租房
租房大平台自如大概在浦东-川沙找到了最低价1400+（总月付大概1700+）。平台服务费160/月。租一年。蛋壳据说公寓比较好，但个人感觉比较麻烦，主要是没有想象中的方便、便宜。58（安居客）贵的偏高，便宜的离谱（肯定有假的）。估计只有经验丰富的人才能分辨出这些信息。总结：估计都有平台费。就上海，被人推荐过自如。普遍2K左右，仔细找找在偏僻地段能找到1.5K左右的（临近地铁线的）。比如浦东-川沙。小中介目前谈了一个，准备去看，说的是1.5左右，各种条件还不错。两边收费，租客1/3，
2020-11-17 17:38:39
370
1
原创 spark常见面试题
spark面试题1.spark的RDD是什么，有哪些特性RDD（Resilient Distributed Dataset）叫做分布式数据集，是spark中最基本的数据抽象，它代表一个不可变，可分区，里面的元素可以并行计算的集合。Resilient弹性的：RDD中的数据可以存储在内存或者磁盘中。RDD中的分区是可以改变的。Distributed分布式，可以并行在集群计算。Dataset用于存放数据的集合。五大特性1）A list of partitions一个分区列表，RDD
2020-11-09 08:37:28
1418
原创 人生规划
人生规划一、身体每天必锻炼身体，身体是革命本钱。1、错觉自己身体弱，或多或少都会将原因往身体体质（出生时）上靠 。但是经过这次连续锻炼一个月的经历，身体变化打破了我的原看法。力气小（体质差），或许跟体质有一定的关系，但起决定性作用的还是自身的锻炼。以前感觉自己平衡性差，天生体质弱等等。但是在锻炼之后的现在，可以用**“大力出奇迹”**辩驳前面的观点。2、大力出奇迹说点实际的就是，走路的时候都感觉身上有种力量。平衡性或许依然差，但是脚步有力=下盘稳，即使走单杠（路边的矮栏杆）落下来了，完全不虚
2020-11-07 19:51:42
178
原创 解决录音问题
解决录音问题1、现象windows环境下浏览器使用不了麦克风。浏览器自身的权限已经给了，但是很明显就是访问不了系统的麦克风设备。2、解决猜测是系统麦克风的问题，但是在声音设置界面，啥都点了一遍就是没反映（没探索精神的不要在设置里面乱点）。果然点到最后也就是麦克风隐私设置找到了问题所在。以下是解决流程：右击声音小图标，点击“打开声音设置”往下滑到最底部，点击“麦克风隐私设置”允许访问此设备上的麦克风，允许应用访问你的麦克风，允许桌面应用访问你的麦克风，这些全都打开。应该就解决了浏览器访问不了麦
2020-11-07 15:35:24
311
原创 scala入门
scala入门1、使用scala解释器在命令提示符窗口输入scala，即可进入scala的命令行模式。输入：1+2// 输出32、定义变量Scala的变量分为两种：val和var。val跟Java的final变量类似，一旦初始化就不能被重新复制。但是变量指向的那个对象是有可能发生改变的。（又得看那个对象是否可变的）而var则不同，类似Java的非final变量，在整个生命周期内var可以被重新赋值。val msg = "hello, world"var i = 0上面两句时类型推断
2020-11-06 20:38:26
825
原创 scala学习笔记
《scala编程》学习笔记推荐《scala编程》第三版（中文）。相比python的疯狂封装，scala或许能让工程师更贴近源码编程。一、一门可伸缩的语言1、培育新类型作为完全面向对象语言，scala可以为自定义的类提供类似内建的类型。比如，实现一个不会溢出的大数类型，其它语言也能做到，但scala可以做到这个BigInt就像scala自己提供的一样。2、培育新的控制结构很多语言都提供while控制结构，但都是在内建在语言级的。虽然scala的while语句也是内建在语言内，但是利用提供的函数
2020-11-06 15:44:20
189
原创 java常见面试题
Java核心技术1、Hash Map底层源码，数据结构Hash Map采用由数组+链表+红黑树的存储方式。采用Entry数组来存储key-value对，每一个键值对组成了一个Entry实体，Entry类实际上是一个单向的链表结构，它具有Next指针，可以连接下一个Entry实体，以此来解决Hash冲突的问题。数组的特点：寻址容易，插入和删除困难。存储空间紧凑，不适合存储稀疏数据。链表特点：插入和删除简单，寻址困难，单位存储空间比数组高，但是适合存储稀疏数据。所以当链表长度超过阈值（8）时，将链表
2020-11-04 15:06:32
336
原创 小时学习论
小时学习论一天的有效学习时间：上午8点开始到12点：4小时下午2点到6点：4小时晚上7点到9点：2小时因为时间安排比较紧，再加上不可能每时每刻都在学习。所以一天估算可以学8小时。10天80小时。100天**（3个月）800小时**。IT培训班差不多可以毕业，学习了几个框架。如果有基础，某个方面都大概能比较熟悉了。1000天（3年）8000小时。还有什么学不会的呢？反思：为什么3年大学（还没毕业）有的人能成为大佬，而有的却只是一般人呢？如果抛开天赋原因，只能是时间原因了。学得久了，迟早会融
2020-11-03 19:09:50
213
1
原创 kafka常见面试题
kafka1、kafka名词解释和工作producer：消息生产者，就是向kafka broker发消息的客户端。consumer：消息消费者，向kafka broker取消息的客户端。topic：可以理解为一个队列。consumer group（CG）：这是kafka用来实现一个topic消息的广播（发给所有人的consumer）和单播（发给任意一个consumer）的手段。一个topic可以有多个CG。topic的消息会复制（概念上的复制）到所有的CG，但每个partion只会把消息发给该
2020-11-01 23:40:44
2133
原创 hive常见面试题
hive常见面试题1、大表join小表产生的问题，怎么解决？大表join小表，独钟爱mapjoin；MapJoin通常用于一个很小的表和一个大表进行join的场景，具体小表有多小，由参数hive.mapjoin.smalltable.filesize来决定，该参数表示小表的总大小，默认值为25000000字节，即25M。在0.7版本之后，默认自动会转换Map Join；Mapjoin分为两个阶段：通过mapreduce local task，将小表读入内存，生成HashTableFiles上传
2020-10-31 15:03:18
2445
1
转载 flume和kafka的完美配合
flume和kafka的完美配合 一.为什么使用KafkaChannel？ 在使用flume对接Kafka时，我们往往使用TailFileSource–>MemoryChannel–>KafkaSink的这种方式，然后将数据输送到Kafka集群中。如图
2020-10-28 20:08:29
474
原创 即席查询之presto
即席查询之presto即席查询之presto简介架构优缺点性能presto安装使用docker安装（2个G谨慎安装）安装docker使用docker安装presto使用安装包安装安装presto Server安装presto client可视化安装presto优化数据存储查询sql只选择使用的字段过滤条件必须加上分区字段group by语句优化order by时使用limit使用join语句时间大表放在左边注意事项字段名反引用时间函数不支持insert overwriteparquet格式即席查询之pre
2020-10-25 20:26:22
791
原创 mapreduce优化之自定义combiner
自定义combinermap端合并数据，减少网络io一、普通的combiner二、自定义combiner，实现自由合并map端合并数据，减少网络io前言：在map端使用combiner合并数据可以减少需要通过网络io的数据，有效增加map reduce程序的运行效率。一、普通的combiner在map端提前使用combiner合并数据是广为人知的一种优化策略。但是这种优化策略有两个缺陷，一个是数据量要比较大，不过考虑到map reduce程序处理的数据一般都是大量的数据，所以这个问题不是关键。使
2020-10-14 21:25:16
474
1
原创 hadoop相关面试题
hadoop相关面试题以下未实际验证，可借鉴不可笃信。hadoop相关面试题1.hdfs写流程2.hdfs读流程3.hdfs的体系结构4.一个datanode 宕机,怎么一个流程恢复5.hadoop 的 namenode 宕机,怎么解决6.namenode对元数据的管理7.元数据的checkpoint8.yarn资源调度流程9.hadoop中combiner和partition的作用10.用mapreduce怎么处理数据倾斜问题？11.shuffle 阶段,你怎么理解的12.Mapreduce 的 map
2020-10-10 21:16:02
611
2
原创 hive之HQL常用命令
Hive之HQL常用命令HQL常用命令Hive之HQL常用命令一、DDL数据定义1、创建数据库：2、查询数据库：3、修改数据库：4、删除数据库：5、创建表：6、分区表：7、修改表：8、删除表：二、DML数据操作1、向表中加载数据：2、插入数据：3、import的导入导出：4、数据导出5、清除表中数据：三、查询1、查询：2、算术运算符：+、-、*、/、%、&、|、^、~3、常用函数：4、limit语句：限制返回的函数，在sql语句最后一行；where语句：筛选条件；5、比较运算符：between、i
2020-09-26 11:05:40
904
1
原创 个人软件进化之旅
个人软件进化之旅个人软件进化之旅个人软件进化之旅一、初始级二、规划级三、半个花式操作一、初始级 Windows桌面或者说是整个系统，最关键的还是她的软件生态。windows上的软件安装出了名的简单：点、点、点、…几乎所有的软件都可以采用这种模式进行安装，这种傻瓜式的软件安装在为用户带来方便的同时也带了一些问题。 比如说曾经听说过的一件事：某位女生将很多文件直接放在了桌面，使用时只要打开电脑就可以在桌面双击打开，方便的一批（机智）。当然这么做的结果就是后面越用越卡，直到找人重装系统才了解到是在桌
2020-09-22 21:37:07
101
原创 mapreduce获取共同好友分析
MapReduce 获取共同好友分析MapReduce程序的逆向分析MapReduce 获取共同好友分析一、题目二、分析由底向上分析三、总结1由上述情况可以总结map reduce程序的两个特性：1.1、map程序处理数据总是将一个数据切分，然后组成新的数据；逆操作是切分，然后组成原数据。1.2、reduce程序处理数据总是将values组合起来，然后结合key进行最终输出；逆操作是分开key-value，然后对value进行切分，再结合key还原原数据。四、备注：1、map处理数据有可能使用InputF
2020-09-19 20:46:51
310
原创 linux集群自动化脚本和增量复制
linux集群自动化脚本和增量复制Linux集群shell自动化脚本和集群增量增量复制xcall.sh代码：xcall.sh脚本解释：xsync.sh代码：xsync.sh脚本解释：自定义脚本用法：命令表用法：Linux集群shell自动化脚本和集群增量增量复制在集群环境中，自动化脚本是不可缺少的，人力执行不但繁杂，而且更容易出错。在老师的指导下编写了集群相关的xcall.sh和xsync.sh两个脚本，根据linux知识，我在原有基础上增加了返回值，使得脚本支持命令表操作。第一个脚本接受一行命令作
2020-09-13 20:36:41
256
原创 HadoopHA的配置文件与启动步骤
HadoopHA的配置文件与启动步骤这份文档所实现的hadoop集群namenodeHA和yarnHA。Hadoop版本是2.7.2。zookeeper版本是3.4.10.一、Hadoop用户自定义文档可以归纳为4+3+1模式。4指的是core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml四个配置文件。Core是核心配置信息，hdfs是hadoop distribued file system（hadoop分布式文件系统）的配置信息，yarn
2020-09-12 20:07:57
752
1
原创 Zookeeper集群的安装与使用
Zookeeper集群的安装与使用一、 文件获取作为apache基金会项目的一员，可以直接访问官网https://zookeeper.apache.org/。找到download并进入下载页面https://zookeeper.apache.org/releases.html，选一个版本，推荐不要选最新版的（官网列出来的基本上就是比较新的，所以选一个较低版本的就行了），进入下载源选择后，选一个网络比较号的源进行下载即可。可以使用浏览器下载也可以在服务器上直接使用curl工具下载。命令：curl -O h
2020-09-10 21:26:06
120
原创 虚拟机的安装及网络配置
虚拟机的安装虚拟机简介虚拟机（Virtual Machine）指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统。在实体计算机中能够完成的工作在虚拟机中都能够实现。在计算机中创建虚拟机时，需要将实体机的部分硬盘和内存容量作为虚拟机的硬盘和内存容量。每个虚拟机都有独立的CMOS、硬盘和操作系统，可以像使用实体机一样对虚拟机进行操作。——百度百科windows上面两款比较好用的虚拟机，一个是VMware Workstation Pro，一个是Oracle VM Virtual
2020-09-09 17:56:47
202
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人