- 博客(92)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 超强总结，用心分享丨大数据超神之路(一)：Scala基础语法副本
在大数据开发领域里用得还是挺多的。Scala语言的表达能力很强，代码信噪比很高，而且很多大数据框架也都提供了Scala语言的开发接口，况且Scala也可以运行于Java平台（JVM），并且兼容Java程序，所以也可以和大数据相关系统进行很好的集成。....................................
2022-06-26 15:58:47
527
原创 超强总结，用心分享丨大数据超神之路(八)：kafka初级
一般，我们把消息的发送称为生产者（Producer），消息的接收者称为消费者（Consumer）；通常生产者的生产速度和消费者的消费速度是不相等；如果两个程序始终保持沟通，则势必有一方存在空等时间；如果两个程序持续运行，则消费者的平均速度一定要大于生产者的平均速度，否则消息囤积会越来越多；当然，如果消费者没有时效性需求，也可以把消息囤积在消息系统中，集中对其进行消费。
2023-05-12 16:08:59
181
1
原创 超强总结，用心分享丨大数据超神之路(五)：Hadooop进阶版
NameNodeDataNode块设置的太小，会增加寻址时间，程序会一直在找块的开始位置。块设置的太大，从磁盘传输的时间会明显大于定位块的时间，导致程序在处理这块数据时，非常慢。综上，块的设置大小主要取决于磁盘传输速率：固态硬盘可以设置500MB，机械硬盘100-200MB。
2022-10-21 12:05:49
1277
1
原创 从零开始全屋智能家居新生活（二）：人体传感器装修方案
全屋智能的核心是：以人为本，无感智能人体位移传感器：通过被动识别人（宠物）身上散发的人员来确定是否有人，如果没有移动的热源则不能触发，目前价格便宜。人体存在传感器：通过主动的雷达波，识别范围内是否有人，只要在范围内，无论人是否有动作均能识别，目前价格较高。
2022-09-14 21:06:49
377
原创 从零开始全屋智能家居新生活（一）：全屋智能生态如何选择
首先，目前国内的家居品牌数不胜数，但可以称之为主流平台的，还是以小米的米家，华为的智慧生活，还有苹果的homekit三足鼎立。
2022-09-13 21:23:54
467
原创 超强总结，用心分享丨大数据超神之路(四)：shell脚本
awk的简介：其实一门编程语言，支持条件判断，数组，循环等功能，与grep，sed被称为linux三剑客之所以叫AWK是因为取其三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的Family Name的。sed的应用场景：主要对数据进行处理（选取，新增，替换，删除，搜索）awk的应用场景：通常对数据进行列的提取。
2022-09-01 18:49:58
677
原创 超强总结，用心分享丨大数据超神之路(七)：Apache Doris中篇
以 AGGREGATE KEY 数据模型为例进行说明。更多数据模型参阅 Doris 数据模型。列的基本类型，可以通过在 mysql-client 中执行 HELP CREATE TABLE;查看。AGGREGATE KEY 数据模型中，所有没有指定聚合方式（SUM、REPLACE、MAX、MIN）的列视为 Key 列。而其余则为 Value 列。定义列时，可参照如下建议：➢ Key 列必须在所有 Value 列之前➢ 尽量选择整型类型。因为整型类型的计算和查找比较效率远高于字符串。
2022-08-23 14:49:46
2154
原创 超强总结，用心分享丨大数据超神之路(七)：Apache Doris上篇
Doris整体架构如下图所示，Doris 架构非常简单，只有两类进程Frontend（FE），主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。另一个是 Backend（BE），主要负责数据存储、查询计划的执行。这两类进程都是可以横向扩展的，单集群可以支持到数百台机器，数十 PB 的存储容量。并且这两类进程通过一致性协议来保证服务的高可用和数据的高可靠。这种高度集成的架构设计极大的降低了一款分布式系统的运维成本。......................................
2022-08-06 08:19:04
2278
原创 超强总结，用心分享丨大数据超神之路(五)：Hadooop基础篇
逻辑上分离指的是两个集群之间没有依赖、互不影响，物理上在一起值得是某些角色往往部署在同一台物理服务器上。而MapReduce是计算框架、代码层面的组件，没有集群之说。Standalone（单机模式）1个机器运行1个java进程，所有角色在一个进程中运行，主要用于调试Pseudo-Distributed mode（伪分布式）一个机器运行多个进程，每个角色一个进程，主要用于调试Cluster mode（ 集群模式）集群模式主要用于生产环境部署，会使用N太主机组成一个Hadoop集群。..............
2022-08-04 15:59:54
822
原创 超强总结，用心分享丨大数据超神之路(五)：多线程aa
而在多个CPU系统中，则这些可以并发执行的程序便可以分配到多个处理器上（CPU），实现多任务并行执行，即利用每个处理器来处理一个可以并发执行的程序，这样多个程序便可以同时执行。目前电脑市场上说的多核CPU，便是多核处理器，核越多，处理的程序越多，能大大的提高电脑运行的效率。处理器的计算机肯定是的处理多个任务的，只能是多个任务在单个CPU上并发运行。.........
2022-07-26 07:46:32
606
原创 超强总结，用心分享丨大数据超神之路(四)：ZooKeeper开发必知必会
高并发系统为了应对流量增长需要进行节点的横向扩展，所以高并发系统往往都是分布式系统。高并发系统基本都需要进行节点与节点之间的配合协调，这就需要用到分布式协调中间件（如ZooKeeper）。 简单来说，ZooKeeper=文件系统+通知机制，和设计模式里的观察者模式很像。 ZooKeeper在实际生产环境中应用非常广泛，比如SOA的服务监控系统，大数据基础平台Hadoop、Spark的分布式调度系统。ZooKeeper提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、
2022-07-13 16:31:31
1421
原创 超强总结，用心分享丨大数据超神之路(三)：Linux必备知识
Llinux副本适合人群：运维人员，程序开发人员，DBA数据库管理员等 在看这节之前，请大家思考一个问题，如何拥有一台属于自己的linux服务器，当然你可以在实体机上安装Centos操作系统，但是大部分人都是在虚拟机中学习，这篇文章所有的操作也是在虚拟机中什实现的。实体机可以跳过本节，了解一下也是可以的。 桥接模式使用VMnet0 网卡，这块网卡默认在Windows10/11中是不显示的。虚拟机选择了桥接模式，可以说，在网络层面，虚拟机相当于一台实体机，可以自由访问与被访问及上网。 仅主机模式使用
2022-07-03 14:29:17
1065
原创 超强总结，用心分享丨大数据超神之路(二)：高级特性
面向对象编程，对象的本质：对数据和行为的一个封装函数和方法的区别 类中的函数称之方法。函数参数六、面向对象 Scala 的面向对象思想和 Java 的面向对象思想和概念是一致的。 Scala 中语法和 Java 不同，补充了更多的功能。 在处理程序，尤其是大型程序时，减少耦合是很重要的。所谓的耦合，指的是程序不同部分依赖其他部分的程度。低耦合能减少程序某个看似无害的改动对其他部分造成严重后果的风险。减少耦合的一种方式是以模块化的风格编写代码。你可以将程序切割为若干个较小的模块，每个模
2022-07-02 17:13:03
373
原创 工业级Pass云平台&SpringCloudAlibaba综合项目实战（二）：解决方案和工作效率
文章目录解决方案分析方法论SWOTSMART原则【目标管理、设置】DDD领域驱动设计DevOps提效解决方案分析方法论SWOT 什么是SWOT: 例子中间件RabbitMQ和RocketMQ队列选择对比S （strengths）是优势：团队多人用过、AMQP跨语言、模型API丰富W （weaknesses）是劣势：阅读过源码的人过少, Erlang开发，二次修改不容易O （opportunities）是机会：多个容器平台拥抱RabbitMQ, 易用性、扩展性强T （threats）是威胁：
2021-01-28 23:53:59
1525
1
原创 工业级Pass云平台&SpringCloudAlibaba综合项目实战（一）：序言
文章目录基础技术要求阅读本专栏的建议后端or前端项目预览图亮点概括学习准备错误纠正准确性问题关于转发在线答疑基础技术要求 此专栏并非Java入门教学，需要各位了解以下基础技术：SpringCloudAlibaba（非常重要2~3天学完）SpringBoot2.X（基础1天搞定）Docker（1天搞定）分布式消息队列RabbitMQ+AMQP知识（1~2天学完）MybatisPlus+Lombok+SwaggerUI3.0（1天学完）有一定的开发经验或者部署过项目 当然并不要求各位精
2021-01-28 22:37:30
2922
2
原创 软件架构设计（一）：软件架构概念
文章目录1.1 软件架构的分类2.1.1 组成派2.1.2 决策派2.1.2 软件架构概念大观2.2 概念思想的解析2.2.1 软件架构关注分割和交互 不积跬步，无以至千里。 程序员在向架构师转型时，都希望尽早清除“什么是架构”。但是架构的额定义又多又乱。已造成“什么是架构”成了程序员向架构师转型的最大门槛。1.1 软件架构的分类 一个词（比如电脑），可能并不代表一件单独的东西，而是代表了一类事物。这个一般性的表述就是我们通常所说的概念。 也许大家期待一个干净利落的软件
2020-12-14 17:27:44
828
原创 原创 Flutter从0到1构建大前端应用（二十）：注释模板
类注释/***@program: ${PROJECT_NAME}*@description: ${description}*@author: 许晨*@create: ${YEAR}-${MONTH}-${DAY} ${HOUR}:${MINUTE}*@version v1.0*/方法注释
2020-01-16 21:43:03
658
原创 原创 Flutter从0到1构建大前端应用（十六）：nginx
参考文献点击访问1. 安装篇1-1安装nginx相关依赖pcre安装通过远程连接工具上传pcre安装包到/home目录下并解压缩。进入到pcre目录，./configure进行编译。makemake install查看版本号，pcre -config --version1-2 安装 zlibyum -y install make zlib zlib-devel gcc-c+...
2020-01-14 15:28:07
572
原创 原创 Flutter从0到1构建大前端应用（十八）：http内网穿透篇
文章目录前言1. Spring Boot项目 配置HTTPS1-1 LS内网穿透1-2 Spring Boot项目配置1-3 RS服务器配置1-3-1 RS内网穿透1-3-2 RS Nginx配置（重点）2 Spring Boot +LS+RS启动测试前言负责本地网站的承载的服务器下面称为LS。负责远程端口、负载均衡，内网穿透的服务器下面成为RS.1. Spring Boot项目 配置H...
2020-01-13 23:59:07
541
原创 从0到1构建大前端应用（番外篇十三）：swagger
前后端分离Vue+SpringBoot后端时代：前端只用管理静态页面：html==>后端。模板引擎JSP==>后端是主力前后端分离时代后端：后端控制层，服务层，数据访问层【后端团队】前端：前端控制层，试图层【前端团队】前端伪造后端数据，json。已经存在了，不需要后端，前端工程依据能跑起来。前后端如何交互？==>API前后端相对独立，松耦合前后端甚至可以部署在...
2020-01-09 17:00:54
334
原创 原创 Flutter从0到1构建大前端应用（十二）：虚拟机答疑
给Linux分配多少Swap空间才够呢？Swap交换大小应该是多少？交换应该是RAM大小的两倍还是RAM大小的一半？如果我的系统有几GB的RAM，我是否需要交换？也许这些是关于在安装Linux时选择交换大小的最常见问题。这不是什么新鲜事。交换大小一直存在很多混乱，众说纷纭。Swap两倍于内存的时代已经过去很长一段时间，推荐的交换大小是RAM大小的两倍，但这条黄金法则不再适用于现代计算机。...
2020-01-07 09:29:34
331
原创 原创 Flutter从0到1构建大前端应用（十一）：微信登陆
微信测试号登录及https://blog.csdn.net/baidu_28997655/article/details/81459134
2020-01-06 10:36:35
334
原创 原创 Flutter从0到1构建大前端应用（八）：接口分析
业务笔记用户注册接口在用户注册功能的时候，我们后端首先要思考，我们到底要收集用户的什么信息，这个要结合现有产品设计的文档来定。因为用户注册就相当一起点了所以我们要根据现有业务来决定要收集用户什么信息，根据用户表结构，用户注册需要用户名，密码，手机号，邮箱，性别，昵称，微信号，来源。创建一个vo，用于接收表单数据。...
2020-01-03 17:29:37
235
原创 原创 从0到1构建大前端应用（番外篇七）：Mycat数据库中间件
为什么要用mycat？java与数据库紧耦合。高访问量，高并发对数据库有压力。云服务器压力非常大读写请求数据量不一致。mycat相当于一个逻辑数据库，把真实数据库包起来了，这样的好处是显而易见的。其结构和nginx相似。干什么1.读写分离。不用mycat也可以用java程序实现读写分离，但是需要判断哪些sql是查询，那些sql市update。紧耦合，用mycat实现读写分离。双...
2020-01-02 14:55:18
152
原创 从0到1构建大前端应用（番外篇六）：硬件设备选择
家用服务器选择基本参数规格型号惠普8570w(C5P40PA)处理器Intel Core i7-3720QM(2.6GHz/L3 6M)主板参数Intel QM77操作系统Centos7产品类型移动工作站存储内存容量32GB硬盘类型企业级固态硬盘（带掉电保护）硬盘容量4TB光驱类型DVD刻录机显卡...
2019-12-25 19:25:41
265
原创 从0到1构建大前端应用（番外篇五）：通用mapper
文章目录前言1.使用通用mapper1-1 继承通用的Mapper,必须指定泛型1-2 泛型(实体类)的类型必须符合要求前言经常用mybatis的的都知道，使用mybatis orm框架存在一个非常不友善的问题就是，就是每操作一个单表就需要自己手写一个xml文件，虽然说可以用工具生成xml和实体类可以解决这个问题，但是二次开发的时候对某个表字段进行修改的时候，生成xml文件就不现实啦。最近发...
2019-12-24 17:26:54
231
原创 从0到1构建大前端应用（番外篇三）：出错记录
只记录半个小时以上仍然未解决的错误。Windos环境nginx报403错误异常原因：路径配置错误，静态资源路径目录最后没有加/#出错现场 server{ listen 80; server_name localhost; ssi on; ssi_silent_errors on; location / { alias E:/xcEdu/xc-ui-pc-s...
2019-12-23 17:07:54
235
原创 从0到1构建大前端应用（番外篇三）：Echarts图表
先给大家介绍一下我们今天要讲的南丁格尔玫瑰图，南丁格尔玫瑰图，是由南丁格尔发明的，她是英国护士和统计学家。其在英国军营工作时收集了在克里米亚战争时期的士兵在不同月份的死亡率和原因分布，通过玫瑰图的方式有效的打动了当时的高层管理人员，于是医疗改良的提案才受到了大力的支持，将士兵的死亡率从42%降低至2%，因此后来将此图形称为南丁格尔玫瑰图。那南丁格尔玫瑰图一般用在什么场景呢？其实南丁格尔玫瑰图和饼...
2019-12-22 00:11:12
294
原创 从0到1构建大前端应用（番外篇二）：内网穿透
文章目录前言1. frp服务端安装1-1 阿里云centos7服前言新的内网穿透工具frp，比起ngrok，更加容易使用和上手，网速和稳定性相比ngrok有很大提高。个人也是很推荐这个内网穿透工具，作为收费专栏的番外篇，尽量做到手把手教学。1. frp服务端安装1-1 阿里云centos7服...
2019-12-20 01:29:02
490
原创 从0到1构建大前端应用（番外篇一）：docker镜像
docker实战第1章 基础入门实战1-1 centos7环境下安装docker1-2 配置阿里云镜像加速服务第1章 基础入门实战1-1 centos7环境下安装docker1-2 配置阿里云镜像加速服务阿里云镜像加速器配置地址：https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors每个账号都有独一无二的镜像加速地址。......
2019-12-15 20:59:39
529
1
原创 从0到1构建大前端应用
本专栏是一本待出版的纸质书籍，并非一些杂碎文章的集合，是非常有结构和套路的，所以大家阅读时千万不能当作厕所蹲坑、吃饭看手机时的所谓碎片化读物。碎片化阅读只适合听听罗胖子、大鹏他们扯扯犊子，开阔一下视野用的。对于专业的技术知识来说，大家必须付出一个完整的时间段进行体系化学习，这样尊重知识，工资才能尊重你。
2019-11-27 15:26:52
406
原创 Flutter从0到1构建大前端应用（五）：学习小结
大家好，我是练习时长半个月的Flutter练习生，喜欢逛论坛，写Demo，发博客。本篇博客总结了自己在学习中遇到的难点和易错点，自己从大佬那里学到了，然后可以告诉别人，别人又可以再传递给其他人，这样Flutter的社区生态才会越来越好。
2019-11-26 09:36:28
244
原创 Flutter从0到1构建大前端应用（四）：组件
IT界著名的尼古拉斯·高尔包曾说：轮子是IT进步的阶梯！热门的框架千篇一律，好用的轮子万里挑一！Flutter作为这两年开始崛起的跨平台开发框架，其第三方生态相比其他成熟框架还略有不足，但轮子的数量也已经很多了。本文挑选日常app开发常用的轮子分享出来，给大家提高搬砖效率，同时也希望flutter的生态越来越完善，轮子越来越多。 本文准备了超过50个轮子推荐，工作原因，尽量每1-2天更新一个组件。
2019-11-20 11:51:17
619
原创 Flutter从0到1构建大前端应用（二）：Dart语法进阶
文章目录闭包闭包全局变量：全局变量常驻内存、全局变量污染全局局部变量的特点：不常驻内存会被垃圾机制回收、不会污染全局 想实现的功能： 1.常驻内存 2.不污染全局闭包很好的实现了上面的两个需求。在Dart中可以创建一个没有函数名称的函数，这种函数称为匿名函数，或者lambda函数或者闭包函数。但是和其他函数一样，它也有形参列表，可以有可选参数。...
2019-11-14 11:59:47
319
原创 Flutter从0到1构建大前端应用（一）：Dart环境配置及基础语法
这是一个追求极致性能的时代，借助可移植的GPU加速的渲染引擎以及高性能本地代码运行时以达到跨平台设备的高质量用户体验，90FPS超高帧率，如丝般顺滑。这是一个看脸的时代，一切皆为Widget的理念，对于Flutter来说，手机应用里的所有东西都是Widget，通过可组合的空间集合、丰富的动画库以及分层扩展的架构实现了富有感染力的灵活界面设计。
2019-11-12 15:45:43
638
原创 计算机网络
文章目录在OSI参考模型，将网络分为7层物理层：是OSI/RM的最低层，提供原始物理通路，规定处理与物理传输介质有关的机械/电气特性和接口。物理层建立在物理介质上（而不是逻辑上的协议和会话），主要任务是确定与传输媒体接口相关的一些特性，即机械特性、电气特性、功能特性及规程特性，涉及电缆，物理端口和附属设备。物理层数据交换的单位为二进制位（bitb），因此要定义传输中的信号电平大小、连接设备的开...
2019-09-18 17:34:47
241
原创 第一章【计算机组成与体系结构】
文章目录考情分析数据的表示（★★★★）运算器与控制（★★★★）Flynn分类法（★★）CISC与RISC（★★）流水线与技术（★★★★）存储系统（★★★★）总线系统（★）可靠性（★）校验码（★★）考情分析考试题型分析：选择题 考试时间 上午 ...
2019-07-16 00:05:50
731
腾讯公司面试题库
2018-02-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人