hailunw的专栏

原创 Spark项目---- 模拟互联网网站用户行为实时分析系统（第一部分）

简介步骤

原创 SpringBoot项目实战-在线智能办公系统（第一部分--环境搭建）

https://www.bilibili.com/video/BV1464y1o78E?p=14&spm_id_from=pageDriver

原创 大数据项目实战---电商埋点日志分析（第一部分，往hdfs中写入埋点日志的数据）

1）生成埋点日志2）

原创 求职简历模板

姓名: 性别: 出生年月： 手机号： 13130020665 邮箱： 居住住址: 自我评价: 2008年****专业毕业，英语听说读写无障碍、日语读无障碍。 13年大数据开发测试运维经验；熟悉数据仓库建设方法论，熟悉大数据架构理论。 掌...

原创 搭建Eclipse+Spark开发环境

1）下载安装Eclipse2）安装Scala IDE for Eclipse

原创 Java GC简介

GC简介：GC（garbage collection，内存自动回收），是Java区别于C++的一个特点。底层实现是GC跟踪正在使用的对象，并且将剩余的对象做标记稍后清除，从而实现内存的自动管理GCRoot 简介JVM中通过可达性算法判断对象是否可被回收。基本思路是从GCRoots的活跃引用为起始点，从这些集合节点开始向下搜索，搜索所走过的路径成为引用链。如果一个对象和GC rotts之间没有任何链，说明对象可被回收。JVM Heap内存模型Young-EdenEden进一步划分为驻留

原创 Webservice简介

简介RPC（Remote Procedure Call，远程过程调用），通常包含两个部分，序列化和通信协议。常用序列化协议包括json，xml，hession，protobuf，thrift，text，bytes等。当前常用远程通信技术包括基于HTTP的RESTful和基于TCP的RPC协议。RESTful接口RESTful，是Representation State Transfer的缩写。它包含以下概念。资源（Resource），表示网络上的一个实体（文本，图片，歌曲，服务，等）

原创 微服务简介

简介Spring Cloud是一系列框架的有序集合，是一种常见的微服务框架。同类产品有ServiceComb，ZeroC ICE等。Spring Cloud基于SpringBoot的开发便利性，简化了分布式系统基础设施的开发，如服务发现注册，配置中心，消息总线，负载均衡，断路器，数据监控等，都可以以SpringBoot的开发风格做到一键启动和部署。...

原创 Java常用数据类型

数据类型 存储大小 取值范围 默认值 byte 8位，有符号位 -2^7, 2^7-1 0 short 16位，有符号位 -2^15, 2^15-1 0 int 32位，有符号位 -2^31, 2^31-1 0 long 64位，有符号位 -2^63, 2^63-1 0L float 32位 0.0 double 64位 0.0d char ..

原创 分布式系统锁实现方案简介

1）

原创 分布式系统唯一id生成方案简介

1）

原创 云计算简介

原创 读写分离（主从复制）简介

概念

原创 分库分表简介

分库分表

原创 Java常见面试题

散列表（哈希表）对应的容器有哪些？HashMapHashsetHashTableConcurrentHashMap树对应的容器有哪些？TreemapTreeset什么是Hash冲突，有哪些解决方法？两个不同的 key 计算出来的 hashcode 值相同。1.开放地址方法　　（1）线性探测，按顺序决定值时，如果某数据的值已经存在，则在原来值的基础上往后加一个单位，直至不发生哈希冲突。　　　（2）再平方探测，按顺序决定值时，如果某数据的值已经存在，则在.

原创 MySQL的索引简介

定义索引是一种单独的、物理的对数据库表中一列或多列的值进行排序的一种存储结构，它是某个表中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单。索引的数据结构二叉树红黑树Hash表B-Tree...

原创 计算机数据的度量衡

计算机数据的度量衡 名称 和字节的关系 bit 1/8 Byte 1 KB 1024 MB 1024*1024 GB 1024*1024*1024 TB 1024*1024*1024*1024 PB 1024*1024*1024*1024*1024 ExaB 1024*1024*1024*1024*102...

原创 MySQL Log简介

Airflow是一款开源的，分布式任务调度框架，它将一个具有上下级依赖关系的工作流，组装成一个有向无环图。

原创 MySql中SQL的执行过程

1)

原创 MySQL 的隔离级别及MVCC简介

DDD（Domain-Driven Design，领域驱动设计），由Eric Evans在他的同名书中首次描述-旨在将我们的注意力放在应用程序的核心，专注于业务领域固有的复杂性本身。MVC和DDD主要的区别在Service层，主要区别： MVC：Service 实现全量业务逻辑，BO（Business Object）保存业务对象，属于贫血模型； DDD：Service 实现少量业务逻辑，DO（Domain Object） 包含聚合跟、聚合、实体、值对象，从技术上来看就是实体，里面有相关领

原创 Informatica PowerCenter 简介（三）

PowerCenter ClientPowerCenter Client 由管理 repository，设计mapping，mapplet以及加载数据的session的工具组成。它包括如下工具： Designer. 通过Designer我们可以创建mappings。 Mapping Architect for Visio. 通过Mapping Architect for Visio，我们可以创建mapping模板。 Repository Manager. 通过Repositor.

原创 Informatica PowerCenter 简介（二）

常用组件：1）Expression组件，基于行级的数据项赋值修改计算，在同行记录中可以新增减少数据项。属于Passive组件。可以进行数据类型转换，数据项计算等。2）Source Qualifier、Filter组件，对流入组数据中的记录数据进行过滤，类似于关系型数据库中的where条件。属于Active组件。3）Router组件，对流入组件中的记录数据按照条件进行分发，类似于Java中的switch语句。属于Active组件。4）Joiner组件，对异构数据进行关联（同构关联用Source

原创 Informatica PowerCenter 简介（一）

参考文档：https://docs.informatica.com/data-integration/powercenter/10-5/getting-started/product-overview/introduction.html版本信息：当前最新版本是 10.5 。历史版本有 10.4.1, 10.4.0，10.2 HF2,10.2 HF1, 10.2，10.1.1 HF2， 10.1.1 HF1， 10.1.1， 10.1 和 10.0简介：Informatica Power.

原创 AJAX简介以及和Websocket的区别

Ajax简介Ajax全称是（Asynchronous JavaScript and Xml）。Ajax的的优点是 1）可以无需刷新页面与服务器进行通信； 2）允许根据用户事件来更新部分页面内容。Ajax的缺点是 1）没有浏览历史不能回退； 2）存在跨域问题； 3）SEO（Search Engine Optimization,爬虫）不友好。Ajax与Websocket的关系...

原创 Spark项目---- 模拟互联网网站用户行为实时分析系统（第三部分）

1）使用IDEA创建springboot项目

原创 服务器体系SMP、NUMA、MPP的介绍

SMPNUMAMPP

原创 HBASE的安装步骤

1）下载安装包并解压缩[user@NewBieSlave1 ~]$ wget https://mirrors.bfsu.edu.cn/apache/hbase/2.3.5/hbase-2.3.5-bin.tar.gz--2021-07-23 23:52:23-- https://mirrors.bfsu.edu.cn/apache/hbase/2.3.5/hbase-2.3.5-bin.tar.gzResolving mirrors.bfsu.edu.cn (mirrors.bfsu.edu.c

原创 Spark项目---- 模拟互联网网站用户行为实时分析系统（第二部分）

1）将IDEA中开发的Scala类打包，更新到Kafka的服务器上

原创 Oracle数据库性能调优

Oracle数据库应用系统的调优，实质就是降低CPU负载、改善I/O性能。表空间优化SYSTEM表空间用于存放ORACLE系统的有关信息，要保证其有足够的空余量。一般的用户建立的对象（object）不应放在SYSTEM表空间中。应将用户表空间及数据文件一次性设置成合适的大小，避免数据文件自动增长，造成数据段块/段的不连续，影响系统性能。定期检查数据库表空间的使用情况，进行碎片整理，防止表空间碎块过多，影响系统性能。通过查询视图dba_extents可获取表空间详细的使用情况。合并表

原创 Oracle数据库备份常用方法

方法一、exp/imp逻辑备份与恢复(常规备份)：它是oracle最常用最简单的方法，一般是基于应用的owner级做导出导入。关于以上方法的导入导出具体实现方法可参考楼主的另外一篇文章，文章包含导入导出时常遇到的问题的解决exp/imp逻辑备份与恢复优缺点：优点是可以跨平台使用;缺点是停机时间长，停机时间为从exp到网络传输到新库，再加上imp的时间。方法二、Storage存储迁移这种方法常常适用于裸设备。一般，数据文件、控制文件、日志文件、spfile都在存储上(一般情况

原创 搭建Pop3 邮件服务器

1) 安装Postfixyum -y install postfix

原创 访问FastDFS的JavaDemo

1

原创 Nginx的简介以及安装

1）简介2）安装

原创 FastDFS的简介和安装

1）FastDFS的简介FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。2）FastDFS的安装步骤2.1）安装gccyumi.

原创 SpringBoot项目实战-在线智能办公系统（第十三部分--个人中心功能实现，自定义反序列化，FastDFS工具类编写，更新个人头像，完结篇）

待续

原创 SpringBoot项目实战-在线智能办公系统（第十二部分--获取所有员工套账，员工套账功能实现，webSocket普通配置，webSoket有关jwt的配置，webSocket流程讲解）

待续

原创 RabbitMQ的安装

待续

原创 RabbitMQ的简介

待续

原创 Shiro简介

待续

原创 Maven常用命令简介

待续