CD523的博客

原创 EasyExcel导出xlsx时，某一列的数据为空

EasyExcel导出xlsx时，某一列的数据为空

原创 EasyExcel多列单元格设置下拉框

EasyExcel官网文档地址：https://easyexcel.opensource.alibaba.com/docs/current/项目场景：实际开发中，需要用到很多下拉框去供使用者选择特定得值，但是easyExcel官方文档中提供得示例很简单，只有1个列有下拉框。在此分享一下多列下拉框得心得体会。

原创 HDFS写入数据流程

1 发送请求 ，连接namenode，请示写入数据。2. namenode接受写入请求后，首先判断当前这个操作用户是否拥有写入权限，如果不具有直接报错。如果有写入权限，接着判断要写入的目录下是否存在这个文件，如果存在，报错，如果不存再，则通过datanode可以上传3. 客户端对文件进行分操作形成block块4 先请求 第一个block，存储到哪些地方5.根据机架感应原理，网络拓扑关系，副本机制，找到相应可以上传的datanode连接列表，返回给客户端。6.从接受列表中选择第..

原创 HDFS的读取数据流程

1. 发送请求，连接namenode，执行读取数据2. namenode接受读取请求后，首先判断当前这个操作用户是否拥有读取权限，如果不具有直接报错。如果有读取权限，接着判断要读取的目录下是否存在这个文件，如果不存在，报错，如果存在，则根据机架感应原理，网络拓扑关系，副本机制，返回部分或者全部的block所在的datnode地址3.当接受部分或全部的block列表后，然后进行并连接datanode节点，开始读取数据4.当这些地址中的block全部读取完之后，如果之前请求的时部分的bloc..

原创 Secondary Namenode 原理图

转载 mapreduce流程图+天龙八步

MapReduce是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在Hadoop集群上。既然是做计算的框架，那么表现形式就是有个输入（input），MapReduce操作这个输入（input），通过本身定义好的计算模型，得到一个输出（output）。对许多开发者来说，自己完完全全实现一个并行计算程序难度太大，而MapReduce就是一种简化并行计算的编程模型，降低了开发并行应用的入门门槛。Hadoop MapReduce构思

原创 HDFS架构图

原创 hadoop集群搭建

集群介绍HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。HDFS集群负责海量数据的存储，集群中的角色主要有：NameNode、DataNode、SecondaryNameNodeYARN集群负责海量数据运算时的资源调度，集群中的角色主要有：ResourceManager、NodeManager那mapreduce是什么呢？它其实是一个分布式运算编程框架，是应用程序开发包，由用户按照编程规范进行程序开发，后打包运行在HDFS集群上，并

原创 Flink之flie和mysql之间的相互读取 和写入

file_2_filepackage com.cmbyc.sink;import org.apache.flink.api.common.RuntimeExecutionMode;import org.apache.flink.core.fs.FileSystem;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.streaming.api.environment.Strea

原创 Java入门

学习目标：Java入门学习内容：数据类型Java数据基本类型：a 整数型：字节型：byte（-2 ^ 7~ 2 ^ 7-1)短整型：short（-2 ^ 15~ 2 ^ 15-1)整形：int（-2 ^ 31~ 2 ^ 31-1)长整型：long（-2 ^ 63~ 2 ^ 63-1)b 浮点型：单精度浮点数：float（3.1410 ^ （-38）~ 3.1410 ^ （38）)双精度浮点数：double（1.710 ^ （-308）~ 1.710 ^ （308）)c 字符型：ch

原创 redis总结

1.nosql数据库的发展历程1.1 web系统发展：web系统: 1.0 -- > 2.0改变点: 用户量不断提升 , 业务(页面)也在不断提升导致: 原有的数据库系统无法承载这么大的并发访问, 此时需要一些基于内存型数据库(nosql型)常见的nosql型数据库: memcache , redis, MongoDB HBase....nosql型数据库: 非关系型数据库不支持多行事务, 不支持表关系1.2 nosql数据库应用场景适用场景:1) 高并发的数.

原创 shell编程语言

1判断语句1.1数字判断1.2字符串判断1.3文件判断

原创 大数据 与 hadoop介绍

大数据1.大数据的概念数据: 可以被存储和获取的信息皆为数据.数据的单位 :1Byte = 8bit 1K(千)= 1024Byte 1MB（兆)=1024K 1G(吉) = 1024M1T(太)=1024G 1P(拍)=1024T 1E(艾)=1024P 1Z(泽)=1024E1Y (尧)=1024Z 1B(布)=1024Y 1N(诺)=1024B 1D(刀)=1024N大数据主要解决两个问题 :数据的存储 数据的计算大数据的五大特点大：数据量非常的庞大多...