- 博客(20)
- 收藏
- 关注
RSS订阅原创 一些文案的收集
Ideal storage choice, ideal choice for home and professional organizers. These transparent storage boxes are perfect for anywhere in your home.
2021-08-13 15:16:03
97
原创 大数据技术之Flume
大数据技术之Flume概述Flume定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构（采集日志的单位是一行），灵活简单Flume最主要的作用就是：实时读取服务器本地磁盘的数据，将数据写入HDFSFlume的优点可以与任意存储进程集成输入的数据速率大于写入目的的存储速率，flume会进行缓冲，减小...
2020-01-02 18:26:06
269
原创 笔记本linux系统重装步骤（Centos7.0）
笔记本linux系统重装步骤（Centos7.0）准备：U盘下载Linux系统iso第一步:制作U盘启动盘做启动盘的步骤百度有很多方法第二步:进入BIOS界面设置U盘启动每个品牌进入BIOS的方法不同，去百度自己电脑品牌进入BIOS的方式以及U盘启动方式。第三步:重启电脑，进入装机页面如果你的电脑没有装过系统，直接回车就好，如果你的电脑之前装过系统，注意在这一步不要着急点回...
2019-12-18 13:23:11
2781
1
原创 Yarn资源调度器
Yarn资源调度器Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序相当于操作系统之上的应用程序Yarn基本架构Yarn主要由ResourceManager，NodeManager，ApplicationMaster和Container等组件构成YARN 是一个资源管理、任务调度的框架，主要包含三大模块：Reso...
2019-12-09 15:22:19
234
原创 MapReduce
MapReduceMapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在Hadoop集群上MapReduce优缺点优点MapReduce易于编程它简单的实现了一些接口，就可以完成分布式程序，这个分布式程序...
2019-12-05 16:34:54
180
原创 DataNode
DataNodeDataNode心跳机制DN第一次启动的时候（全新的状态下），会向NN注册注册成功之后，每周期（时间可变）向NN上报块信息每3秒发送以此心跳：心跳返回结果导游NN给该2DN的命令[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bMo57ulO-1575346628768)(F:\笔记\大数据\hadoop\img\datanode心...
2019-12-03 12:17:55
154
原创 Namenode和SecondaryNamenode
Namenode和SecondaryNamenodeNN和2NN工作机制思考：namenode中元数据是储存在哪里的？ 首先我们做一个假设，如果储存在namenode节点的磁盘，因为需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只是存在内存中，一旦发生断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的fsimage。 这样又会...
2019-12-03 10:43:41
176
原创 HDFS小节
HDFS小节HDFS产生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种HDFS定义HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录数来定位文件；其...
2019-12-02 16:49:41
127
原创 hadoop浅谈
hadoop浅谈什么是hadoop百度百科：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件...
2019-11-06 16:34:45
243
原创 初识大数据
初识大数据什么是大数据百度百科：大数据（big data）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据指的是不用传统的抽样调查这样的捷径，而采用所有数据进行分析处理大数据的5V特点Volume(大量)：数据的大小决定所考虑的数据的价值和潜在的信息Vel...
2019-11-06 10:33:58
284
原创 初识Java中的JDBC
JAVA中的JDBCJDBC概念: Java DataBase Connectivity (java数据库链接),java语言操作数据库本质:其实就是官方(sun公司)定义的一套操作所有操作关系型数据库的规则(接口),由各个数据库厂商去实现这套接口,提供jar包,我们可以使用这套(jdbc)接口进行编程,真正实行代码的是驱动jar包中的实现类快速入门步骤导入驱动j...
2019-10-12 10:25:46
119
原创 MySQL的基础DML语句(每日笔记)
初识mysql关于DML与DQL(每日笔记)DML: 增删改表中数据添加数据:语法insert into 表名 (列名1,列名2,....列名n) values (值1,值2,...值n);注意:列名和值必须一一对应如果表名后不定义列名,则默认给所有列添加值insert into 表名 values (值1,值2,...值n);除了数字类型,其他类型需...
2019-10-08 22:22:11
192
1
原创 初识mysql关于DDL(每日笔记)
初识mysql(每日笔记)数据库的基本概念数据库:DataBase 简称DB什么是数据库?用于存储和管理数据的仓库.数据库的特点:持久化存储数据,是将数据存储在文件中.其实数据库就是一个文件系统方便存储和管理数据使用了统一的方式来操作数据库常见的数据软件:mysql , oracle , db2 , mongoDB , sql server等MySQL数据库软...
2019-09-28 14:40:54
289
1
原创 输入输出流
输入输出流(每日笔记)本人初识java，如有错误或者不足，虚心求各位大神教导此总结只限老师提到的知识点,当然还有其它的知识点, java的水不浅,需要慢慢的摸索什么是输入流?什么是输出流?输入流简单的说 输入流 就是把文件读到内存。输出流输出流 就是把内存中存储流的生成文件。例如：修改一图片 需要通过输入流把图片读到内存，相应的软件对图片进行处理。处理完以后。修改好的“图片”仅仅是...
2019-09-23 22:11:17
164
原创 关于ArrayList的常见问题(课余练习)
关于ArrayList的常见问题今天在使用ArrayList删除(remove方法)的时候,发现了一些问题,以此做一个总结加深记忆在学完ArrayList集合后,我们对ArrayList有所了解ArrayList类是一个特殊的数组。通过添加和删除元素，就可以自动改变数组的长度。ArrayListArrayList底层仍然采用数组来实现，所以它也具有数组的部分特点，例如在遍历或者获取元素时...
2019-09-23 21:15:02
288
原创 关于集合(每日笔记)
关于集合(每日笔记)什么是集合?集合是作为数据结构的载体,可以对元素景象加工和输出,以一定的算法实现最基本的增删改查功能因此集合是所有编程语言的基础数组(了解)数组可以使用索引下标进行快速定位,并获取指定位置的元素数组的下标是从0开始的,这源于BCPL语言,它将指针设置在0位置,用数组下标作为直接偏移量进行计算如果下标从1开始,计算机偏移量就要使用当前下标减1的操作.加减法运算在数组下...
2019-09-21 17:08:22
202
原创 spring JdbcTemplate(课余练习)
spring jdbc(课余练习)什么是spring jdbcspring框架对jdbc的简单封装，提供了一个JdbcTemplate 对象简化jdbc的开发怎么使用spring jdbc使用步骤：导入jar包commons-logging-1.2.jarspring-beans-5.0.2.RELEASE.jarspring-core-5.0.5.RELEASE.j...
2019-09-21 16:11:43
509
原创 c3p0数据库连接池使用步骤(课余练习)
c3p0:数据库连接池使用步骤(课余练习)什么是数据库连接池?其实就是一个容器(集合),用来存放数据库链接的容器当系统初始化好之后,容器被创建,容器中会申请一些链接对象,当用户来访问数据库的时候,从容器中获取链接对象,用户访问完成后,会将链接对象归还给这个容器数据库连接池的优点:节约资源用户访问高效如何实现:DataSource:javax.sql 包下的一个接口,数据源是...
2019-09-21 10:09:12
527
原创 输入输出流(每日笔记)
输入输出流(每日笔记)本人初识java，如有错误或者不足，虚心求各位大神教导什么是输入流?什么是输出流?输入流简单的说 输入流 就是把文件读到内存。输出流输出流 就是把内存中存储流的生成文件。例如：修改一图片 需要通过输入流把图片读到内存，相应的软件对图片进行处理。处理完以后。修改好的“图片”仅仅是在内存中。需要用输出流进行保存。生成新修改的图片。java中什么是文件相关记录...
2019-09-20 18:09:40
194
1
原创 String类与StringBuffer,StringBuilder的区别(每日笔记)
String类与StringBuffer,StringBuilder的区别今天老师讲到String类，StringBuffer，StringBuilder，容易混淆，做个笔记以便记忆，本人初识java，如有错误或者不足，虚心求各位大神教导String类包:java.lang.Stringjava使用String类创建一个字符串变量，字符串变量属于对象。他并不是基本数据类型,是一个类特...
2019-09-19 22:18:40
371
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人