- 博客(17)
- 收藏
- 关注
RSS订阅原创 蓝桥杯：贪心算法例子java实现
什么是贪心算法呢？所谓贪心算法是指，在对问题求解时，总是做出在当前看来最好的选择。也就是说，不从整体最优解出发来考虑，它所做出的仅是在某种意义上的局部最优解。贪心算法不是对所有问题都能得到整体最优解，但对范围相当广泛的许多问题都能产生整体最优解或整体最优解的近似解。贪心算法的基本思路如下：1.建立数学模型来描述问题。2.把求解的问题分成若干个子问题。3.对每个子问题求解，得到每...
2018-11-05 11:02:04
2987
原创 LTE网络架构 学习整理
从高层次的网络架构来看，LTE是由以下三个主要组件：用户设备 (UE). 进化UMTS地面无线接入网 (E-UTRAN). 分组核心演进 (EPC).演进分组核心网与分组数据网络诸如因特网，专用企业网络或IP多媒体子系统在外界连通。系统不同部分之间的接口，Uu，S1和SGI表示，如下所示： 一、用户设备 (UE)用于LTE的用户设备的内部结构是相同的使用UMTS和GSM中...
2018-10-27 21:30:55
6527
原创 java集合框架学习
集合类的由来： 对象用于封装特有数据，对象多了需要存储，如果对象的个数不确定，就使用集合容器进行存储。 集合特点：1，用于存储对象的容器。2，集合的长度是可变的。3，集合中不可以存储基本数据类型值。 集合容器因为内部的数据结构不同，有多种具体容器。 不断的向上抽取，就形成了集合框架。框架的顶层Collection接口：Collection的常见方法：1，添加...
2018-10-07 13:29:34
172
原创 Java API --Pattern类
正则表达式 写一个功能实现QQ号码的校验。import java.util.Scanner;public class RegexDemo01 { public static void main(String[] args) { Scanner sc = new Scanner(System.in); System.out.println(...
2018-10-06 15:36:33
305
转载 数据库和jsp前台界面
数据库和jsp和前台页面 javase1.基本语法2.面向对象的知识3.集合容器:Collection--List----ArrayList----LinkedList----Vector --Set----HashSet----TreeSet----LinkedHashSetMap----HashMap----TreeMap----Hashtabl...
2018-07-28 11:20:03
1233
原创 Hadoop的I/O操作（压缩、序列化、基于文件的数据结构）
一、序列化序列化就是把结构化对象，转换成字节流序列或者其他数据传输协议以便于永久化存储和网络传输。反序列化是序列化的逆过程，即将收到的字节流序列、数据传输协议等，转换成结构化的对象。Hadoop中用于多节点间进程通信的是RPC（远程过程调用）。RPC序列化格式如下：1、格式紧凑，节省资源，由于带宽和存储是数据中心中的最稀缺的资源，我们必须尽一切可能缩小传递信息的大小和存储量，提高网络带宽利用率2、...
2018-06-09 17:07:01
1121
转载 Hadoop复习知识
大数据：概念不能使用一台机器进行处理的数据大数据的核心是样本=总体特性大量性(volume): 一般在大数据里，单个文件的级别至少为几十，几百GB以上快速性(velocity): 反映在数据的快速产生及数据变更的频率上多样性(variety): 泛指数据类型及其来源的多样化，进一步可以把数据结构归纳为结构化(structured)，半结构化(semi-structured)，和非结构化(unstr...
2018-06-07 14:04:00
618
转载 Hadoop学习路线
1.虚拟机hadoop的环境是Linux，所以我们还需要安装Linux系统。hadoop，有单机安装，伪分布安装和分布安装。对单机模式大家可以不用去关心和学习，因为hadoop的单机模式就失去了它分布式的优势，也就没有意义了。在学习中建议搭建伪分布式，完全分布式是生产环境中使用，当大家把伪分布式学习后，必须对完全分布式有所了解，知道是如何工作的，也可以试着搭建hadoop的完成分布式。因为我们的习...
2018-06-05 11:07:22
465
原创 有关HDFS程序设计：HDFS Shell命令行常见操作
在/usr/local/hadoop/etc/hadoop 目录下：帮助相关命令1.hdfs dfs 可以显示hdfs常用命令hadoop@master:/usr/local/hadoop/etc/hadoop$ hdfs dfs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst...
2018-03-25 20:08:23
919
原创 实验室的cc的配置
<configuration> <property> <name>yarn.scheduler.capacity.maximum-applications</name> <value>10000</value> <description> Maximum number of
2018-03-14 19:41:16
310
原创 hadoop capacity schduler 的初步配置了解
先简单了解容量调度器Capacity Scheduler支持以下特性：(1) 计算能力保证。支持多个队列，某个作业可被提交到某一个队列中。每个队列会配置一定比例的计算资源，且所有提交到队列中的作业共享该队列中的资源。(2) 灵活性。空闲资源会被分配给那些未达到资源使用上限的队列，当某个未达到资源的队列需要资源时，一旦出现空闲资源资源，便会分配给他们。(3) 支持优先级。队列支持作业优先级调度（默认...
2018-03-14 18:11:29
472
原创 Hadoop中的心跳机制
心跳是ResourceManager和NodeManager的桥梁，它实际上是一个RPC函数，NodeManager周期性的调用该函数汇报节点和任务状态信息，从而形成心跳。在hadoop中，心跳主要有三个作用： 1、判断NodeManager是否活着 2、及时让ResourceManager获取各个节点上的资源使用情况和任务运行状态 3、为NodeManager分配任务 注：ResourceMan...
2018-03-05 09:13:19
1969
转载 YARN ResourceManager调度器的分析
YARN是Hadoop新版中的资源控制框架。本文旨在深入剖析ResourceManager的调度器，探讨三种调度器的设计侧重，最后给出一些配置建议和参数解释。本文分析基于CDH4.2.1。调度器这个部分目前还在快速变化之中。例如，CPU资源分配等特性在不就的将来就会加入。为了方便查阅源代码，原代码位置使用[类名:行号]方式表示。名词解释：ResourceManager：以下简称RM。YARN的中控...
2018-03-04 16:18:42
291
转载 Linux学习基础命令整理
初次试着整理自己的学习笔记，希望能给自己一个好的学习回顾。1.首先，简单了解Linux，Linux是一个操作系统, 与windows的区别:Linux:图形化界面简单,性能很快,在企业中当做服务器来使用。Windows:图形化界面很炫,性能相对差,大众用户。2.作用：当做服务器来使用。3.Linux目录文件：bin:存放二进制可执行文件sbin: 存放二进制可执行文件,只有
2017-12-26 08:36:34
288
转载 Linux目录结构
linux目录结构root：存放root用户的相关用户home：存放普通用户的相关文件bin：存放命令目录sbin：要有一定权限才能使用的命令mnt：默认挂载目录etc：配置文件var：存放经常变化的文件boot：引导文件，跟系统相关。usr：默认安装文件夹dev：device，设备，访问外部设备的端口opt：安装第三方软件时的默认目录。挂载：linux没有磁盘分区概念，磁
2017-12-25 21:16:35
201
转载 Hadoop集群配置（最全面总结）
Hadoop集群配置（最全面总结） huangguisu 通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/c
2017-12-13 11:22:13
468
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人