排序:
默认
按更新时间
按访问量

HDP学习--Managing HDFS Storage(01)

一、 NameNode的持久化信息  为了提高性能, HDFS文件系统的当前状态保持在NameNode的内存中, 当用户或程序请求文件系统的信息都由NameNode内存提供。当有Client对文件系统有修改操作,必须要更新NameNode内存中的文件系统状态。   虽然内存的速度很快,但是也是不稳...

2018-05-27 19:35:41

阅读数:48

评论数:0

HDFS的工作流程分析

HDFS的工作机制概述HDFS集群分为两大角色:NameNode、DataNodeNameNode负责管理整个文件系统的元数据DataNode 负责管理用户的文件数据块文件会按照固定的大小(blocksize)切成若干块后分布式存储在若干台datanode上每一个文件块可以有多个副本,并存放在不同...

2018-05-27 19:07:35

阅读数:71

评论数:0

解Bug之路:记一次JVM堆外内存泄露Bug的查找

行业前列百家号01-1516:30前言JVM的堆外内存泄露的定位一直是个比较棘手的问题。此次的Bug查找从堆内内存的泄露反推出堆外内存,同时对物理内存的使用做了定量的分析,从而实锤了Bug的源头。由于物理内存定量分析部分用到了linux kernel虚拟内存管理的知识,读者如果有兴趣了解请看ulk...

2018-05-24 14:59:18

阅读数:75

评论数:0

Yarn下MapReduce部分参数理解

0. 写在前面部分原文来自 support.pivotal.io 的翻译,对于该篇文章中感觉概念模糊不清的地方我做了修正,并扩充了我自己的部分理解,有不正确的地方还望大家指正1. Container是什么Yarn Container就是一个yarn的java进程(这里容易被误解成类似Linux C...

2018-05-21 20:06:26

阅读数:42

评论数:0

MapReduce过程详解及其性能优化

废话不说直接来一张图如下:从JVM的角度看Map和ReduceMap阶段包括:第一读数据:从HDFS读取数据1、问题:读取数据产生多少个Mapper??    Mapper数据过大的话,会产生大量的小文件,由于Mapper是基于虚拟机的,过多的Mapper创建和初始化及关闭虚拟机都会消耗大量的硬件...

2018-05-21 20:04:08

阅读数:58

评论数:0

Hive获取查询日志的问题解析

需求背景最近这段时间一直在做数据查询系统的需求,最近接到一个需求:因为HIVE查询一般需要比较久的查询时间,这期间查询人员需要知道查询的进度,需要在界面上进行进度的展示。探路过程我们查询系统连接HIVE使用的是标准的JDBC接口,在标准的JDBC接口中并没有提供这样的一个获取查询日志的接口。翻阅了...

2018-05-12 11:44:23

阅读数:77

评论数:0

linux环境下单网卡配置多个IP地址(详细)

1.使用命令进行配置     这就很简单了,首先查看一下当前机器的IP地址,命令如下:[html] view plain copy#ifconfig  eth0       Link encap:Ethernet   HWaddr 00:19:D1:24:2A:EC              in...

2018-04-24 17:49:37

阅读数:39

评论数:0

haproxy配置示例和需要考虑的问题

本文目录:1. 配置haproxy需要考虑的事情2. 配置haproxy提供反向代理功能haproxy是一个非常优秀的负载均衡工具,它的特性非常丰富,功能也非常非常强大,要想好好使用它,将它的功能和性能挖掘出来,多多阅读官方手册是必不可少的。本文提供一个简单的配置示例,后面将分别开文章详细解释它的...

2018-04-19 14:31:36

阅读数:40

评论数:0

聊聊mysql jdbc的queryTimeout及next方法

序本文主要介绍一下mysql jdbc statement的queryTimeout及resultSet的next方法executeQuery()mysql-connector-java-5.1.43-sources.jar!/com/mysql/jdbc/PreparedStatement.ja...

2018-04-17 15:20:00

阅读数:52

评论数:0

机器学习中,有哪些特征选择的工程方法?

目录1 特征工程是什么?2 数据预处理  2.1 无量纲化    2.1.1 标准化    2.1.2 区间缩放法    2.1.3 标准化与归一化的区别  2.2 对定量特征二值化  2.3 对定性特征哑编码  2.4 缺失值计算  2.5 数据变换3 特征选择  3.1 Filter    3...

2018-04-12 20:22:08

阅读数:48

评论数:0

centos配置ip地址 添加多个ip地址

centos添加多个ip地址的方法。操作如下,登陆SSH:vi /etc/sysconfig/network-scripts/ifcfg-eth0:0第二个IP,就是vi /etc/sysconfig/network-scripts/ifcfg-eth0:1第三个IP,就是ifcfg-eth0:2...

2018-04-09 16:15:40

阅读数:42

评论数:0

Python——解决numpy导入出错问题

NumPy系统是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵,比Python自身的嵌套列表结构要高效的多。但是在使用Numpy时可能出错:ImportError: No module named numpy,解决办法,下载安装对应版本的Numpy程序。我的Python版本...

2018-04-06 18:42:54

阅读数:37

评论数:0

python2.7版本在win7、64位系统安装遇到的问题

1、第一次安装时出现错误如下“An error occurred during the installation of assembly 'Microsoft.VC90.CRT,version="9.0.30729.1",publicKeyToken=........

2018-04-06 17:15:19

阅读数:32

评论数:0

Pycharm及python安装详细教程

首先我们来安装python1、首先进入网站下载:点击打开链接(或自己输入网址https://www.python.org/downloads/),进入之后如下图,选择图中红色圈中区域进行下载。2、下载完成后如下图所示3、双击exe文件进行安装,如下图,并按照圈中区域进行设置,切记要勾选打钩的框,然...

2018-04-06 16:46:25

阅读数:32

评论数:0

机器学习中,有哪些特征选择的工程方法?

目录1 特征工程是什么?2 数据预处理  2.1 无量纲化    2.1.1 标准化    2.1.2 区间缩放法    2.1.3 标准化与归一化的区别  2.2 对定量特征二值化  2.3 对定性特征哑编码  2.4 缺失值计算  2.5 数据变换3 特征选择  3.1 Filter    3...

2018-04-03 19:42:42

阅读数:41

评论数:0

第二节 方阵的特征值与特征向量

 一 .数学概念1 .特征值与特征向量:设A为n阶方阵,若数  和n维的非零列向量x,使关系式Ax=λx成立,则称数λ为方阵A的特征值,非零向量x称为A的对应与特征值  的特征向量。2 .特征多项式3 .特征方程 二 .原理,公式和法则1 .求特征值与特征向量的方法:(1)            ...

2018-04-01 20:23:18

阅读数:31

评论数:0

如何将一个矩阵化为行阶梯形矩阵

2016-03-29尾巴线性代数       有同学反映上一课过于冷冰冰,都是一些不带证明的公式。如果线性代数所有公式都要证明的话,线性代数的难度会上好几个量级,有的公式的证明是特别特别难的。还有一个,虽然我们需要大家能对这门课有一些直观的不那么抽象的观点和感受,但是这一切都不能脱离具体题目和做题...

2018-04-01 20:17:03

阅读数:272

评论数:0

通俗理解PCA降维作用

http://doc.okbase.net/u013719780/archive/239009.html注意:有些资料不能复制。用PCA降维本章我们将介绍一种降维方法,PCA(Principal Component Analysis,主成分分析)。降维致力于解决三类问题。第一,降维可以缓解维度灾难...

2018-03-29 20:38:48

阅读数:93

评论数:0

特征值和特征向量

6031在刚开始学的特征值和特征向量的时候只是知道了定义和式子,并没有理解其内在的含义和应用,这段时间整理了相关的内容,跟大家分享一下;首先我们先把特征值和特征向量的定义复习一下:定义: 设A是n阶矩阵,如果数λ和n维非零向量x使关系式……(1)成立,那么,这样的数λ称为矩阵A的特征值,非零向量x...

2018-03-27 20:19:25

阅读数:45

评论数:0

TA_EVENR_TNT导入ods 问题处理

1.      时间: 201803162.      现象:这个现象已经一个多月了,每天导入都是卡死,执行到select 后没有反应,好像没有连接上,开始map 设置为1时,没有错误,当调整5和10 时,只有一个map 失败2次,出现错误,并且失败任务重试3次,前2次失败,出现错误,第三次到执行...

2018-03-23 13:57:53

阅读数:33

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭