自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

大数据训练营

大数据训练营

  • 博客(16)
  • 资源 (17)
  • 论坛 (7)
  • 收藏
  • 关注

原创 修改kafka源码,编译kafka 0.8.2.2,解决bug kafka.common.InvalidTopicException

编译kafka 0.8.2.2,解决bug kafka.common.InvalidTopicException: topic name kafka:h5_send_msg is illegal, contains a character other than ASCII alphanumerics, '.', '_' and '-'一: 背景说明异常信息:[2017-10-2

2017-10-30 15:09:37 11757

转载 mac上文字识别(Tesseract-OCR for mac )

0.介绍Tesseract是一个开源的OCR引擎,能识别100多种语言(中,英,韩,日,德,法...等等),但是Tesseract对手写的识别能力较差。1.安装//安装tesseract的同时安装训练工具brew install --with-training-tools tesseract//安装tesseract的同时安装所有语言,语言包比较大,如果安装的话时间较长,建议不安装,按

2017-10-28 12:08:33 30546 5

转载 Flume之监控

Flume作为一个日志收集工具,在数据采集方面,展现出了非常强大的能力。它的SOURCE、SINK、CHANNEL三大组件这种模式,来完成数据的接收、缓存、发送这个过程,拥有非常完美的契合度。不过这里,我们要说的不是Flume有多好或者Flume有哪些优点,我们要谈的是Flume的监控。1、为什么需要Flume监控?Flume作为一个强大的数据收集工具,虽然功能非常强大实用,但是却

2017-10-26 15:44:05 7933

转载 Flume Channel Selectors使用

前几篇文章只有一个项目的日志,现在我们考虑多个项目的日志的收集,我拷贝了一份flumedemo项目,重命名为flumedemo2,添加了一个WriteLog2.java类,稍微改动了一下JSON字符串的输出,将以前requestUrl中的"reporter-api"改为了"image-api",以便和WriteLog类的输出稍微区分开来,如下:[java] view plain

2017-10-26 14:55:00 5931

转载 Flume Interceptors的使用

对于flume拦截器,我的理解是:在app(应用程序日志)和 source 之间的,对app日志进行拦截处理的。也即在日志进入到source之前,对日志进行一些包装、清新过滤等等动作。官方上提供的已有的拦截器有:Timestamp InterceptorHost InterceptorStatic InterceptorRegex Filtering Intercept

2017-10-26 14:53:37 6142

转载 Yarn 内存分配管理机制及相关参数配置

理解Yarn的内存管理与分配机制,对于我们搭建、部署集群,开发维护应用都是尤为重要的,对于这方面我做了一些调研供大家参考。一、相关配置情况关于Yarn内存分配与管理,主要涉及到了ResourceManage、ApplicationMatser、NodeManager这几个概念,相关的优化也要紧紧围绕着这几方面来开展。这里还有一个Container的概念,现在可以先把它理解为运行ma

2017-10-11 18:50:09 6048

转载 Hadoop 新特性、改进、优化和Bug分析系列5:YARN-3

Hadoop jira链接:https://issues.apache.org/jira/browse/YARN-3所属范围(新特性、改进、优化或Bug):新特性修复版本:2.0.3-alpha及以上版本所属分支(Common、HDFS、YARN或MapReduce):YARN涉及模块:nodemanager英文标题:“Add support for CPU isolation

2017-10-11 18:29:15 6118

转载 yarn中的cgroup调度

cgroup控制cpu,/proc/mounts下有一个/sys/fs/cgroup/cpu配置路径,此部分是cgroup用来控制cpu隔离的路径配置。在/sys/fs/cgroup/cpu下添加子路径hadoop-yarn,这个路径是yarn用来控制cpu的隔离的根路径   通过yarn.nodemanager.linux-container-executor.cgroups.hiera

2017-10-11 18:13:14 6258

转载 Hadoop YARN配置参数剖析(2)—权限与日志聚集相关参数

注意,配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患。另外,这些参数均需要在yarn-site.xml中配置。1.    权限相关配置参数这里的权限由三部分组成,分别是:(1)管理员和普通用户如何区分 (2)服务级别的权限,比如哪些用户可以向集群提交ResourceManager提交应用程序,(3)队列级别的权限,比如哪些用户可以向队列A提交作业等。

2017-10-11 18:07:16 6081

转载 Hadoop YARN配置参数剖析(5)—Capacity Scheduler相关参数

Capacity Scheduler是YARN中默认的资源调度器。想要了解Capacity Scheduler是什么,可阅读我的这篇文章“Hadoop Capacity Scheduler分析”。在Capacity Scheduler的配置文件中,队列queueX的参数Y的配置名称为yarn.scheduler.capacity.queueX.Y,为了简单起见,我们记为Y,则每个队

2017-10-11 18:06:18 6178

转载 Hadoop YARN配置参数剖析(1)—RM与NM相关参数

注意,配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患。另外,这些参数均需要在yarn-site.xml中配置。1.    ResourceManager相关配置参数(1) yarn.resourcemanager.address参数解释:ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序,杀死应用程序等。默

2017-10-11 18:04:49 5931

转载 Hadoop YARN配置参数剖析(3)—MapReduce相关参数

MapReduce相关配置参数分为两部分,分别是JobHistory Server和应用程序参数,Job History可运行在一个独立节点上,而应用程序参数则可存放在mapred-site.xml中作为默认参数,也可以在提交应用程序时单独指定,注意,如果用户指定了参数,将覆盖掉默认参数。以下这些参数全部在mapred-site.xml中设置。1.    MapReduce Job

2017-10-11 17:34:39 6223

转载 Hadoop YARN配置参数剖析(4)—Fair Scheduler相关参数

首先在yarn-site.xml中,将配置参数yarn.resourcemanager.scheduler.class设置为org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler。Fair Scheduler的配置选项包括两部分,其中一部分在yarn-site.xml中,主要用于配置调度器级别的参

2017-10-11 17:31:15 6119

转载 Hadoop YARN中内存和CPU两种资源的调度和隔离

Hadoop  YARN同时支持内存和CPU两种资源的调度(默认只支持内存,如果想进一步调度CPU,需要自己进行一些配置),本文将介绍YARN是如何对这些资源进行调度和隔离的。在YARN中,资源管理由ResourceManager和NodeManager共同完成,其中,ResourceManager中的调度器负责资源的分配,而NodeManager则负责资源的供给和隔离。ResourceM

2017-10-11 16:56:13 6018

转载 YARN/MRv2 Resource Manager深入剖析—资源调度器

在YARN中,资源调度器(ResourceScheduler)是一个非常核心的部件,它负责将各个节点上的资源封装成container,并按照一定的约束条件(按队列分配,每个队列有一定的资源分配上限等)分配给各个application。(注意:本文分析基于hadoop-2.0.3-alpha)YARN的资源管理器实际上是一个事件处理器,它需要处理来自外部的6种SchedulerEve

2017-10-11 16:03:02 6343

转载 yarn-site.xml相关配置参数列表说明

ResourceManager相关配置参数(1) yarn.resourcemanager.address参数解释:ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序,杀死应用程序等。默认值:${yarn.resourcemanager.hostname}:8032(2) yarn.resourcemanager.schedule

2017-10-11 15:49:26 10805

酒店管理系统-毕业设计

酒店管理系统毕业设计,基本的功能,免费下载喔

2014-05-12

MahoutInAction中文版啦word版

MahoutInAction中文版啦word版 免费的喔

2014-03-22

hbase-0.90.5下载

hbase-0.90.5.tar.gz 分布式列式数据库 基于hadoop 的hdfs文件系统 hbase-0.90.5.tar.gz下载

2013-09-30

dotnetFx4.0fullx86x64

.net4.0框架

2013-09-30

hadoop-0.20.2.tar.gz下载

hadoop-0.20.2.tar.gz下载

2013-09-30

AjaxControlToolkit.Binary.NET4官网完整版

AjaxControlToolkit.Binary.NET4 官网完整版 免费下载 《幽灵工作室》提供

2013-06-20

oracle 10g SQL Reference

oracle 10g SQL Reference

2013-05-14

C#语言c/结构酒店管理系统_幽灵工作室提供

本系统是c/s结构的酒店管理系统 提供了系统的源码,图片,还有数据库文件 详细: 项目名称:酒店管理系统 开发方式:个人开发 开发环境:Windows 7 开发工具:Visual Studio 2010 SqlServer Management Studio 开发技术:WinForm应用系统开发 项目结构:C –S结构 数据库:SqlServer 2008 开发技术:C#、WinForm、ADO.NET 开发周期:两周,按时完成 项目描述:项目整体分为权限模块,普通用户模块和管理员模块。1.权限模块的数据库中有用户表和角色表,权限模块有用户登陆,用户修改密码,用户修改角色,用户的添加和删除功能。2.普通用户模块的数据库中有客户表和客户类型的表,普通用户模块有房间入住信息管理,可以管理房间状态,管理房间入住信息,有客户入住信息管理,可以查看入住客户信息,筛选入住客户信息,给具体某个客户增加消费,以房间为单位给用户结账。3.管理员模块的数据库中有房间表,楼层表,房间类型表,房间状态表,管理员模块具有房间信息管理,楼层信息管理,房间状态信息管理,房间类型信息管理,可以对房间,房间状态,房间类型,楼层进行增删改查,还具有修改用户角色和用户密码,添加用户的功能。

2013-05-12

consul_1.6.1_darwin_amd64.zip

consul_1.6.1_darwin_amd64.zip for mac

2019-09-26

SonarLint-3.5-for-intellj-idea-亲测好使.zip

SonarLint-3.5-for-intellj-idea-亲测好使 解压,直接打开idea的preferences,选择plugins,选择下面的install plugin form disk,选择文件SonarLint-3.5.1.2759.zip,完成安装即可

2019-08-09

spark-2.3.3-bin-hadoop2.6.tgz

spark-2.3.3-bin-hadoop2.6.tgz

2019-07-05

spark-2.3.3-bin-hadoop2.6.tgz

spark-2.3.3-bin-hadoop2.6.tgz

2019-07-05

geckodriver-v0.24.0-macos火狐插件

geckodriver-v0.24.0-macos火狐插件,帮助selenium

2019-04-05

draw.io mac版 非常好用的画图软件

draw.io非常好用的画图软件 支持各种图 mac版本 非常好

2019-01-21

mac jd-gui.app版本jd-gui-osx-1.4.0

mac jd-gui.app版本jd-gui-osx-1.4.0 亲自测试 可以使用的

2019-01-21

avro-tool-1.7.4.jar下载

avro-tool-1.7.4.jar下载,avro下载,国内下载超级慢啦

2017-03-13

openstack超级源码

openstack超级源码

2015-01-15

rolin-刘瑞的留言板

发表于 2020-01-02 最后回复 2020-01-02

asp.net中的Newtonsoft.Json.dll 是干什么的呀

发表于 2013-05-29 最后回复 2015-04-20

c#连接oracle数据库时执行更新操作无效?

发表于 2013-05-27 最后回复 2013-10-26

哪里有asp.net的PI-SDK下载呀?

发表于 2013-07-31 最后回复 2013-07-31

.net framework 3.5下开发的项目向.net framework 4.0下移植出现错误

发表于 2013-07-01 最后回复 2013-07-11

vs2010调试的时候出现service unavailable提示,部署后就不提示了

发表于 2013-07-01 最后回复 2013-07-01

C#连接oracle时,无法引用using system.data.oracleclient,在项目的引用上添加引用的时候,也是找不到这个引用

发表于 2013-05-26 最后回复 2013-05-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除