hadoop
文章平均质量分 71
疾跑的蜗牛
这个作者很懒,什么都没留下…
展开
-
centos7 安装mysql57
centos7 安装mysql57Access denied for user 'root'@'localhost' (using password: NO)[ERROR] InnoDB: Unable to lock ./ibdata1 error: 11Cloudera Manager创建MySQL DatabasesYour password does not satisfy原创 2017-07-05 18:21:27 · 2336 阅读 · 0 评论 -
CDH安装出现 BUG 正在获取安装锁.. BEGIN flock 4
正在获取安装锁.. BEGIN flock 4原创 2017-07-15 17:08:02 · 3912 阅读 · 0 评论 -
CDH5 部署步骤
目录 1规划服务器 2 2安装和配置Mysql数据库 4 3离线安装Cloudera Manager5和CDH5 7 3.1创建本地yum软件源 7 3.2使用本地类库安装CM 11 3.3设置cloudera manager使用的mysql数据库 11 3.4 使用本地类库安装CDH5 13 4HDFS启用HA高可用性(基于Quorum-based Stor原创 2017-08-11 10:59:13 · 3081 阅读 · 0 评论 -
解决虚拟机linux端mysql数据库无法远程访问
解决虚拟机linux端mysql数据库无法远程访问原创 2017-09-13 15:07:00 · 326 阅读 · 0 评论 -
Hadoop volume选择策略
原代码version:2.6.1什么是volume:卷 , 用途:在hadoop中用于dataNode副本储存,所有dataNode的储存都离不开volume的策略选择,策略的选择可以通过参数dfs.datanode.fsdataset.volume.choosing.policy 参数来设置,参数默认值:org.apache.hadoop.hdfs.server.datanode.fsdatas...原创 2018-03-30 17:08:06 · 1147 阅读 · 0 评论 -
hadoop源码中实现权重0.75(Volum选择中的算法)
这个算法简单float preferencePercentScaler = (highAvailableVolumes.size() * balancedPreferencePercent) + (lowAvailableVolumes.size() * (1 - balancedPreferencePercent));float scaledPreferencePercent ...原创 2018-03-30 18:29:17 · 211 阅读 · 0 评论 -
KAFKA 参数详解(一)
KAFKA采用zookeeper保存集群的元数据和消费者信息,所以安装kafka之前必须现有zookeeperzookeeper采用一致性协议,所以部署的集群最好是奇数个,少数服从多数,假设3个节点中有一个失效并不影响zookeeper处理外部请求,否则失效。以上主要是kafka基于zookeeper的一些注意事项。接着,主要是kafka的的配置参数1,broker id: kafka集群的唯一表...原创 2018-05-08 18:09:16 · 13710 阅读 · 0 评论