- 博客(17)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 MapReduce任务参数调优
一、本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。Hadoop的默认配置文件（以cdh5.0.1为例）：core-default.xml hdfs-default.xmlmapred-default.xml说明： 在hadoop2中有些参数名称过时了，例如原来的mapred.reduce.tasks改名为mapreduce.job...
2018-07-27 10:44:32
193
原创 MapReduce实践
一、MapReduce实践1.文 件 分 发 与 打 包 （ - f i l e ） - 如果要分发的文件在本地且没有目录结构，可以使用-file /path/to/FILENAME选项分发文件，将本地文件/path/to/FILENAME分发到每个计算节点。 - 在Streaming程序中通过./FILENAME就可以访问该文件 - 对于本地可执行的文件，除了指定的mapper或...
2018-07-26 16:17:39
329
原创 Hadoop Streaming开发要点
$HADOOP_HOME/bin/hadoop jar streaming \-input /user/test/input \-output /user/test/output \-mapper "python mapper.py” \-reducer "python reducer.py” \-file mapper.sh \-jobconf mapred.job.name=”x...
2018-07-26 15:48:33
183
原创 Hadoop Streaming原理
1.MapReduce和HDFS采用Java实现，默认提供Java编程接口2.Streaming框架允许任何程序语言实现的程序在Hadoop MapReduce中使用3.Streaming方便已有程序向Hadoop平台移植 4.开发效率高 – 方便移植Hadoop平台，只需按照一定的格式从标准输入读取数据、向标准输出写数据就可以 – 原有的单机程序稍加改动就可以在H...
2018-07-26 15:44:35
426
转载 阿里云磁盘扩容
一、应用场景1.随着业务的增长，您的磁盘容量可能无法满足数据存储的需要，这时您可以使用磁盘扩容功能扩容磁盘盘。 2.阿里云支持系统盘扩容和数据盘扩容。 3.所有涉及数据的东西都需要备份。量大可以使用阿里云快照，量小可以rsync等。二、扩容系统盘系统盘 通过 更换系统盘 功能变更系统盘容量时，只能保持容量不变或者增加容量，不能缩小容量。比如，一台CentOS实例扩容前系统盘容量...
2018-07-09 16:20:03
4710
原创 自建Mysql迁移阿里云RDS
一、应用场景1.本地自建Mysql迁移到阿里云RDS 2.阿里云RDS不支持基于文件层面的导入导出，导出sql文件进行数据迁移。 3.建议使用命令进行数据迁移，而不是通过工具。因为通过工具非常慢，使用Mysqldump导出，mysql导入。二、迁移过程(以禅道举例)1.导出sql文件/usr/local/mysql/bin/mysqldump -h127.0.0.1 -uzen...
2018-07-06 18:37:52
1039
转载 安装Confluence
一、安装教程1.破解教程 https://www.cnblogs.com/Javame/p/8779772.html2.设置数据库字符集utf8-bin https://confluence.atlassian.com/kb/how-to-fix-the-collation-and-character-set-of-a-mysql-database-744326173.html3....
2018-07-06 18:12:46
1465
转载 Confluence无法发送邮件修复
一、应用场景1.配置好Confluence后无法发送找回密码邮件。二、问题处理1.我首先申领了一个网易的邮箱，然后找到网易邮箱的配置如下：主机名：smtp.163.com端口号：25或465常规的思路是填写25号端口，因此，我填入25号端口以后，发现根本连接不上smtp.163.com这个邮件服务器，很郁闷。报错信息如下：An error has occurr...
2018-07-06 18:04:54
5720
8
原创 xshell显示Tomcat日志中文乱码
一、环境介绍Tomcat服务器，部分服务器xshell显示Tomcat日志中文乱码。我这里给大家讲一个排查思路。 显示乱码说到底就几个问题。 1.系统字符集（解决办法网上很多） 2.连接软件字符集(xshell,crt等字符集设置，网上也有很多) 3.系统服务器字符集问题。(如果你想单纯显示，那么修改字符集为GBK就可以了，如果想统一字符集方便管理，那么往下看。)二、修复显示乱码问...
2018-07-04 14:28:39
1073
原创 Zookeeper详解
一、Zookeeper介绍ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户。二、Zookeeper应用场景1.配置管理 这个好理解。分布式系统都有好多机器，比如我在搭建hadoop的...
2018-07-02 22:49:01
231
原创 Storm环境安装
0. Storm源码包下载http://mirror.bit.edu.cn/apache/storm/1. 集群环境Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.992. 下载安装包#Masterwget http://mirror.bit.edu.cn/apache/storm/apache-storm-0.9....
2018-07-02 17:58:35
186
原创 Zookeeper3.4.10详解和安装
0. zookeeper源码包下载http://mirror.bit.edu.cn/apache/zookeeper/1. 集群环境Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.992. 下载软件包#Masterwget http://mirror.bit.edu.cn/apache/zookeeper/zooke...
2018-07-02 17:57:54
5556
原创 hbase环境安装
0. 软件版本下载http://mirror.bit.edu.cn/apache/hbase/1. 集群环境Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.992. 下载软件包#Masterwget http://archive.apache.org/dist/hbase/0.98.24/hbase-0.98.24-...
2018-07-02 17:57:27
160
原创 Kafka环境安装
Kafka源码包下载 http://mirror.bit.edu.cn/apache/kafka/集群环境 Master 172.16.11.97 Slave1 172.16.11.98 Slave2 172.16.11.99下载软件包Masterwget http://mirror.bit.edu.cn/apache/kafka/0.10.2.1/kafka_2.11...
2018-07-02 17:55:38
266
翻译 Hadoop简介
一、Hadoop简介Hadoop主要包括以下四个模块1.Hadoop Common: 为其他Hadoop模块提供基础设施 2.Hadoop HDFS: 一个高可靠、高吞吐量的分布式文件系统 3.Hadoop MapReduce: 一个分布式的离线并行计算框架 4.Hadoop YARN: 一个新的MapReduce框架，任务调度与资源管理HDFSHDFS即Hadoop Distributed Fi...
2018-07-02 16:57:04
288
原创 Redis自动安装脚本
一、安装方式1.yum 2.rpm 3.编译安装1、2方式比较简单不做介绍，下面是自动编译安装脚本。二、编译安装#!/bin/bash##Date 2017/11/30##create by xingcheng##function nosql_install.shredis_install(){#编译安装cd /usr/local/srcwget http:/...
2018-07-01 10:35:33
1137
Elasticsearch5.2可视化插件 elasticsearch-head-master
2017-11-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人