- 博客(18)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 hive安装Tez计算引擎
环境CentOS 7hive 1.2.1apache-tez-0.9.1安装步骤上传taz到hdfs中hadoop fs -mkdir /tezhadoop fs -put apache-tez-0.9.1-bin.tar.gz /tez解压缩tar -zxvf apache-tez-0.9.1-bin.tar.gz -C /opt修改名称mv /opt/apache-tez-0.9.1-bin /opt/tez-0.9.1在hive/conf目录下创建tez-
2020-07-30 14:41:01
189
原创 Flume之JMX监控三种方式
监控作用在flume运行期间，我们可以通过监控channel当前容量和已使用容量来调整channel是否需要扩容通过source向channel中put成功了多少event和sink从channel中take成功了多少个event，比较数据是否存在积压做出调整（通过sink组，和batchsize参数可增加sink读取速度）监控原理通过Java提供的JMX技术（java monitor extension）即 java监控扩展模块，是J2EE定义的14种技术规范之一。JMX可以帮助我们监控一个
2020-07-22 21:58:35
1188
原创 Flume自定义source、interceptor、sink
官方文档SourceSinkMaven 依赖<dependency> <groupId>org.apache.flume</groupId> <artifactId>flume-ng-core</artifactId> <version>1.7.0</version></dependency>自定义Source代码import org.apache.flume.Con
2020-07-22 19:59:59
132
原创 Kafka 自带测试脚本进行性能测试
压力测试用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。producer 压力测试bin/kafka-producer-perf-test.sh --topic test --record-size 100 --num-records 100000 --throughput 1000 --producer-props bootstrap.servers=dw-node01:9092,dw-node0
2020-07-20 20:57:23
391
原创 Kafka辅助工具：KafkaManager、KafkaMonitor、KafkaTool
Kafka 辅助工具目前主流有3中 Kafka辅助工具KafkaManagerKafkaMonitorKafkaToolKafkaManagerhttps://github.com/yahoo/CMAK解压 kafka-manager-1.3.3.22.zip修改conf/application.confkafka-manager.zkhosts= 为 zookepper地址编写启动脚本nohup /opt/kafka-manager-1.3.3.22/bin/kafka-ma
2020-07-20 19:23:11
594
原创 Hadoop 安装LZO压缩、创建LZO索引
编译LZOhadoop本身并不支持lzo压缩，故需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译，编译步骤如下。Hadoop支持LZO环境准备maven（下载安装，配置环境变量，修改sitting.xml加阿里云镜像）gcc-c++zlib-develautoconfautomakelibtool通过yum安装即可，yum -y install gcc-c++ lzo-devel zlib-devel autoconf
2020-07-20 15:13:35
237
原创 hadoop压缩方式deflate、gzip、bzip2、lzo、snappy
关于压缩压缩会减少磁盘空间、磁盘IO以及网络IO的负担，但会增加CPU负担在任意的MapReduce阶段都可以启动压缩使用原则运算密集型的job，少用压缩IO密集型的Job，多用压缩MR支持的压缩压缩格式Hadoop集成算法扩展名是否可splic更换压缩格式是否需要修改代码DEFLATE直接使用DEFLATE.deflate否不需要修改Gzip直接使用DEFLATE.gz否不需要修改bzip2直接使用bzip2.bz2是
2020-07-20 13:35:22
1989
原创 CentOS7.5安装Mysql5.5.6
环境centos 7.5MySQL-server-5.6.24-1.el6.x86_64.rpm卸载rpm -qa|grep -i mysql 查找mysql 是否已经安装rpm -ev 卸载查询到的软件包名依赖需要安装 perl依赖，否则安装完成后无法自动部署yum -y install autoconf安装mysql出现以下提示 安装成功[root@dw-node02 mysql-libs]# rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rp
2020-07-19 22:08:14
78
原创 hadoop基准性能测试
HDFS写性能测试内容：向HDFS集群写10个128m的文件hadoop jar /opt/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB20/07/17 08:09:34 INFO fs.TestDFSIO: ----- TestDFSIO ----- : write20/07/17
2020-07-17 19:03:26
274
原创 大数据常用端口
Hadoop50070：HDFS WEB UI端口8020 ： 高可用的HDFS RPC端口9000 ： 非高可用的HDFS RPC端口8088 ： Yarn 的WEB UI 接口19888：jobhistory WEB UI端口8485 ： JournalNode 的RPC端口8019 ： ZKFC端口Zookeeper2181 ： 客户端连接zookeeper的端口2888 ： zookeeper集群内通讯使用，Leader监听此端口3888 ： zookeeper端口 用于选举l
2020-07-16 13:34:41
82
原创 Hive知识点：索引、分区表、分桶表、抽样查询
索引在指定列上建立索引，会产生一张索引表（Hive的一张物理表），里面的字段包括，索引列的值、该值对应的HDFS文件路径、该值在文件中的偏移量;分区表 PARTITIONE BY将表中的数据，分散到表目录下的多个子目录（分区目录）中目的在执行查询时只查询某些子目录中的数据加快查询效率导入数据时候需要指定向哪个分区导入数据相当于在表中增加一列分区列分区 使用 “列名=值” 的形式已有数据 可通过自动修复分区分桶表 CLUSTERED BY和MR中分区是一个概念，把数据分散到多个文件中分桶
2020-07-15 20:31:34
393
原创 Hive 练习题
hive 蚂蚁森林https://blog.csdn.net/qq_34264067/article/details/103157266
2020-07-14 15:51:55
99
原创 Nginx生成日志案例
#user nobody;worker_processes 1;#error_log logs/error.log;#error_log logs/error.log notice;#error_log logs/error.log info;#pid logs/nginx.pid;events { worker_connections 1024;}# load modules compiled as Dynamic Shared Objec.
2020-07-14 15:42:04
303
原创 动态代理与AOP面向切面知识点
一句话描述代理模式是一种设计模式，简单说即是在不改变源码的情况下，实现对目标对象的功能扩展。Java的三种代理模式1. 静态代理/** * 创建接口 */public interface ISinger { void sing();}/** * 目标对象实现了某一接口 */public class Singer implements ISinger { public void sing() { System.out.println("唱一首歌");
2020-07-14 13:35:42
210
原创 MR知识点
MapReduce中常用组件Mapper ：map阶段核心处理逻辑Reducer : reducer阶段核心逻辑处理MR 程序必须指定一个输入目录，一个输出目录InputFormat 输入格式FileInputFormat ：普通文件DBInputFormat : 处理数据库中的数据SequnceFileInputFileFormat ：SequeceFile (hadoop提供的一种文件格式)RecodeReader： 记录读取器，负责从输入格式中读取数据，读取后封
2020-07-10 22:13:41
277
原创 HDFS知识点.md
版本 hadoop-2.7.2HDFS 运行模式core-default.xml 中 fs.defaultFs本地模式 fs,defaultFs=file:/// （默认）分布式模式 fs.defaultFs=hdfs://MR运行模式core-default.xml 中 fs.defaultFs本地模式 mapreduce.framework.name=local （默认）分布式模式 mapreduce.framework.name=yarn本地模式指在本地运行hadoop 配置文件组
2020-07-10 22:13:08
141
原创 linux 常用知识点
新增硬盘# 查看硬盘（已分区的磁盘）df -h# 查看所有磁盘fdisk -l# 分区磁盘fdisk /dev/sdbm #查看帮助n #添加一个新建分区p #创建主分区1 #分区号1-41 #起始磁柱回车 #默认结束磁柱# 格式化mkfs -t ext4 /dev/sdb1# 挂载（临时）mkdir /newdiskmount /dev/sdb1 /newdiskdf -h# 开机自动挂载 blkid /dev/sdb1 #生成磁盘uuidvi /etc/
2020-07-10 22:11:09
86
寺冈条码机驱动_UP46_UP462_UP463_GP-470
2019-01-16
RealVNC(WinVNC)v5.3.1（带序列号）
2019-01-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人