linux根据端口号查询来源程序

linux根据端口号查询来源程序 1.根据端口号查询进程  netstat -tunlp|grep port   2.根据进程查询来源程序 ps aux | grep pid 上图看出所属进程为2281 上图看出占用8083端口的程序为ngnix...

2019-01-31 10:34:32

阅读数 95

评论数 0

Kafka基本操作命令

Kafka支持的基本命令位于${KAFKA_HOME}/bin文件夹中,主要是kafka-topics.sh命令;Kafka命令参考页面: kafka-0.8.x-帮助文档    -1. 查看帮助信息 bin/kafka-topics.sh --help   -2. 创建Topi...

2019-01-30 11:37:24

阅读数 83

评论数 0

kafka,二:入门篇之常用命令

前言 本文所有的操作都是在MacOS系统上使用。如果是在Linux操作系统下进行实验,使用的命令是相同的;如果是在windows操作系统下进行实验,则需要使用对应的bin/windows目录下的bat文件。 Broker启动 bin/kafka-server-start.sh --daemo...

2019-01-29 17:10:42

阅读数 107

评论数 0

Kafka,一:集群搭建

Zookeeper集群搭建 Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群。 1、软件环境 (3台服务器-我的测试) 192.168.7.100 server1 192.168.7.101 server2 192.168.7.107 server3...

2019-01-25 14:50:56

阅读数 89

评论数 0

Kafka常用命令使用说明

一,查看当前Kafka集群中Topic的情况 bin/kafka-topics.sh --list --zookeeper127.0.0.1:2181 列出该zookeeper中记录在案的topic列表,只有名字 二,查看Topic的分区和副本情况 命令: bin/kafka-topics....

2019-01-24 17:33:10

阅读数 95

评论数 0

Zookeeper的Leader选举

一、前言   前面学习了Zookeeper服务端的相关细节,其中对于集群启动而言,很重要的一部分就是Leader选举,接着就开始深入学习Leader选举。 二、Leader选举   2.1 Leader选举概述   Leader选举是保证分布式数据一致性的关键所在。当Zookeeper集群...

2019-01-09 11:51:17

阅读数 73

评论数 0

Hadoop面试

1.Hadoop集群可以运行的3个模式? 单机(本地)模式 伪分布式模式 全分布式模式 2.单机(本地)模式中的注意点? 在单机模式(standalone)中不会存在守护进程,所有东西都运行在一个JVM上。这里同样没有DFS,使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序...

2018-12-21 14:53:43

阅读数 149

评论数 0

Kafka到Hdfs的数据Pipeline整理

1> Kafka -> Flume –> Hadoop Hdfs 常用方案,基于配置,需要注意hdfs小文件性能等问题. GitHub地址:  https://github.com/apache/flume 2&amp...

2018-12-21 11:59:12

阅读数 142

评论数 0

大数据:Hive - ORC 文件存储格式

一、ORC File文件结构   ORC的全称是(Optimized Row Columnar),ORC文件格式是一种Hadoop生态圈中的列式存储格式,它的产生早在2013年初,最初产生自Apache Hive,用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet类似,它并...

2018-12-06 11:54:15

阅读数 109

评论数 0

csv、parquet、orc读写性能和方式

背景      最近在做一个大数据分析平台的项目,项目开发过程中使用spark来计算工作流工程中的每一个计算步骤,多个spark submit计算提交,构成了一个工作流程的计算。其中使用csv来作为多个计算步骤之间的中间结果存储文件,但是csv作为毫无压缩的文本存储方式显然有些性能不够,所以想...

2018-12-05 17:41:03

阅读数 275

评论数 0

Hive分区表新增字段+重刷历史方法(避免旧分区新增字段为NULL)

1-1.建立测试表 hive> CREATE EXTERNAL TABLE table_for_test_add_column( > original_column string COMMENT '原始数据' &amp...

2018-12-05 10:15:08

阅读数 132

评论数 0

Mysql 事务的四种隔离级别介绍

1、未提交读(READ UNCOMMITTED) 事务中的修改,即使没有提交,对于其他事务来说也是可见的。也就是说事务可以读取未提交的数据,也就是脏读(Dirty Read). 这是最低的隔离级别,实际的应用中一般不用这种隔离级别。 下面来模拟看下效果: Session 1 : mysq...

2018-11-28 11:25:23

阅读数 63

评论数 0

Hive修改表

Alter Table 语句 它是在Hive中用来修改的表。 语法 声明接受任意属性,我们希望在一个表中修改以下语法。 ALTER TABLE name RENAME TO new_name ALTER TABLE name ADD COLUMNS (col_spec[, col_spe...

2018-11-21 16:10:43

阅读数 52

评论数 0

Hadoop YARN配置参数剖析—Fair Scheduler相关参数

首先在yarn-site.xml中,将配置参数yarn.resourcemanager.scheduler.class设置为org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler。 Fair Sched...

2018-11-09 16:09:36

阅读数 104

评论数 0

Hadoop YARN配置参数剖析—Capacity Scheduler相关参数

Capacity Scheduler是YARN中默认的资源调度器。 想要了解Capacity Scheduler是什么,可阅读我的这篇文章“Hadoop Capacity Scheduler分析”。 在Capacity Scheduler的配置文件中,队列queueX的参数Y的配置名称为yar...

2018-11-09 16:07:42

阅读数 73

评论数 0

Mongodb数据同步到Hive

思路:利用Mongodb的export工具导出数据成json格式;              load该json数据到临时hive表的一个字段;              从该临时hive表解析json落地成最终的表; 代码: 1. 利用Mongodb的export工具导出数据成json格...

2018-11-08 15:15:26

阅读数 371

评论数 0

使用Sqoop job工具同步数据

我们使用的是Sqoop-1.4.4,在进行关系型数据库与Hadoop/Hive数据同步的时候,如果使用--incremental选项,如使用append模式,我们需要记录一个--last-value的值,如果每次执行同步脚本的时候,都需要从日志中解析出来这个--last-value的值,然后重新设...

2018-11-08 13:47:14

阅读数 117

评论数 0

sqoop 特殊字符导入问题

Sqoop从MySQL导入数据到hive,示例: sqoop import –connect jdbc:mysql://10.255.2.89:3306/test?charset=utf-8 – username selectuser –password select##select## –tab...

2018-09-30 15:14:28

阅读数 721

评论数 0

HDFS——如何将文件从HDFS复制到本地

下面两个命令是把文件从HDFS上下载到本地的命令。 get 使用方法:Hadoop fs -get [-ignorecrc] [-crc] 复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。 示例: hadoop fs ...

2018-09-28 08:42:18

阅读数 2615

评论数 0

拉链表--实现、更新及回滚的具体实现

1 背景   本文前面的内容时参考了'lxw的大数据田地',具体可查看最后的'参考文章',个人加入了'拉链表的回滚'部分的内容sql,如果有实践的,可以互相交流学习,谢谢   在数据仓库的数据模型设计过程中,经常会遇到这样的需求:     1.1 数据量比较大;     1.2 表中的部分...

2018-08-24 17:00:56

阅读数 287

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭