- 博客(10)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 HDFS 常用 shell 命令
文章目录1. 显示当前目录结构2. 创建目录3. 删除操作4. 从本地加载文件到 HDFS5. 从 HDFS 导出文件到本地6. 查看文件内容7. 显示文件的最后一千字节8. 拷贝文件9. 移动文件10. 统计当前目录下各文件大小11. 合并下载多个文件12. 统计文件系统的可用空间信息13. 更改文件复制因子14. 权限控制15. 文件检测1. 显示当前目录结构# 显示当前目录结构hadoop fs -ls <path># 递归显示当前目录结构hadoop fs -ls -R
2020-07-31 14:15:27
533
原创 Hadoop单机版环境搭建
文章目录一、前置条件二、配置免密登录(本地单机可不设置直接跳到下一节)2.1 配置映射2.2 生成公私钥2.3 授权三、Hadoop(HDFS)环境搭建3.1 下载并解压3.2 配置环境变量3.3 修改Hadoop配置3.4 关闭防火墙3.5 初始化3.6 启动HDFS3.7 验证是否启动成功四、Hadoop(YARN)环境搭建4.1 修改配置4.2 启动服务4.3 验证是否启动成功一、前置条件Hadoop 的运行依赖 JDK，需要预先安装，版本为1.8以上即可，这里不再赘述。二、配置免密登录(本地单
2020-07-31 14:01:02
981
转载 基于Zookeeper搭建Kafka高可用集群
文章目录一、Zookeeper集群搭建1.1 下载 & 解压1.2 修改配置一、Zookeeper集群搭建为保证集群高可用，Zookeeper 集群的节点数最好是奇数，最少有三个节点，所以这里搭建一个三个节点的集群。1.1 下载 & 解压下载对应版本 Zookeeper，这里我下载的版本 3.4.14。官方下载地址：https://archive.apache.org/dist/zookeeper/# 下载wget https://archive.apache.org/dist/
2020-07-30 14:24:30
288
转载 Zookeeper常用Shell命令
文章目录一、节点增删改查1.1 启动服务和连接服务1.2 help命令1.3 查看节点列表1.4 新增节点1.5 查看节点1.6 更新节点1.7 删除节点二、监听器2.1 get path [watch]2.2 stat path [watch]2.3 ls\ls2 path [watch]三、 zookeeper 四字命令一、节点增删改查1.1 启动服务和连接服务# 启动服务bin/zkServer.sh start#连接服务 不指定服务地址则默认连接到localhost:2181zkCli
2020-07-29 10:53:57
397
转载 Zookeeper单机环境和集群环境搭建
一、单机环境搭建1.1 下载下载对应版本 Zookeeper，这里我下载的版本 3.4.14。官方下载地址：https://archive.apache.org/dist/zookeeper/# wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz1.2 解压# tar -zxvf zookeeper-3.4.14.tar.gz1.3 配置环境变量# vim /etc/
2020-07-29 09:50:56
256
转载 如何正确使用 Flink Connector
文章目录Flink Streaming Connector本文内容出自 Apache Flink公开课系列作者：董亭亭本文主要分享 Flink connector 相关内容，分为以下三个部分的内容：第一部分会首先介绍一下 Flink Connector 有哪些。第二部分会重点介绍在生产环境中经常使用的 kafka connector 的基本的原理以及使用方法。第三部分答疑，对社区反馈的问题进行答疑。Flink Streaming Connector...
2020-07-28 20:13:33
470
原创 Java解析读取xml配置文件demo
xml：<?xml version="1.0" encoding="UTF-8"?><CONFIG> <VALUE> <!-- 正负样本比参数名称 --> <sampleMonitorField>is_click</sampleMonitorField> <!-- 正负样本比参数索引位置 --> <arrPosition>6</ar
2020-07-13 18:02:36
436
转载 Mac终端：pip command not found
pip是python的包管理工具，在Python2.7的安装包中，easy_install.py是默认安装的，而pip需要我们手动安装sudo easy_install pip
2020-07-07 20:19:04
3863
原创 mac下安装python更换默认版本
mac下自带python2.7版本，如果要使用高版本可在官网下载下载完成后，shell中输入python依然为mac自带的2.7版本，可以在环境变量中配置为自己版本# 编辑环境变量配置文件vim ~/.bash_profile # 添加这一行 path根据自己路径指定，默认为下面的路径alias python="/usr/local/bin/python3"# wq保存退出 , 执行环境变量脚本source ~/.bash_profile此时shell中输入python，发现使用的是安
2020-07-07 14:37:39
1277
转载 Apache Flink 进阶教程（八）：详解 Metrics 原理与实战
文章目录什么是 Metrics？Metric TypesMetric Group如何使用 Metrics？System MetricsUser-defined MetricsUser-defined Metrics Example获取 MetricsMetric Reporter实战：利用 Metrics 监控自动化运维性能分析实战：“我的任务慢，怎么办”本文内容出自 Apache Flink公开课系列作者：刘彪本文由 Apache Flink Contributor 刘彪分享，本文对两大问题进行
2020-07-05 23:10:05
898
1
大数据入门指南v1.0
2020-10-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人