![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据技术
黄金矿工Kingliu
Write less,do more
展开
-
阿里云logstore+webtracking日志链路使用
阿里云logstore+webtracking日志链路使用原创 2022-10-09 11:17:49 · 216 阅读 · 0 评论 -
ODPS SQL
Aliyun ODPS Command Line ToolVersion 0.29.6@Copyright 2017 Alibaba Cloud Computing Co., Ltd. All rights reserved.odps@ u_ee02volv_1633959038>tunnel upload -fd "\t" -dfp yyyy-MM-dd D:\data\ods_user_app_detail_dt_201612 ods_user_app_detail_dt_201612.原创 2021-10-12 09:20:46 · 244 阅读 · 0 评论 -
大数据平台构建之Hive元数据库安装和配置(以MySQL为例)
大数据平台构建之Hive元数据库安装和配置(以MySQL为例)原创 2021-09-23 21:22:32 · 83 阅读 · 0 评论 -
安装MariaDB(MySQL)数据库(CentOS 7.x 适用)
1、安装MariaDB数据库 # yum install mariadb mariadb-server mysql-connector-java -y 2、启动MariaDB数据库 # systemctl enable mariadb # systemctl start mariadb 3、配置MariaDB数据库 #mysql_secure_installation Enter current password for root (en原创 2021-09-23 01:27:03 · 222 阅读 · 0 评论 -
配置集群SSH免密访问和登录
1、生成公钥和私钥ssh-keygen -t rsa2、将公钥拷贝到要免密登录的目标机器上ssh-copy-id masterssh-copy-id slave1ssh-copy-id slave2原创 2021-09-23 17:01:56 · 122 阅读 · 0 评论 -
Hadoop操作命令
# 格式化NameNode(首次启动集群前执行)/bin/hadoop namenode -format -- 方式1hdfs namenode -format -- 方式2 推荐使用# 启动Hadoopstart-dfs.sh# 启动yarnstart-yarn.sh# 词频统计hadoop jar /opt/bigdata/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.原创 2021-09-23 00:31:06 · 54 阅读 · 0 评论 -
Linux系统&Hadoop集群性能调优:禁用 Transparent Huge Pages
# 查看进程cat /sys/kernel/mm/transparent_hugepage/enabled# 关闭进程echo never > /sys/kernel/mm/transparent_hugepage/enabledecho never > /sys/kernel/mm/transparent_hugepage/defrag# 再次查看进程cat /sys/kernel/mm/transparent_hugepage/enabled操作...原创 2021-09-23 00:17:13 · 311 阅读 · 0 评论 -
配置集群NTP时间同步服务
1、master中执行以下操作# 安装ntpyum -y install ntp# 配置ntp # vi /etc/ntp.conf # 注释或者删除以下4行server 0.centos.pool.ntp.org iburst server 1.centos.pool.ntp.org iburst server 2.centos.pool.ntp.org iburstserver 3.centos.pool.ntp.org iburst#原创 2021-09-23 00:11:39 · 157 阅读 · 0 评论 -
Hadoop平台web监控页面
http://master:50070/Hadoop-HDFS的浏览器访问界面http://master:8088/clusterYARN的浏览器页面http://master:19888/jobhistoryJob History的浏览界面原创 2021-09-23 00:04:19 · 1319 阅读 · 0 评论 -
Linux常用磁盘操作命令
Linux常用磁盘操作命令1、df(diskfree)功能说明:显示磁盘的相关信息。语 法:df[-ahHiklmPT][--block-size=<区块大小>][-t<文件系统类型>][-x<文件系统类型>][--help][--no-sync][--sync][--version][文件或设备]补充说明:df可显示磁盘的文件系统与使用情形。参 数:-a或--all包含全部的文件系统。--block-size=<区块大小>...原创 2021-09-11 00:35:21 · 1767 阅读 · 0 评论 -
快手基于 Flink 构建实时数仓场景化实践
快手基于 Flink 构建实时数仓场景化实践原创 2021-09-05 11:19:19 · 81 阅读 · 0 评论