- 博客(14)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Hive数据导出到外部,形成文件
1、hive -e " SET hive.exec.compress.output=false; insert overwrite directory ‘/home/data/’ row format delimited fields terminated by ‘,’ stored as textfile select * from table_name;" 2、hive -e "select * from table_name“ > file_name
2020-11-17 19:37:05
334
原创 linux查看mysql是否启动
1、在centos6中使用命令 # service mysqld status 或者 # service mysql status 命令来查看mysql 的启动状态 如果是 mysqld is stopped 那就说明mysql服务是停止状态， 如果是 mysqld is running 那就说明mysql服务是启动状态 2、在centos7中还可以使用systemctl status mysqld ...
2020-10-09 15:59:48
926
原创 Hive直接读取Mysql中的数据
思考：之前做过Hive和Hbase之间的映射，那必然HIve和Mysql也可以映射，如果能实现映射,那就不需要canal实时同步增量数据了？？那如果实现了映射联查的效果咋样？ 实现： 1、利用三方开源项目实现映射 项目地址：https://github.com/stagraqubole/Hive-JDBC-Storage-Handler或https://github.com/KironJ/hive-jdbc-storage-handler 2、打包之后上传到对应目录 2.1 打包： 例如： 2.1.1：
2020-09-28 11:54:27
2104
1
原创 flume配置文件：消费阿里云loghub落地到hdfs,按100M滚动
# # Source: Loghub # Sink: HDFS # agent.sources = slssource agent.sinks = hdfssink agent.channels = memoryChannel # Configure the source: agent.sources.slssource.type = com.aliyun.loghub.flume.source.LoghubSource agent.sources.slssource.endpoint = https:/
2020-09-27 11:10:40
417
原创 linux下使用mail发送邮件
一、安装 yum install mailx 二、编辑配置文件------vi /etc/mail.rc set bsdcompat set from=han.zhang@xxxxx.com --邮箱名 set smtp=smtps://smtp.exmail.qq.com:465 --三方转服务器，写我的这个就行 set smtp-auth-user=han.zhang@XXXXX.com --邮箱名 set smtp-auth-password=jcHEg3riMqqqP8Vn --授权码 set
2020-09-11 16:41:38
486
原创 flume实时消费阿里loghub的数据并写到本地
一、工具 flume+日志服务 二、实现 1、安装flume(自己百度吧) 2、flume外部jar添加lib目录中 source：使用阿里的jar包(https://help.aliyun.com/document_detail/123446.html?spm=a2c4g.11186623.6.1091.39dd5cb5N7piPF) sink：我自己写的jar包（如下） package com.han.consumer; import java.io.*; import java.text.Simp
2020-09-02 11:17:17
522
原创 Mysql全量备份及主从配置
引言：生产服务器上有个主数据库，为了不直接操作线上mysql，需要做一台备库。 主要步骤： 一、全量备份mysql 二、备份后的文件发到从库的服务器上 三、数据的准备和恢复 四、启动服务并配置主从 五、注意事项 步骤一 全量备份mysql： 1、挑选工具percona-xtrabackup 1.1、安装依赖 wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo yum -y install perl pe
2020-08-21 18:26:39
403
原创 Ngnix给CDH服务配置反向代理
引言：我的CDH集群放在了内网，因为挖矿病毒攻击了我的集群，所以我把它放在了内网，但是web页面也就无法访问了，所以我用另一台机子做了个反向代理就能用了。 一、注意 配置nginx的服务器一定是可以访问外网，并且和CDH的服务器是在同一局域网内。如果你是阿里云的服务器一定记得开安全组。 二、安装Nginx 直接贴一个文章照着装没有错！！！ https://www.runoob.com/linux/nginx-install-setup.html 三、配置 1、/usr/local/webserver/ng
2020-08-13 11:17:27
901
原创 使用本地源搭建ceph存储集群并配置对象网关
前言-最近使用OSS比较多，想着自己搭一套，搜了半天选了ceph，其中的坑也是比较多，所以记录下来，让小伙伴们踩坑少一点。并且我这里是以单机版为例. 注意：如果你的服务器是一个裸机那么必然格式化磁盘并且创建文件系统，这里我建议你使用xfs文件系统，因为如果用ext4后面会出现问题，如果用你已经用了ext4也没关系，请看文章末尾。 一、搭建ceph本地源 1、创建好目录并下载软件包------注意如果网络不行，直接通过url下载在scp过去 mkdir-p /var/www/html/ceph/10.2.2
2020-08-04 16:32:07
1035
原创 使用本地源手动搭建CDH.6.3.0
** 一、前期准备 1、关闭防火墙 2、配置NTP时间同步服务 3、设置SELinux模式 前期准备就不展开网上一搜一大堆，如果你是使用阿里云的服务器那么防火墙和SElnux啥的都不用管。如果你是单节点ntp也不用配 ** 二、准备安装包 1、MYSQL安装包 https://dev.mysql.com/downloads/mysql/5.7.html#downloads 2、JDBC 驱动包 wget https://dev.mysql.com/get
2020-08-04 14:30:57
641
原创 阿里OSS服务与文件系统的对比
最近在用阿里云的许多组件,oss即是其中之一,于是在脑海中浮现出了oss和文件系统之间的区别,自己总结的没有阿里全面，于是附上地址，方便大家学习。 ** https://help.aliyun.com/document_detail/31827.html ** ...
2020-07-02 19:37:24
1166
原创 HIVE解析json格式数据
1.最近遇到一个需求，数据是这样的： | id | conditions | |312|{“diyItems”:[{“a”:510723474755551232,“b”:1,“c”:80,“d”:507,“e”:2,“f”:45,“g”:30},{“a”:495134318704852992,“b”:2,“c”:90,“d”:229,“e”:0,“f”:48,“g”:118},{“a”:568838501110611968,“b”:3,“c”:90,“d”:642,“e”:0,“f”:44,“g”:69}]
2020-06-29 10:53:17
514
原创 使用Go语言重构Python数据采集功能
Python和Go真是一对难兄难弟 大家好，这篇文章主要是在我做需求的时候的所思所感，很多代码没优化甚至写的相当矬，期望大家勇于提出问题大家一块进步。 剖析需求 我们公司主要做的是某款电商APP，主要数据分为两种一是支撑OLTP的业务数据，二是支撑OLAP的历史数据和日志数据，对于业务数据一般是存在Mysql中，这个无需详细展开，对于历史数据，记录的是某些数据的历史状态变化，从而根据需求发掘出数据本身的价值，对于日志数据，主要记录的是用户的行为数据，这次的需求主要是针对前端埋点日志数据进行采集落地。 一般来
2020-06-17 21:30:08
974
ceph-10.2.2-0.el7.x86_64.rpm
2020-08-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人