- 博客(12)
- 收藏
- 关注
RSS订阅原创 Flume采集配置
Flume采集配置Flume采集配置，打印日志Flume配置文件Flume采集配置--多级agent串联Flume采集配置，打印日志bin/flume-ng agent -c conf/ -f dir-hdfs.conf -n ag1 -Dflume.root.logger=INFO,console#bin/flume-ng agent:运行flume agent#-c conf :运行...
2020-01-10 12:43:14
267
原创 zookeeper集群-自动批量启动脚本
单独启动zk服务bin/zkServer.sh startShell脚本批量启动#!/bin/bashfor host in master slave1 slave2 slave3 slave4doecho "${host}:${1}ing..."ssh $host "source /etc/profile; /usr/local/src/zookeeper-3.4.5/bin/z...
2019-12-24 15:25:52
154
原创 日新-日活用户统计hql开发
日新-日活用户统计hql开发需求日活日新将日期写在脚本中传入需求1.建立一个表，来存储每天新增的数据（分区表）2.统计每天的活跃用户（日活）（需要用户的ip，用户的账号，用户访问的时间最早的一条url和时间）3.统计每天的新增用户（日新）日活1.建表映射日志数据create table t_web_log(ip string,url string,time string,uid st...
2019-12-23 21:18:01
352
原创 Hive中定义自己的函数
hive中如何定义自己的函数简单思路：1.先写一个java程序，实现你所想要的功能（如传入一个json字符串和脚标，返回值）2.将java程序打成jar包，上传到hive所在的机器上3.在hive命令行中将jar包添加到classpath4.在hive命令中用命令创建一个函数（如myjson）关联自己写的java类Step 1：MyJsonParser类重载父类UDF中的一个方法ev...
2019-12-22 11:48:33
86
原创 Hive基本操作
建表create table t_course(id string,name string,amout float)row format delimitedfields terminated by ‘,’;分区表同一目录下的子目录不同create table t_pv_log(ip string,commit_time string)partitioned by (day strin...
2019-12-15 21:41:03
179
原创 Linux Shell编程运行后台程序
编程一个脚本程序dd.sh#!/bin/bashwhile truedoecho 'i am a dazuiba.....'sleep 1done修改可执行权限chmod +x dd.sh运行程序./dd.sh可以看到程序在前台运行把程序设置为在后台运行：./dd.sh &程序已经不是挂起状态，可以随时退出，证明已经在后台运行，但却一直在前台打印，无法退出...
2019-12-10 11:32:21
369
原创 ZooKeeper分布式系统服务器上下线动态感知
问题背景假设有三台服务器(server1-server3)组成的集群上，平均分配，每台服务器上运行一个程序。此时由于某线上活动的开始(如抢票或低价秒杀)，突然间又数以百万的用户访问服务器上的资源，等待服务器处理并应答。其中有K台受不住负载压力，导致服务器奔溃。在这种情况下，如果客户端无法感知服务器的状态(在线/离线)，部分已经向服务器发送请求的客户端将长时间无法应答，无法切换至3-k台正常的...
2019-12-07 15:22:40
203
原创 zookeeper的java客户端api的监听功能
Zookeeper的java客户端api的监听功能1.其中master slave1 slave2需要修改本地hosts文件C:\Windows\System32\drivers\etc\hosts192.168.1.10 master192.168.1.11 slave1192.168.1.12 slave2检查是否能在本机ping通2.监听节点的主类需要Thread.slee...
2019-12-06 11:33:37
329
原创 Zookeeper的java客户端基本功能操作
Zookeeper的java客户端基本功能操作1.创建节点2.更新节点3.获取节点数据4.获取子节点5.删除节点package com.zk.demo;import java.io.IOException;import java.io.UnsupportedEncodingException;import java.util.List;import org.apache.z...
2019-12-06 11:03:41
85
原创 MapReduce高效实现Join
MapReduce高效实现Join主要思路一般方法Partitioner+compareTo+GroupingComparator组合高效实现合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你...
2019-12-01 16:05:47
110
原创 MapReduce 折半查找ip地址Python实现
MapReduce 折半查找ip地址准备ip定位数据map.pyrun.sh脚本：准备ip定位数据准备全球ip地址合集，大约12M，采用-cacheFile分发ip.lib.txt数据格式大致如下：0.0.0.0 0.255.255.255 NULL IANA保留地址 NULL1.0.0.0 1.0.0.255 亚洲 亚太地区 NULL1.0.1.0 1.0.1.255 亚洲 中国 福...
2019-11-01 19:49:41
431
原创 Mapreduce Wordcount白名单 Python实现
Mapreduce Wordcount白名单 Python实现1.Mapper部分的map.py代码：其中读入文件The_Man_of_Property.txt需要上传到HDFS文件系统上：hadoop fs -put The_Man_of_Property.txt /# coding=utf-8import sysdef read_local_file_func(f): w...
2019-10-30 10:32:48
210
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人