【若泽大数据高级第二天】-- 基于Hadoop生态离线项目--日志分析

最新推荐文章于 2021-03-29 16:34:24 发布

Harm灬小海

最新推荐文章于 2021-03-29 16:34:24 发布

阅读量334

点赞数

分类专栏：大数据学习-基础篇文章标签： python

本文链接：https://blog.csdn.net/weixin_42330251/article/details/89161574

版权

大数据学习-基础篇专栏收录该内容

22 篇文章 0 订阅

订阅专栏

文章目录

相关知识点
通用离线处理架构
企业级项目开发流程
- 准备数据

通用离线处理架构

企业级项目开发流程

项目调研：以业务为导向
需求分析：要做什么，做成什么样

准备数据

日志内容我是基于python3.x版本造了10w条数据

import time
import random

def create_time():
    '''
    获取一个随机时间
    '''
    a1=(2019,3,1,0,0,0,0,0,0)              #设置开始日期时间元组（1976-01-01 00：00：00）
    b1=(2019,3,23,0,0,0,0,0,0)              #设置开始日期时间元组（1976-01-01 00：00：00）
    start=time.mktime(a1)    #生成开始时间戳
    end=time.mktime(b1)      #生成结束时间戳
    random_time=random.randint(start,end)   #随机获取一个时间戳
    data_touple = time.localtime(random_time)   #转换成时间元组
    date = time.strftime("%F %T",data_touple)   #将时间元组转成格式化字符串（2019-03-22 02:02:42）
    return date

def create_traffic_num():
    '''
    获取100-99999之间的随机整数
    '''
    num=random.randint(100,99999)
    return num

def create_ip_num():
    '''
    获取1-255之间的随机整数
    '''
    num=random.randint(1,255)
    return num
    
def create_ip():
    '''
    随机生成IP地址
    '''
    ip = str(create_ip_num()) + '.' + str(create_ip_num()) + '.' + str(create_ip_num()) + '.' + str(create_ip_num())
    return ip
    
if  __name__ == "__main__":
    create_log_num=100000
    cnd='baidu'
    region='CN'
    level='E'
    domain='www.itoceanblog.com'
    for i in range(create_log_num):
        out_time=create_time()
        out_ip=create_ip()
        traffic=create_traffic_num()
        data_url = f"http://www.itoceanblog.com/post/{create_ip_num()}/"
        with open('itoceanblog.log','a',encoding='utf-8') as fa:
            data_out_str = f"{cnd}\t{region}\t{level}\t{out_time}\t{out_ip}\t{domain}\t{data_url}\t{traffic}\n"
            fa.write(data_out_str)
            fa.close()