大数据
文章平均质量分 65
普通网友
这个作者很懒,什么都没留下…
展开
-
Python移植当前环境到其他机器步骤(虚拟环境virtualenv操作)
目标问题:将当前pyhon环境(Python包),移植到其他服务器的步骤步骤(我的是python2.7环境):一、创建自己的虚拟环境(virtualenv)二、”移植”一键安装依赖包一、创建自己的虚拟环境(virtualenv)1.安装虚拟环境的工具# pip2.7 install virtualenv2.创建一个叫pyenv名称的虚拟环境# virtualenv pyenv...原创 2020-02-27 15:06:10 · 4014 阅读 · 0 评论 -
常见广告售卖方式
1 CPM(cost per mille)展现成本,或者叫做千人展现成本 这是衡量广告效果的一种基本的形式(不管是传统媒体,还是网络媒体),CPM(千人成本)指的是广告投放过程中,听到或者看到某广告的每一人平均分担到多少广告成本。传统媒介多采用这种计价方式。在网上广告,CPM取决于“印象”尺度,通常理解为一个人的眼睛在一段固定的时间内注视一个广告的次数。 比如说...翻译 2018-04-12 18:37:30 · 3298 阅读 · 0 评论 -
Hive优化策略
Hive的执行依赖于底层的MapReduce的作业,所以在执行效率上都是依赖于MR执行的一个效率。所以,在学习了解MR原理是必要的,清楚了Hive底层的优化过程,会大大增加Hive的执行效率。Hive对于OLAP类型的应用有很大的局限性,它不适合需要立即返回查询结果的场景。然而,通过实施下面一系列的调优方法,Hive查询的性能会有大幅提高。启动压缩 压缩可以使磁盘上存...翻译 2018-04-12 18:38:41 · 410 阅读 · 0 评论 -
Oozie作业调度 - Demo
Oozie是一个管理Hadoop作业、可伸缩、可扩展、可靠的工作流调度系统,它内部定义了三种作业:1.工作流作业:由一系列动作构成的有向无环图(DAGs)2.协调器作业:按时间频率周期性触发Oozie工作流的作业3.Bundle作业:管理协调器作业一、首先示例提交HiveSQL脚本-即时执行1.进入到hue界面,点击【Query】-【Schedule】-【WorkFlow】,编辑工...原创 2018-04-24 17:49:16 · 2682 阅读 · 0 评论 -
Oozie的时间问题
oozie是hadoop的工作流,能够调度hadoop的相关任务,在这里说一下oozie的时区问题。时区概念:大家应该知道,地球上按照经纬度将地球划分为二十四个时区(东、西各12个时区),每两个相邻的时区间时间上相差1小时。标准时间概念:UTC是世界标准时间,指的是零时区(英国格林尼治天文台旧址)里的时间。中国时区:中国所在的时区为东八区,所以中国的时间应该是UTC时间加上8个小时,即常见的UTC...原创 2018-07-04 11:13:47 · 1238 阅读 · 0 评论 -
Mac系统安装MySQLdb 即:MySQL-Python
版本: MAC OS:10.13.4 Python:2.7.10步骤:下载MySQL-Python,并解压(sourceforge下载) 修改site.cfg文件 终端进入到该目录,执行python setup.py install 找到这一行(mysql_config = /usr/local/mysql/bin/mysql_con...原创 2018-09-14 16:33:06 · 790 阅读 · 0 评论 -
Lambda架构 vs Kappa架构
本文链接:https://blog.csdn.net/Post_Yuan/article/details/52241252Lambda 架构Lambda 架构由Storm的作者Nathan Marz提出,其设计目的在于提供一个能满足大数据系统关键特性的架构,包括高容错、低延迟、可扩展等。其整合离线计算与实时计算,融合不可变性、读写分离和复杂性隔离等原则,可集成Hadoop, Kafka, Sp...转载 2019-08-21 15:29:55 · 272 阅读 · 0 评论 -
大数据分析的下一代架构--IOTA
经过这么多年的发展,已经从大数据1.0的BI/Datawarehouse时代,经过大数据2.0的Web/APP过渡,进入到了IOT的大数据3.0时代,而随之而来的是数据架构的变化。▌Lambda架构在过去Lambda数据架构成为每一个公司大数据平台必备的架构,它解决了一个公司大数据批量离线处理和实时数据处理的需求。一个典型的Lambda架构如下:数据从底层的数据源开始,经过各...转载 2019-08-21 15:52:46 · 261 阅读 · 0 评论