- 博客(8)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 用户行为日志的采集
用户的行为日志,在现今以数据说话时代的重要性已经凸显地越来越明显.笔者从事相关一线工作(主要是数据处理及模型设计,离线及实时平台)三年，分享一些工作中的一些思考，这部分的内容比较偏向业务,希望不会写的太技术。首先，我们要先来看一下这个东东到底有啥重要的，为啥每个有点规模的公司都需要花费一定人力来搞这个东西呢？有的时候甚至只是一份日志真的能养活这么多人？想解释这个问题，必须回
2016-10-26 18:19:12
8615
转载 用nginx给kibana、elasticsearch做权限认证
最近一直使用logstash+elasticsearch+kibana作日志分析,通过kibana来查看报表的各种panel,但是每次查看都需要拨线上的VPN,比较麻烦,于是就想到用nginx来给kibana和elasticsearch作个权限认证。认证成功的效果如下：呵呵，得瑟下。好了,废话不多说,直接上配置。1、配置nginx密码：nginx可以为网站或目录甚至特定的文
2016-10-25 14:03:43
3664
1
原创 LogStash实践日志分析一：环境搭建
一、部署规划1、源日志服务器Logstash收集日志，然后存储在Redis的list中，接收日志服务器LogStash从Redis的list中读取日志，存储在日志存储分析服务器elasticsearch中，然后用户在日志查询服务器kibana连接elasticsearch，查询相关日志。【源日志服务器Logstash】->【Redis服务器】->【接收日志服务器LogStash】->【日志
2016-10-24 13:00:23
2568
转载 操作技巧：将 Spark 中的文本转换为 Parquet 以提升性能
列式存储布局（比如 Parquet）可以加速查询，因为它只检查所有需要的列并对它们的值执行计算，因此只读取一个数据文件或表的小部分数据。Parquet 还支持灵活的压缩选项，因此可以显著减少磁盘上的存储。如果您在 HDFS 上拥有基于文本的数据文件或表，而且正在使用 Spark SQL 对它们执行查询，那么强烈推荐将文本数据文件转换为 Parquet 数据文件，以实现性能和存储收益。当然，
2016-10-12 22:30:05
1208
转载 Hadoop-2.4.0分布式安装手册
目录目录 11. 前言 22. 部署 22.1. 机器列表 22.2. 主机名 22.2.1. 临时修改主机名 32.2.2. 永久修改主机名 32.3. 免密码登录范围 43. 约定 43.1
2016-10-11 18:47:30
918
转载 Spark-理解RDD
问题spark的计算模型是如何做到并行的呢？如果你有一箱香蕉，让三个人拿回家吃完，如果不拆箱子就会很麻烦对吧，哈哈，一个箱子嘛，当然只有一个人才能抱走了。这时候智商正常的人都知道要把箱子打开，倒出来香蕉，分别拿三个小箱子重新装起来，然后，各自抱回家去啃吧。 Spark和很多其他分布式计算系统都借用了这种思想来实现并行：把一个超大的数据集，切分成N个小堆，找M个执行器（M RDD
2016-10-08 19:49:41
772
转载 Hadoop学习笔记—20.网站日志分析项目案例
一、项目背景与数据情况1.1 项目来源 本次要实践的数据日志来源于国内某技术学习论坛，该论坛由某培训机构主办，汇聚了众多技术学习者，每天都有人发帖、回帖，如图1所示。图1 项目来源网站-技术学习论坛 本次实践的目的就在于通过对该技术论坛的apache common日志进行分析，计算该论坛的一些关键指标，供运营者进行决策时参考。PS：开发该系统的目
2016-10-08 19:34:09
4674
1
转载 Hadoop项目实战－用户行为分析之分析与设计
Hadoop项目实战－用户行为分析之分析与设计http://www.cnblogs.com/smartloli/p/4569882.html1.概述 本课程的视频教程地址：《用户行为分析之分析与设计》 下面开始本教程的学习，本教程以用户行为分析案例为基础，带着大家对项目的各个指标做详细的分析，对项目的整体设计做合理的规划，让大家能通过本课程掌握Hadoop项目的分析
2016-10-08 19:29:53
1849
VisualAssistX_10.7.1916 破解版，支持VS2012
2013-03-14
VR特警修改器的源代码,利用了驱动级键盘模拟技术
2009-11-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人