大数据
yshir-phper
这个作者很懒,什么都没留下…
展开
-
使用hive和sqoop来实现统计24小时每个时段的PV和UV,storm计算网站UV(去重计算模式)
【案例】使用hive和sqoop来实现网站基本指标,PV和UV1、PV统计网页浏览总量2、UV去重-》【需求】统计24小时每个时段的PV和UV-》建分区表,按天一级,按小时一级,多级分区-》第一步分析需求-》第二步获取时间字段,天,小时-》对于时间格式进行数据清洗,比如:2015-08-28 18:10:00,从中获取日期和小时-》获取需要有用的字段:id、url、guid、trackTime-》第三步数据分析-》使用select sql-》第四步使用sqoop导出-》预期结果转载 2020-11-22 17:20:55 · 836 阅读 · 6 评论 -
Elasticsearch+Hbase实现海量数据秒回查询
一、ElasticSearch和HbaseElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。Elasticsearch的性能是solr的50倍。HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩.转载 2020-11-22 17:21:39 · 693 阅读 · 1 评论 -
Redis分布式锁实现,Zookeeper实现分布式锁
Redis分布式锁实现:适用于单机模式,集群模式不可行,失效时间不好控制,一般为业务时间的2-3倍左右。SET key value [EX seconds] [PX milliseconds] [NX|XX]将字符串值value关联到key。如果key已经持有其他值,SET就覆写旧值,无视类型。对于某个原本带有生存时间(TTL)的键来说, 当SET命令成功在这个键上执行时, 这个键原有的 TTL 将被清除。可选参数从 Redis 2.6.12 版...转载 2020-11-22 17:21:58 · 70 阅读 · 0 评论 -
nginx日志增加cookie信息
一、获取全部cookie信息 这个比较方便,直接在nginx.conf文件中添加$http_cookie 1 2 3 4 5 6 log_format main '[$time_local] - $remote_addr:$remote_port - $remote_user - $upstream_addr $upstream_status $upstream_response_time - ' ...转载 2020-11-19 10:31:00 · 1919 阅读 · 0 评论 -
ZooKeeper的安装与部署 zk遍历所有子节点树
zk承受节点故障是(n-1)/2.安装zookeeper集群1.在s100上面上传zk压缩包>cp /mnt/hgfs/BigData/第九天/zookeeper-3.4.10.tar.gz /data/解压>cd /data>tar -xzvf zookeeper-3.4.10.tar.gz2.发送到其他节点>xsync /data/zookeeper-3.4.103.配置环境[/etc/environment]ZOOKEEPER_转载 2020-11-22 17:21:49 · 695 阅读 · 0 评论