- 博客(4)
- 收藏
- 关注
转载 一共81个,开源大数据处理工具汇总(下)
日志收集系统 一、Facebook Scribe 贡献者:Facebook 简介:Scribe是Facebook开源的日志收集系统,在Facebook内部已经得到大量的应用。它能够从各种日志源上收集日志,存储到一个中央存储系统(可以是NFS,分布式文件系统等)上,以便于进行集中统计分析处理。它为日志的“分布式收集,统一处理”提供了一个可扩展的,高容错的方案。当中央存储系统的网...
2018-10-08 13:39:24
602
转载 一共81个,开源大数据处理工具汇总(上)
查询引擎一、Phoenix贡献者::Salesforce简介:这是一个Java中间层,可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写,代码位于GitHub上,并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan,并编排执行以生成标准的JDBC结果集。直接使用HBase API、...
2018-10-08 13:37:37
238
原创 cdh5.14安装
服务器基础环境 ip配置已完成(172.16.19.175-180) 主机名配置完成(HDP01-HDP06) selinux已关闭 已安装jdk-8u161 配置了时间同步服务 安装过程中调整的配置 将主机名改为小写(hdp01-hdp06) 重新安装jdk,并将JAVA_HOME由原来目录/root/software/jdk1.8.0_161改为/usr/java...
2018-08-22 15:23:17
635
原创 对于python爬虫踩过的坑
最近由于工作原因,开始进行一些爬虫的学习。记录一下我第一个爬虫踩过的坑! 首先感谢github给了我学习下去的动力。我使用的是python3.5,在window10下运行。爬虫用的是selenium+webserver的组合。 问题记录:1、开始的化想使用webdriver.PhantomJS,但是报错所以 PhantomJS是不能刚在3.5使用的,要使用h...
2018-07-31 16:01:54
2470
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人