- 博客(7)
- 问答 (4)
- 收藏
- 关注
RSS订阅原创 centos7.3中python2.7升级到python3.6问题
升级后yum无法使用，报错如下 File "/bin/yum", line 30 except KeyboardInterrupt, e: ^SyntaxError: invalid syntax File "/usr/libexec/urlgrabber-ext-down", line 28 except OSError, e...
2018-04-24 10:28:24
451
原创 centos7.3 安装elasticsearch 遇到的问题小记
问题1：无法以root用户登录解决方法：创建一个单独的用户用来运行ElasticSearchgroupadd elsearchuseradd elsearch -g elsearch -p elasticsearch更改elasticsearch文件夹及内部文件的所属用户及组为elsearch:elsearchcd /optchown -R elsearch:elsearch elasticse...
2018-04-24 10:24:49
372
转载 Spark Streaming 中使用kafka低级api+zookeeper 保存 offset 并重用 以及 相关代码整合
在 Spark Streaming 中消费 Kafka 数据的时候，有两种方式分别是 1）基于 Receiver-based 的 createStream 方法和 2）Direct Approach (No Receivers) 方式的 createDirectStream 方法，详细的可以参考 Spark Streaming + Kafka Integration Guide，但是第二种...
2018-04-13 11:49:22
501
转载 Spark & Kafka - Achieving zero data-loss (未翻译版)
转自github上的文章，英文不太好，日后有空再翻译Kafka and Spark Streaming are two technologies that fit well together. Both are distributed systems so as to handle heavy loads of data. Making sure you don’t lose data does ...
2018-04-13 11:43:59
196
原创 位运算符异或^记忆方法
对于位运算符异或^，我记性比较差，容易记混 相同为0不同为1 相同为0不同为1相同为0不同为1重要的事情说三遍........不好记忆。想到一个好办法，就是位相加，相同的就是0+0=0 或 1+1=2，二进制里面2需要向前进位，原位置为0不同的就是1+0=1 或 0+1=1...
2018-04-13 11:40:29
1599
1
转载 Spark踩坑记——Spark Streaming+Kafka
前言在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了spark streaming从kafka中不断拉取数据进行词频统计。本文首先对spark streaming嵌入kafka的方式进行归纳总结，之后简单阐述Spark streaming+kafka在舆情项目中的应用，最后将自己在Spa...
2018-04-13 11:31:56
328
转载 Qunar 高速发展下数据库的创新与发展 - TiDB 篇
作者介绍：蒲聪，平台事业部 DBA，拥有近 6 年的 MySQL 和 HBase 数据库运维管理经验，2014 年 6 月加入去哪儿网，工作期间负责支付平台事业部的 MySQL 和 HBase 整体运维工作，从无到有建立去哪儿网 HBase 运维体系，在 MySQL 和 Hbase 数据库上有丰富的架构、调优和故障处理等经验。目前专注于分布式数据库领域的研究和实践工作，平时的兴趣爱好是运动，篮...
2018-04-13 11:23:45
174
空空如也
oracle10.2.0.4升级到11.2.0.1相关问题
2015-10-28
【数据库】关于含有sys.xmltype类型字段的表导出失败
2015-10-20
rman备份的归档日志恢复不成功，求指教
2015-06-10
TA创建的收藏夹 TA关注的收藏夹
TA关注的人