- 博客(10)
- 收藏
- 关注
RSS订阅转载 Flink流处理过程的部分原理分析
前言在分布式领域，计算和存储一直是两大子领域。很多分布式理念在计算和存储的实现中会有着完全不同的逻辑，比如我们快照，计算框架中的快照和我们平常说的存储快照实现不同点在于哪里呢？笔者做为一个研究存储模块出身的人，最近在研读Flink流处理的部分原理，小小作番总结。很多时候，以存储的眼光来看待计算过程中的处理过程，还是有很多不一样的地方的。下文中，笔者将逐一介绍Flink流处理的一些过程分析。额外说...
2018-12-30 21:27:41
1756
转载 Spark2.1.0——ContextCleaner的工作原理分析
ContextCleaner是SparkContext中的组件之一。ContextCleaner用于清理那些超出应用范围的RDD、Shuffle对应的map任务状态、Shuffle元数据、Broadcast对象以及RDD的Checkpoint数据。创建ContextCleaner创建ContextCleaner的代码如下。 _cleaner = ...
2018-12-30 21:22:21
235
转载 让Elasticsearch飞起来!——性能优化实践干货
0、题记Elasticsearch性能优化的最终目的：用户体验爽。关于爽的定义——著名产品人梁宁曾经说过“人在满足时候的状态叫做愉悦，人不被满足就会难受，就会开始寻求。如果这个人在寻求中，能立刻得到即时满足，这种感觉就是爽！”。Elasticsearch的爽点就是：快、准、全!关于Elasticsearch性能优化，阿里、腾讯、京东、携程、滴滴、58等都有过很多深入的实践总结，都是非常好的...
2018-12-30 21:17:23
1520
原创 org.apache.flume.ChannelFullException: Space for commit to queue couldn't be acquired.问题
flume报错代码： ERROR source.ExecSource: Failed while running command: tail -F /root/apps/flume_source/1.logorg.apache.flume.ChannelException: Unable to put batch on required channel: org.apache.flume.ch...
2018-12-24 20:10:57
2533
转载 kafka的topic删除
删除kafka的topic，出现如下提示[root@mini1 ~]#kafka-topics.sh --delete --zookeeper mini1:2181 --topic testTopic test is marked for deletion.Note: This will have no impact if delete.topic.enable is not set to ...
2018-12-21 14:48:31
1135
原创 关于storm的一直网页加载问题
在更换了一次storm的版本之后：访问 http://mini1:8080/index.html 来查看storm的运行情况，但是出现了网页一直出现提示loading summary，但是通过透明的弹窗可以看出，实际上storm的内容已经加载出来，然后看到下面的评论，大概的意思是chrome可能在尝试尝试对storm的界面进行硬刷新，使用ctrl+shift+r可以解决。于是尝试使用后解决...
2018-12-19 11:21:17
1080
原创 docker安装cloudera
环境：ContOS6.7 安装docker1.虚拟机安装CentOS6.72.安装dockeryum install -y epel-releaseyum install docker-io如果安装失败,确保yum库是最新的：yum -y updata如果出现No package docker-io available.这种错误yum没有找到docker包，更新epel第三方软件...
2018-12-16 20:33:14
2176
原创 微服务是什么
1.微服务原理图图片来自于网络，如有侵权，请联系博主，立即删除图片从右向左来看：（1）为服务最主要的目的就是实现，如果说软件a使用了购物车程序作为后台，同时软件b也使用了购物车作为后台，那么如果软件a和b都是同一家公司开发的，那么他们就不需要写相同的代码，为软件a和b同时都写一个后台，它可以将后台的服务拆分，分别为了很多，如：认证，购物车，用户，商品，支付等等，需要什么功能就直接去取相关的...
2018-12-09 18:30:57
460
转载 Hbase启动以后自动关闭
参考文献：https://blog.csdn.net/embracejava/article/details/53189123搭建好hbase集群并启动集群后发现，HMaster在启动后几秒内自动关闭，HRegionServer运行正常。使用jps，刚开始正常出现Hmaster，再使用一次jps，Hmaster消失。打开日志文件：2018-12-03 20:06:00,801 INFO...
2018-12-04 21:12:20
2212
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人