- 博客(18)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Hadoop Streaming试用
本次用python进行测试。 首先编写Mapper和Reducer脚本，从stdin读取数据，输出到stdoutmapper.py#!/usr/bin/env pythonimport sys;for line in sys.stdin: line = line.strip(); words = line.split(); for w in wo
2017-01-17 18:16:23
437
原创 kafka log存储
因为程序从kafka里某一个topic读取的数据量过大，所以想看看这topic一天共有多少数据量，到底是不是读取的api有问题。登录到该topic某一个paritition所在的机器上，进入到kafka-logs目录下该topic-partition的子目录。子目录中存储的数据文件如下-rw-r--r-- 1 root root 906048 12月 22 10:57 00
2016-12-28 16:45:35
5294
原创 kafka broker迁移
原来有一个5台的kafka集群，现在需要用一台新的服务器替换原先的一台broker，所以需要将这个broker上所有partition的数据都迁移过去。我的kafka是0.8.2.1的版本，其本身提供了一个kafka-reassign-partitions.sh工具帮助完成这个工作。首先，需要在新的机器上启动kafka进程。然后，需要到老的broker上查看其本身包含哪些topic
2016-12-28 15:47:40
4366
原创 Datanode部分节点下线
最近需要将HDFS集群进行缩减，datanode由8台减到3台。google了一下，觉decommission方式最稳妥，于是使用该方法进行操作。前提条件：namenode的hdfs-site.xml 里有如下配置项 dfs.hosts /data/hadoop/etc/hadoop/slaves dfs.hosts.exclud
2016-12-14 18:02:19
2470
2原创 CSS其它样式
前面的文章主要介绍的是css框模型和定位方案，可以帮助我们设计出想要的页面布局。除此之外，css还可以对页面内容的样式进行控制，这些不像定位方案等需要理解，所以在这里只记录下各个样式的重点信息。1. 颜色和背景color：应用与所有元素，设置文本的颜色，可继承。background相关属性应用与所有元素，（包括行内元素），设置的是元素border框内的背景，默认是透明的tra
2014-05-09 17:03:39
1153
原创 CSS定位之常规流
(1)块格式化内容（block formatting context） 在block formatting context中，框会一个接一个地被垂直放置，它们的起点是一个包含块的顶部。两个兄弟框之间的垂直距离取决于'margin'属性。在block formatting context中相邻的块级元素的垂直边距会折叠。 在block formatting context
2014-05-07 15:59:14
1835
原创 CSS可视化格式模型
在css中，一切都是框。div、h1 或 p 元素常常被称为块级元素。这意味着这些元素显示为一块内容，即“块框”。与之相反，span 和 strong 等元素称为“行内元素”，这是因为它们的内容显示在行中，即“行内框”。而
2014-05-04 08:59:32
1671
原创 CSS外边距合并
1. 外边距合并外边距合并指的是，当两个垂直外边距相遇时，它们将形成一个外边距。合并后的外边距的高度等于两个发生合并的外边距的高度中的较大者。
2014-05-04 08:58:26
1933
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人